این روزها، همگام شدن با آخرین پیشرفت‌های GenAI سخت‌تر از گفتن «مدل چند وجهی» است. به نظر می رسد هر هفته یک راه حل جدید براق با این وعده عالی برای دگرگون کردن زندگی، کار و نحوه تغذیه سگ هایمان عرضه می شود.
مهندسی داده نیز از این قاعده مستثنی نیست.
در ماه‌های پایانی سال 2024، GenAI شروع به تغییر نحوه تفکر تیم‌های داده در مورد جذب، تبدیل و ارائه داده‌ها به مصرف‌کنندگان کرده است. وظایفی که زمانی برای مهندسی داده‌ها اساسی بودند، اکنون با هوش مصنوعی انجام می‌شوند – معمولاً سریع‌تر و گاهی اوقات با درجه‌ای از دقت بالاتر.
همانطور که گردش کار معمول در حال تکامل است، به طور طبیعی این سوال مطرح می شود: آیا GenAI جایگزین مهندسان داده خواهد شد؟
در حالی که نمی‌توانم با اطمینان بگویم «نه در یک میلیون سال» (به اندازه کافی فیلم علمی تخیلی دیده‌ام تا بهتر بدانم)، می‌توانم با درجه بالایی از اطمینان بگویم «فکر نمی‌کنم».
به دلایل ذیل، حداقل نه به این زودی.
وضعیت فعلی GenAI برای مهندسی داده
ابتدا، اجازه دهید ماجراجویی خود را با نگاهی به وضعیت فعلی GenAI در مهندسی داده آغاز کنیم - از آنچه قبلاً تغییر کرده است تا آنچه احتمالاً در ماه های آینده تغییر خواهد کرد.