آیا GenAI جایگزین مهندسان داده خواهد شد؟

این روزها، همگام شدن با آخرین پیشرفت‌های GenAI سخت‌تر از گفتن «مدل چند وجهی» است. به نظر می رسد هر هفته یک راه حل جدید براق با این وعده عالی برای دگرگون کردن زندگی، کار و نحوه تغذیه سگ هایمان عرضه می شود.

مهندسی داده نیز از این قاعده مستثنی نیست. 

در ماه‌های پایانی سال 2024، GenAI شروع به تغییر نحوه تفکر تیم‌های داده در مورد جذب، تبدیل و ارائه داده‌ها به مصرف‌کنندگان کرده است. وظایفی که زمانی برای مهندسی داده‌ها اساسی بودند، اکنون با هوش مصنوعی انجام می‌شوند – معمولاً سریع‌تر و گاهی اوقات با درجه‌ای از دقت بالاتر.

همانطور که گردش کار معمول در حال تکامل است، به طور طبیعی این سوال مطرح می شود: آیا GenAI جایگزین مهندسان داده خواهد شد؟

در حالی که نمی‌توانم با اطمینان بگویم «نه در یک میلیون سال» (به اندازه کافی فیلم علمی تخیلی دیده‌ام تا بهتر بدانم)، می‌توانم با درجه بالایی از اطمینان بگویم «فکر نمی‌کنم».

به دلایل ذیل، حداقل نه به این زودی.

وضعیت فعلی GenAI برای مهندسی داده

ابتدا، اجازه دهید ماجراجویی خود را با نگاهی به وضعیت فعلی GenAI در مهندسی داده آغاز کنیم - از آنچه قبلاً تغییر کرده است تا آنچه احتمالاً در ماه های آینده تغییر خواهد کرد.

بنابراین، بزرگترین تأثیر GenAI بر مهندسین داده در سه ماهه اول سال 2024 چیست؟ فشار.

داده‌های نظرسنجی ما نشان می‌دهد که نیمی از رهبران داده فشار قابل توجهی از سوی مدیران عامل برای سرمایه‌گذاری در طرح‌های GenAI به قیمت سرمایه‌گذاری‌های با بازده بالاتر احساس می‌کنند.

برای تیم‌های مهندسی داده، این می‌تواند به معنای شروع مسابقه برای پیکربندی مجدد زیرساخت، استفاده از ابزارهای جدید، کشف تفاوت‌های ظریف نسل افزوده با بازیابی (RAG) و تنظیم دقیق LLM باشد، یا حرکت در جریان بی‌پایان حریم خصوصی، امنیت و اخلاقیات ملاحظاتی که به مکالمه هوش مصنوعی رنگ می بخشد.

اما این همه فلسفه نیست. در سطح عملی تر، GenAI به طور محسوسی بر روش هایی که مهندسان داده کار انجام می دهند نیز تأثیر می گذارد. در حال حاضر، این شامل:

• دستیار کد: ابزارهایی مانند GitHub Copilot قادر به تولید کد به زبان‌هایی مانند Python و SQL هستند که ساخت، آزمایش، نگهداری و بهینه‌سازی خطوط لوله را برای مهندسان داده سریع‌تر و آسان‌تر می‌کند.
• تقویت داده ها: دانشمندان و مهندسان داده می توانند از GenAI برای ایجاد نقاط داده مصنوعی استفاده کنند که نمونه های دنیای واقعی را در یک مجموعه آموزشی تقلید می کنند - یا به طور عمدی تغییراتی را برای متنوع کردن مجموعه های آموزشی معرفی می کنند. تیم ها همچنین می توانند از GenAI برای ناشناس کردن داده ها، بهبود حریم خصوصی و امنیت استفاده کنند.
• کشف داده: برخی از رهبران داده که با آنها صحبت کرده‌ایم در حال ادغام GenAI در کاتالوگ داده‌ها یا ابزارهای کشف خود هستند و همچنین برای پر کردن ابرداده‌ها، پاسخ به سؤالات پیچیده و بهبود دید، که به نوبه خود می‌تواند به مصرف‌کنندگان داده و ذینفعان داده کمک کند تا از GenAI برای دریافت استفاده کنند. پاسخ به سؤالات آنها یا ساخت داشبوردهای جدید بدون بارگذاری بیش از حد تیم های داده با درخواست های موقت.

و به طور کلی، این پیشرفت ها خبر خوبی برای مهندسان داده است! زمان کمتری که برای کارهای معمولی صرف می شود به معنای زمان بیشتری برای صرف ارزش کسب و کار است.

و با این حال، همانطور که می‌بینیم اتوماسیون با بیشتر جریان‌های کاری معمولی که مشخصه روزمره یک مهندس داده است همپوشانی دارد، طبیعی است که کمی احساس ناراحتی کنید.

چه زمانی قرار است GenAI متوقف شود؟ آیا واقعاً دنیا را می خورد؟

خوب، پاسخ به این سؤالات این است: "احتمالاً هرگز، اما احتمالاً نه." بگذار توضیح بدهم.

 

چرا GenAI جایگزین مهندسان داده نمی شود؟

برای درک اینکه چرا GenAI نمی‌تواند جایگزین مهندسان داده شود - یا هر نقش واقعاً استراتژیک در این زمینه - باید برای لحظه‌ای فلسفی شویم.

"هوش مصنوعی" محدود است
اولین چیز اول است – بیایید به یاد بیاوریم که GenAI مخفف چیست: "هوش مصنوعی مولد". اکنون، بخش‌های مولد و مصنوعی هر دو توصیف‌گر نسبتاً مناسبی هستند. و اگر در همین جا متوقف شود، مطمئن نیستم که ما حتی این گفتگو را انجام دهیم. اما این بخش «هوشمندی» است که این روزها مردم را غافلگیر کرده است.

می بینید، توانایی تقلید زبان طبیعی یا تولید چند خط کد دقیق چیزی را «هوشمند» نمی کند. حتی کسی را باهوش نمی کند. شاید کمی مفیدتر باشد، اما به معنای واقعی آن کلمه هوشمندانه نیست.

هوش فراتر از تف کردن پاسخ به یک سوال دقیق بیان شده است. هوش اطلاعات و تفسیر است. خلاقیت است اما مهم نیست که چقدر داده را به یک مدل هوش مصنوعی پمپ می کنید، در پایان روز، هنوز ظاهراً یک دستگاه رگورژیتاسیون است (البته یک دستگاه رگورژیتاسیون بسیار پیچیده).

هوش مصنوعی قادر به تفکر انتزاعی که هوش یک مهندس داده را تعریف می کند نیست، زیرا به هیچ وجه قادر به هیچ فکری نیست. هوش مصنوعی کاری را که به آن گفته شده انجام می دهد. اما باید بتوانید کارهای بیشتری انجام دهید. خیلی بیشتر.

هوش مصنوعی فاقد درک تجاری است
درک مشکلات تجاری و موارد استفاده از داده ها در قلب مهندسی داده است. شما باید با کاربران تجاری خود صحبت کنید، به مشکلات آنها گوش دهید، آنچه را که واقعاً نیاز دارند استخراج و تفسیر کنید، و سپس محصول داده ای را طراحی کنید که ارزش معناداری را بر اساس منظور آنها ارائه دهد - نه لزوماً آنچه گفته اند.

مطمئناً، هوش مصنوعی زمانی که همه اینها را فهمیدید، می‌تواند به شما یک شروع عالی بدهد. اما به کامپیوتر اعتباری برای خودکارسازی یک فرآیند یا ساخت ایده بر اساس تحقیقات عمیق خود ندهید. شما کسی هستید که باید در آن جلسه می نشستید، زمانی که می توانستید در حال بازی Baldur’s Gate باشید. از فداکاری خود کم نکنید

هوش مصنوعی نمی تواند پاسخ ها را در زمینه مورد نظر تفسیر و اعمال کند
در حال حاضر، هوش مصنوعی برای ارائه خروجی های خاص و مفید برنامه ریزی شده است. اما همچنان به یک تیم داده نیاز دارد تا راه حل را بر اساس حجم عظیمی از زمینه دیکته کند: چه کسی از کد استفاده می کند؟ چه کسی مناسب بودن آن را برای یک مورد خاص تأیید می کند؟ چه کسی متوجه خواهد شد که چگونه بر بقیه سکو و معماری pipeline تاثیر می گذارد؟

کدنویسی مفید است. اما کار واقعی مهندسان داده مستلزم درجه بالایی از تفکر پیچیده و انتزاعی است. این کار - استدلال، حل مسئله، درک چگونگی تطبیق قطعات با هم، و شناسایی چگونگی ایجاد ارزش تجاری از طریق موارد استفاده - جایی است که ایجاد می شود. و GenAI به این زودی قادر به چنین خلاقیتی نخواهد بود.

در نهایت، مهندسان داده با استعداد فقط از GenAI سود می برند. راندمان بیشتر، کار دستی کمتر، و فرصت های بیشتر برای ایجاد ارزش از داده ها. سه برد متوالی.