Da coder ad architect: come è cambiato il ruolo del data engineer

Il ruolo del data engineer sta cambiando radicalmente. Oggi non basta più occuparsi di programmazione e pipeline, i data engineer devono pensare in grande: architettura e obiettivi aziendali, aumento dell’efficienza e agentic AI. Con più responsabilità e influenza e con l’accelerazione dell’adozione e dell’uso dell’AI, i data engineer sono fondamentali per il successo aziendale. E questa non è solo la mia opinione: il 72% dei leader aziendali globali concorda, secondo un recente report del MIT Technology Review Insights. 

Lo studio, realizzato in collaborazione con Snowflake, ha chiesto a 400 dirigenti senior del settore tech di valutare il ruolo dei data engineer. La stragrande maggioranza li considera essenziali per abilitare l’intelligenza artificiale. Ma allo stesso tempo, i data engineer sono incredibilmente oberati di lavoro a causa della proliferazione dei dati e dell’esplosione del modo in cui vengono utilizzati.  Ciò significa che devono diventare più produttivi adottando l’AI, affidando la gestione dell’infrastruttura a piattaforme migliori e diventando veri partner dell’azienda.

Andare oltre l’esecuzione tattica e la supervisione strategica

Vedo due importanti trend che contribuiscono all’innalzamento del profilo dei data engineer. La prima è l’enorme volume di informazioni che vengono generate e rese disponibili oggi, in quanto i dati sono più facili da raccogliere e più economici da archiviare che mai. La seconda è la crescente consapevolezza tra i massimi dirigenti che senza utilizzare i dati per prendere decisioni informate, le organizzazioni viaggiano essenzialmente alla cieca. Questo sta spingendo la domanda di AI per utilizzare i dati in decisioni sempre più complesse rispetto al passato.

In generale, le aziende che utilizzano i dati in modo efficace prenderanno decisioni migliori e, col tempo, supereranno quelle che non lo fanno o che ritengono di non poterlo fare.

Per ottenere il massimo valore dalle informazioni in loro possesso, le aziende devono passare dai dati agli insight, e la strada è costruita dai data engineer. Con il decollo di un numero sempre maggiore di progetti AI, aumentano anche le richieste dei team di data engineering. Il sondaggio ha mostrato che il 77% degli intervistati vede aumentare i workload dei propri data engineer. 

Per tenere il passo con la crescita esponenziale dei volumi di dati e dei progetti AI, i data engineer dovranno essere significativamente più produttivi su vasta scala. Un’azienda non può limitarsi ad aumentare il numero di engineer in proporzione al workload, o a un certo punto l’intera azienda diventerebbe data engineer. Quindi vediamo cose come AI copilot e strumenti di coding che alla fine potrebbero trasformarsi in agenti autonomi per occuparsi di gran parte di questo lavoro. 

Col tempo, credo il data engineer si occuperà sempre meno di scrivere codice per ogni singola pipeline e di più di gestire l’infrastruttura in cui operano gli agenti AI. I data engineer supervisioneranno l’orchestrazione di molte di queste pipeline e stabiliranno le regole e i test per assicurarsi che arrivino i dati giusti. Ma la costruzione vera e propria delle pipeline? Non è difficile immaginare un futuro in cui tutto ciò diventerà in gran parte opera di agenti AI. 

E questa dovrebbe essere una buona notizia per i data engineer oggi. Ciò significa che i team possono concentrarsi di più sui problemi strategici invece che sulle attività tattiche di routine. Possono porsi domande come “Quali sono i nostri obiettivi generali?” o “Come possiamo smettere di concentrarci sulle singole pipeline e pensare invece di più al nostro patrimonio di dati complessivo?” Credo che questa potrebbe essere la prossima fase del data engineering, e la svolta odierna verso l’architettura dell’infrastruttura AI ci sta portando lì.

Una funzione che cambia per il futuro delle aziende

Questo cambiamento di ruolo e responsabilità significa in realtà, tuttavia, che i data engineer dovranno avere maggiore familiarità con i concetti di business. Prendiamo ad esempio il modo in cui il bancomat ha cambiato radicalmente il lavoro del cassiere bancario, da distributore automatico di denaro umano a specialista bancario orientato al cliente. Questo cambiamento ha richiesto agli impiegati di filiale di essere più strategici, assumendo compiti più complessi e di alto valore. Ha migliorato il ruolo nel complesso, invece di eliminare del tutto il lavoro, come alcuni temevano. L’introduzione del bancomat ha finito per creare più posti di lavoro perché, con meno cassieri necessari per filiale, le banche sono state in grado di aprire più filiali, aumentando la soddisfazione dei clienti grazie alla comodità e all’accessibilità. 

Allo stesso modo, in futuro i data engineer dovranno potenziare il proprio modo di pensare per dare la priorità alla comprensione degli obiettivi e dei risultati aziendali proprio come, ad esempio, fanno i data analyst. Dovranno chiedersi: Quale problema stiamo cercando di risolvere? Quali insight stiamo cercando di generare? Cosa stiamo cercando di fare? 

Comprendere le esigenze finali e le risposte a queste domande può creare un enorme valore per qualsiasi azienda e, a sua volta, rendere i data engineer ancora più preziosi motori di successo. Snowflake si impegna ad aiutare i data engineer a realizzare questo potenziale fornendo loro gli strumenti giusti per gestire i loro workload in crescita e abilitare l’AI su vasta scala.

Detto questo, ti invito a partecipare a BUILD, la nostra conferenza virtuale globale degli sviluppatori, dal 4 al 7 novembre, e a scoprire di più sul report MIT Tech Review qui.