데이터 엔지니어링은 결코 쉬운 일이 아닙니다. 실패한 실행의 원인을 파악하는 데 몇 시간을 쓰며 하루를 시작하고, 비즈니스 팀의 끊임없는 요청과 요구 백로그를 처리하며, 파이프라인 비용이 왜 계속 늘어나는지 묻는 재무 팀에도 답해야 합니다. 그리고 AI는 여러 면에서 이 일을 더 어렵게 만들고 있습니다. 데이터의 양과 종류가 늘어나고, SQL을 대신 작성해 주는 코딩 및 채팅 에이전트를 통해 훨씬 더 많은 구성원들이 그 데이터를 사용하게 되었기 때문입니다. 대부분의 데이터 엔지니어링 팀은 자체 코딩 에이전트를 도입해 이러한 변화에 대응하려 하지만, 격차는 오히려 더 벌어지는 것처럼 보입니다.
MIT Technology Review의 보고서 ‘Redefining Data Engineering in the Age of AI’에 따르면, 10개 기업 중 8개가 AI 기반 데이터 엔지니어링 도구를 도입했지만 데이터 엔지니어가 감당해야 할 복잡성도 함께 커졌습니다. 가장 큰 과제로는 데이터 보안과 프라이버시 확보(55%)가 꼽혔습니다.
이제 더 근본적인 전환이 필요합니다. AI로 기존 프로세스의 실행 속도만 높이려 할 것이 아니라, 프로세스 자체를 다시 설계하고 파이프라인을 수동으로 구축하고 유지 관리하는 방식에서 벗어나야 합니다. 데이터 팀은 가공 전 데이터를 단계별로 변환하는 프로세스보다 데이터 엔지니어링의 산출물인 데이터 제품에 더 많은 시간을 집중하게 될 것입니다. 팀은 컨텍스트와 거버넌스를 온전히 유지한 상태에서 사람과 AI가 모두 소비할 수 있는 데이터 준비 상태를 보장하는 것이 중요해질 것입니다.
데이터 엔지니어링의 미래는 비즈니스 의사결정을 뒷받침할 실제로 사용 가능한 데이터 제품을 만드는 데 달려 있습니다. 또한 인간이 핵심 의사결정자이자 최종 판단자로 남는 가운데, 진정한 자율형 에이전트가 이러한 제품을 최신 상태로 유지하는 데 필요한 모든 요소를 구축, 유지 관리, 최적화하도록 하는 데 달려 있습니다.
이 에이전트들은 새로 필요한 데이터 제품을 파악하고, 기존 제품의 문제와 장애를 살피고, 개선, 정리, 최적화 기회를 찾아냅니다.
물론 사람의 역할은 여전히 결정적이며, 오히려 한 단계 올라갑니다. 가장 중요한 비즈니스 문제를 정의하고, 에이전트가 올바른 전체 아키텍처를 따르도록 안내하며, 데이터 제품을 소비하는 에이전트를 위해 비즈니스 컨텍스트가 적절히 반영되었는지 확인합니다.
AI가 ‘전문화’한 직무는 AI가 ‘대중화’한 직무보다 두 배 빠르게 증가하고 있으며, 2021년 이후 임금 상승률도 42% 더 높습니다.
Source: PwC AI Jobs Barometer 2026
자율형 데이터 엔지니어링으로 가는 여정
이는 큰 전환이고 하루아침에 도달할 수 있는 목표도 아니고 또 그럴 필요도 없습니다. 더 나은 접근 방식은 이것이 옳은 목표라고 판단하면, 단계적으로 신중하게 그 방향으로 나아가는 것입니다. 각 단계에서 팀은 에이전트와 모델이 무엇을 할 수 있는지 자세히 알아보고, 안전하게 자동화할 수 있는 범위와 사람의 개입(HITL)을 통한 추가적인 점검이나, 도구 또는 프로세스가 필요한 지점에 대한 신뢰를 쌓게 됩니다. 이미 많은 기업이 이 여정을 시작했습니다. 소프트웨어 정의 수명 주기, 버전 관리, 선언적 파이프라인 또는 AI 지원 개발 중 하나라도 도입한 팀은 이미 미래를 향해 한 걸음 나아간 셈입니다.
자율형 데이터 엔지니어링 성숙도 곡선
| 1단계: 기반 구축 |
이 단계에서는 데이터 엔지니어가 파이프라인을 수동으로 구축하고 유지 관리합니다. 모든 스키마 변경, 오케스트레이션 결정, 장애 대응이 사람의 손을 거칩니다. 1단계를 엔지니어링 펀더멘털을 바로 세우는 단계로 삼는 팀은 이후 단계에서 더 좋은 성과를 거둘 수 있습니다. 선언형 파이프라인처럼 보다 현대적인 데이터 엔지니어링 방식으로 전환하면 효율성을 높일 수 있습니다. 예를 들어 Travelpass는 데이터 엔지니어링 업무의 접근성을 높였고, 이를 통해 팀은 규모를 확장하면서 사업 부문에 데이터를 전달하는 효율을 350% 이상 끌어올렸습니다. |
| 2단계: 코파일럿 |
AI가 편집기 안으로 들어오는 단계입니다. 자동 완성과 인라인 코드 생성이 변환과 설정 작업의 부담을 줄여 주지만, 모든 판단의 책임은 여전히 엔지니어의 몫입니다. 산출물은 늘었어도 근본적인 워크플로우는 달라지지 않았습니다. |
| 3단계: 에이전틱: 인간의 승인 개입(HITL) |
AI가 협업 상대로 자리 잡기 시작하는 단계입니다. 에이전트가 파이프라인 수정, 장애 해결, 스키마 마이그레이션과 같은 변경을 제안할 수 있지만, 사람의 명시적인 승인 없이는 아무것도 실행되지 않습니다. 엔지니어는 코드를 작성하는 대신 검토하게 되며, 이를 통해 장애 대응 시간을 획기적으로 단축할 수 있습니다. |
| 4단계: 에이전틱: 인간의 상시 감독(HOTL) |
자동화의 효과가 본격적으로 빛을 발하는 단계입니다. 에이전트는 이상 탐지, 업스트림 변경에 맞춘 파이프라인 조정 등 선별되고 명확히 정의된 작업을 승인 대기 없이 독립적으로 수행합니다. 엔지니어는 에이전트의 동작을 계속 관측하고 필요할 때 에이전트의 실행을 되돌리거나 대신 처리할 수 있습니다. |
5단계: |
5단계에 이르면 데이터 엔지니어링은 데이터 업무의 의미 자체를 바꿔 놓습니다. 파이프라인 장애가 자체적으로 감지되고, 스택 전반에서 근본 원인이 규명되며, 조치가 적용되고 결과가 검증되고 변경 내역이 기록되는 과정이 사람의 개입 없이 이루어집니다. 운영 오버헤드는 거의 0에 가까워집니다. 데이터 엔지니어는 정책, 표준, 비즈니스 시맨틱을 정의합니다. 또한 플랫폼이 자율적으로 수행할 수 있는 일과 사람의 판단이 필요한 일을 결정하여, 영향이 큰 변경은 사람의 검토로 라우팅되도록 합니다. 이들의 역할은 실행에서 거버넌스로 완전히 이동하며, 파이프라인 구축자에서 진정한 비즈니스 파트너로 격상됩니다. |
모든 작업을 Snowflake 안에서만 처리한 것이 결정적인 변화였습니다. 이제 목요일에 설계한 것이 다음 주 화요일에는 프로덕션에 올라가 있습니다.”
Thomas Bodenski
COO & Chief Data & Analytics Officer, TS Imagine
에이전틱 시대의 데이터 제품 구축 방식 재편
이 전환을 가능하게 하는 큰 변화 중 하나는 데이터 파이프라인 중심의 사고에서 데이터 제품 중심의 사고로 옮겨가는 것입니다. 데이터 제품에는 데이터뿐 아니라 시맨틱, 품질, 그리고 에이전트가 데이터를 활용해 작업을 수행하는 데 필요한 모든 요소가 포함됩니다. 예를 들어 고객 충성도 데이터 제품에는 고객 이탈 위험 데이터가 포함될 수 있습니다. 이 데이터는 각 개별 계정 활동 데이터와, 비즈니스가 ‘위험군’을 어떻게 정의하는지 명시한 시맨틱 뷰 및 문서화된 품질 점검을 함께 연결합니다. 따라서 이 데이터 제품에 접근하는 모든 에이전트나 분석가는 고객 충성도 활동에 대해 일관되고 신뢰할 수 있는 답을 얻게 됩니다.
전통적인 모델은 인프라에서 시작해 위로 쌓아 올리는 방식입니다. 데이터 파운데이션을 구축하고, 스키마를 정의하고, 파이프라인을 만든 다음, 비즈니스 요구를 지원합니다. 데이터 제품의 수가 적고 안정적이던 시기에는 이 방식이 통했습니다.
오늘날의 데이터 팀은 이 순서를 뒤집습니다. 비즈니스 문제에서 출발해 이를 해결할 에이전트 워크플로우를 정하고 그 에이전트에 필요한 데이터를 파악한 뒤, 그 데이터를 제공할 데이터 제품을 만듭니다. 이렇게 하면 데이터 자산 환경은 기술 계층이 아니라 비즈니스 성과를 중심으로 재정렬됩니다. 또한 스키마가 아닌 결과를 위해 파이프라인을 설계하는 수직적 데이터 제품 접근 방식이 도입됩니다.
진정한 자율형 데이터 엔지니어링에서는 에이전트 프레임워크만큼 플랫폼의 선택도 중요합니다. 성과가 뛰어난 팀은 먼저 버전 관리, 자동화된 테스트, CI/CD 파이프라인을 확고히 해야 합니다. 이는 우수한 데이터 팀들이 수년간 도입해 온 동일한 모범 사례입니다. 거버넌스, 상호운용성, 통합 데이터는 자율형 워크플로우를 안심하고 신뢰할 수 있기 위한 전제 조건입니다.
기반이 먼저, 자율형 데이터 엔지니어링은 그다음
자율형 데이터 엔지니어링으로의 전환은 운영상 반드시 거쳐야 할 과정입니다. 가장 빠르게 성숙 단계에 도달하는 팀은 최고의 모델을 가졌기 때문이 아닙니다. 데이터 엔지니어의 역할을 비즈니스 파트너로 끌어올리고, 자율형 에이전트가 운영될 만큼 강력한 파운데이션과 이를 신뢰할 수 있을 만큼 견고한 거버넌스를 구축했기 때문입니다.
이 여정에서 성공하려면 오늘의 요구를 충족하는 데 그치지 않고 데이터 엔지니어링과 AI의 새로운 혁신을 계속 흡수하며 진화하는 플랫폼에 투자해야 합니다. 모든 것을 직접 이어 붙이거나 만들어 내지 않아도 되는 플랫폼이어야 합니다. Snowflake가 Data-eng-benchmark를 통해 자율형 데이터 엔지니어링 작업의 품질과 토큰 효율성을 측정하는 기준을 어떻게 제시하고 있는지 확인해 보세요.
아키텍처 패턴, 거버넌스 프레임워크, 에이전틱 워크플로우를 안정적으로 만드는 엔지니어링 관행을 포함해 자율형 데이터 엔지니어링을 시작하기 위한 실무 가이드는 AI를 위한 파이프라인 구축: 더 스마트한 데이터 엔지니어링을 위한 필수 가이드.에서 확인하세요.
