AI를 위한 데이터 파이프라인 구축: 더 스마트한 데이터 엔지니어링을 위한 필수 가이드

AI를 위한 데이터 파이프라인 구축: 더 스마트한 데이터 엔지니어링을 위한 필수 가이드

AI는 데이터 파이프라인의 모든 계층을 빠르게 바꾸고 있습니다. 향후 2년을 이끌어 갈 데이터 엔지니어는 더 많은 스크립트를 작성하는 사람이 아니라, 더 스마트한 시스템을 설계하는 사람일 것입니다. 

에이전틱 AI가 데이터 파이프라인을 구축하는 시대에 데이터 엔지니어링 조직은 어떤 모습이어야 할까요? 최신의 다양한 데이터에 대한 끊임없는 AI의 요구에 맞춰 데이터를 안정적으로 처리하기 위해서는 인프라를 어떻게 구축해야 할까요? 선언형 설계가 명령형 오케스트레이션보다 더 효과적인 경우는 언제일까요? AI 에이전트도 데이터 소비자가 되는 시대에 데이터 제품을 제공한다는 것은 어떤 의미일까요?

 『AI를 위한 파이프라인 구축: 더 스마트한 데이터 엔지니어링을 위한 필수 가이드』의 저자 Gilberto Hernandez는 데이터 엔지니어링이 앞으로 나아갈 방향과 그 변화를 앞서가기 위해 무엇을 준비해야 하는지 명확하게 제시합니다. 또한 Snowflake 데이터 엔지니어링 부문 제품 담당 부사장(Product VP) Chris Child의 서문과 함께, 데이터 수집(Ingestion), 변환(Transformation), 전달(Delivery) 그리고 DataOps에 이르는 데이터 파이프라인의 전체 라이프사이클을 살펴보고, 각 단계에서 AI의 요구를 충족하도록 설계된 최신 선언형 도구를 소개합니다.

데이터 엔지니어는 이제 AI 중심 조직의 운영 체계를 설계하는 아키텍트로 자리매김하고 있습니다. 이 가이드는 바로 그 미래를 준비할 수 있는 실질적인 길잡이가 되어 줄 것입니다. 

이 eBook에서 다루는 주요 내용

• AI가 데이터 수집(Ingestion), 변환(Transformation), 전달(Delivery) 및  DataOps에 가져온 변화와 Snowflake CoCo와 같은 최신 접근 방식이 이러한 변화에 대응하는 방법
• 선언형 파이프라인이 AI 워크로드에 효과적인 이유와 Snowflake DCM Projects를 활용해 선언형 파이프라인으로 전환하는 방법
• Snowflake CoWork의 AI 기반 쿼리를 위한 시맨틱 계층을 비롯해, 사람과 AI 에이전트 모두를 지원하는 데이터 제품을 제공하는 방법
• AI 시대의 개발 속도를 뒷받침하는 DataOps 모범 사례(버전 관리, CI/CD, 환경 관리, AI 지원 개발 등)
• 에이전틱 AI가 데이터 파이프라인의 더 많은 부분을 담당하게 되면서 변화하고 있는 데이터 엔지니어의 역할과 이러한 변화 속에서 팀의 경쟁력을 확보하는 방법
  
  저자 소개 
  Gilberto Hernandez는 Snowflake의 Lead Developer Advocate로, 현대적인 AI 네이티브 파이프라인 구축을 지원하기 위한 다양한 기술 콘텐츠를 제작하고 있습니다. 실무와 교육 현장을 두루 경험한 그는 Snowflake의 데이터 엔지니어링 도구를 실무에 효과적으로 활용할 수 있도록 개발자 가이드, 교육 과정, 학습 콘텐츠 등을 기획 및 제작하고 있습니다.