기관 핵심 업무 AI 확장을 위한 3가지 교훈: 공공 부문 리더들의 인사이트

AI를 도입하고 실질적인 가치를 입증해야 한다는 압박은 분명히 존재합니다. AI에 거는 기대와 실질적인 변화를 이끄는 성과 사이의 격차 역시 현실입니다.

Snowflake Summit에서 공공 부문 리더들에게 이렇게 물었습니다. 시장의 AI 도입 압박을 넘어, 기관 핵심 업무 차원의 성과를 달성하는 방향으로 나아가려면 어떻게 해야할까요? 공공 부문 세션 두 곳에서 나온 답은 한결같았습니다. 가치를 창출하는 AI를 실제 운영 단계로 옮기는 여정은 모델이 배포되기 훨씬 전부터 시작된다는 것입니다. 

즉, AI를 실제로 운영할 수 있게 해주는 데이터 파운데이션과 거버넌스 아키텍처, 조직 차원의 합의가 먼저 갖춰져야 합니다.

아래에서는 AI 가치 격차를 해소하는 방법에 관해 공공 부문 리더들이 전하는 3가지 교훈을 살펴봅니다.

교훈 1: 탄탄한 데이터 파운데이션 우선 구축

AI를 도입한다고 망가진 데이터 인프라가 고쳐지는 건 아닙니다. 오히려 그 문제가 그대로 드러납니다.

University of Florida는 AI를 시험 도입하면서, 전체 데이터 가운데 의미 정의가 되어 있는 데이터가 10~15%에 불과하다는 사실을 알게 되었습니다. 이 때문에 데이터에서 도출되는 인사이트는 불완전할 수 밖에 없었고, 따라서 신뢰하기도 어려웠습니다.¹ 이를 해결하기 위해 팀은 NaviGator AI와 Snowflake의 여러 구성 요소를 활용해 자연어 정의를 대규모로 생성하는 프로세스를 개발했습니다. 같은 작업을 한 사람이 수작업으로 진행했다면 83주가 걸렸을 것으로 추산됩니다²(University of Florida 내부 분석, 2026년 6월 기준).

University of Florida의 데이터 엔지니어링 매니저 James Martinez는 이렇게 말합니다. “기반이 되는 시맨틱 레이어를 구축한 뒤, Navigator Insights라는 제품을 만들었습니다. Snowflake 안에서 작동하는 대화형 분석 도구로, MCP 서버를 통해 Cortex Analyst와 검색 기능을 제공합니다.” 이를 통해 팀은 이제 자연어로 질문하고, 학생들에게 직접적인 영향을 미치는 데이터 트렌드를 찾아낼 수 있습니다. 

AI를 도입할 준비를 갖추려면 탄탄한 데이터 파운데이션이 필요합니다. 데이터 거버넌스, 보안, 상호운용성은 나중으로 미뤄도 되는 과제가 아니라, AI 혁신에서 가치를 기대하기 전에 조직이 반드시 갖춰야 할 핵심 기반 요소입니다. 

교훈 2: 개별 파일럿에서 엔터프라이즈급 인텔리전스로 전환

대부분의 조직에 부족한 것은 AI 파일럿이 아니라, 확장 가능한 AI입니다.

Alan Sim은 Drexel University에서 역학 박사 학위를 받았고, 국방·공공 부문 서비스 기업 Leidos에서 최고 데이터·분석 책임자(CDAO)를 맡고 있습니다. Leidos는 사이버 보안, 퇴역 군인 복지, 물류 등 다양한 분야에 AI를 도입해 왔습니다. 그는 이렇게 말합니다. “변화의 핵심은 매우 제한적이고 사일로화된 일회성 프로젝트에서 벗어나, 엔터프라이즈급이 된다는 것이 무엇인지 고민하는 방향으로 나아가는 것입니다.”

Leidos는 수년 동안 AI와 머신러닝을 활용해 왔으며, 이들이 마주한 과제는 구축 자체가 아니었습니다. 조직 전반의 지지를 얻고 AI 역량을 리더십의 최우선 과제와 연결하는 일이 어려웠습니다.

새로운 AI 파일럿과 도구에 대한 요청이 쏟아지자 Sim은 이 상황을 더 효과적으로 관리하기 위해 질문을 바꿨습니다. 즉, Leidos 팀들에게 원하는 도구가 무엇인지 묻지 않고, 해결하려는 문제가 무엇인지 묻습니다. 그는 이렇게 설명합니다. “때로는 ‘정말 에이전트가 필요한가요? 자동화만으로 충분할 수 있습니다. 어쩌면 프로세스를 재설계해야 하는 일일 수도 있습니다.'라고 말하는 것만으로도 충분합니다.” 그는 문제에 맞는 해결책을 찾는 원칙이야말로 AI 파일럿과 실질적인 가치를 만드는 진정한 AI 프로덕션을 가르는 차이라는 사실을 깨달았습니다. 

OpenAI for Government 부문 부사장인 Joe Larson도 모델 제공 기업의 관점에서 이 견해에 힘을 실었습니다. “정부가 프런티어 모델을 자체 데이터 인프라와 결합해 더 포괄적이고 체계적으로 설계된 무언가를 만들 수 있다면, 훨씬 더 설득력 있고 더 큰 가치를 제공할 것이라고 생각합니다.”

모델을 사용할 수 있게 하는 것은 출발점일 뿐입니다. 모델을 기업 데이터, 워크플로우, 거버넌스와 통합해 실제로 운영하는 것이야말로 가장 큰 성과를 이끌어 낼 진정한 목표입니다. 

교훈 3: 기술 지표가 아닌 성과 중심의 AI 정렬

많은 AI 프로젝트가 실패하는 주된 이유는 조직의 실질적인 성과와 연결되어 있지 않기 때문입니다. 성공을 매출이 아니라 사회적 영향으로 평가하는 공공 부문에서는 이 문제가 더 심각할 수 있습니다. 

Snowflake의 공공 부문 필드 CTO Stephen Moon은 이렇게 말합니다. “공공 부문에서 중요한 것은 기관 본연의 임무입니다. 이러한 AI 이니셔티브를 통해 임무에서 실제로 성과를 이끌어내고 있는가를 봐야 합니다.”

General Dynamics Mission Systems 팀의 판매 견적 처리 시스템은 형식, 레이아웃, 용어가 제각각인 공급업체 PDF 수천 건을 수집하고 있었습니다. 팀은 이런 불일치를 해결하기 위해 학습 기반 접근 방식을 시도했지만 실패했습니다. 이후 Snowflake Cortex AI를 활용한 제로샷 프롬프팅으로 전환했고, 최근 실제 운영을 시작하면서 정확도를 50%에서 85%로 끌어올렸습니다³(General Dynamics Mission Systems 내부 분석, 2026년 6월 기준). 성과를 측정한 기준은 모델 성능이 아니었습니다. 임무 수행에 직접적인 영향을 미치는 워크플로우의 속도, 정확도, 비용 절감이 측정 기준이었습니다. 

블루프린트에서 실행으로

Snowflake Summit에 참여한 General Dynamics, Leidos, OpenAI for Government, University of Florida 등의 조직에는 분명한 공통점이 있었습니다. 실질적인 AI 성과를 내는 조직은 올바른 기반을 먼저 구축한 다음 목적 의식을 갖고 신중하게 움직인다는 것입니다. 이들은 시간을 들여 다음을 갖춥니다.

• 모델 도입에 앞서, 통합되고 거버넌스가 적용된 데이터
• AI 파일럿 확장에 앞서, 엔터프라이즈급 사용 사례 확보
• ROI 측정보다 앞서, 기관 핵심 업무와의 명확한 연계

AI 기술은 이미 준비되어 있습니다. 대부분의 기관이 마주한 질문은 데이터 파운데이션과 거버넌스 아키텍처 그리고 조직 차원의 합의도 준비되어 있느냐는 것입니다.

Snowflake의 공공 부문 리소스를 살펴보고 AI 도입 준비 상태를 점검해, 기관 본연의 임무 차원에서 성과를 달성할 수 있는 방향으로 나아가 보세요.