생성형 AI: 작동 방식과 데이터, 컨텍스트, 제어가 중요한 이유

Stanford의 2026 AI 지수에 따르면 생성형 AI는 불과 3년 만에 전체 인구의 53%가 사용하게 되었으며, 이는 개인용 컴퓨터나 인터넷보다 빠른 확산 속도입니다. 짧은 기간 동안 에세이 작성과 이미지 생성으로 처음 주목받은 모델은 이제 소프트웨어 개발, 고객 지원, 연구, 분석을 비롯한 수백 가지 비즈니스 워크플로우에 활용되고 있습니다.

생성형 AI에 대한 초기 논의는 생성형 AI가 무엇을 할 수 있는지에 초점을 맞췄습니다. 오늘날 엔터프라이즈는 모델이 어디에서 정보를 얻는지, 비즈니스 데이터에 어떻게 액세스하는지, 응답을 신뢰할 수 있는지, 그리고 생성된 결과가 고객과 직원 또는 비즈니스 전략에 영향을 미치기 전에 어떤 거버넌스가 필요한지에도 주목합니다.

생성형 AI는 학습 과정에서 습득한 패턴을 바탕으로 새로운 결과를 생성하는 인공지능의 카테고리입니다. 모델 유형에 따라 이러한 결과에는 자연어, 소프트웨어 코드, 이미지, 오디오, 비디오 또는 정형 데이터가 포함될 수 있습니다.

생성형 AI 시스템은 하나의 좁게 정의된 문제를 해결하는 대신, 다양한 애플리케이션에 맞게 조정할 수 있는 폭넓은 언어 및 추론 작업을 지원합니다. 예를 들어 재무 보고서 설명, 고객 지원 사례 요약, 비즈니스 질문을 SQL로 변환, 문서 초안 작성, 여러 소스에서 수집한 정보를 바탕으로 한 추론 등이 가능합니다.

이러한 유연성 덕분에 생성형 AI는 챗봇, 코딩 어시스턴트, 엔터프라이즈 검색, 문서 분석, AI 에이전트를 비롯한 수많은 애플리케이션의 기반이 되었습니다. 이러한 시스템은 최종 사용자에게 매우 다르게 보이지만, 상당수는 지시와 함께 제공된 컨텍스트에 따라 새로운 콘텐츠를 생성하는 동일한 기본 기능을 활용합니다.

폭넓은 기능을 제공하는 파운데이션 모델

오늘날 대부분의 생성형 AI 애플리케이션은 파운데이션 모델에서 시작합니다. 파운데이션 모델은 하나의 특화된 함수가 아니라 다양한 데이터 세트로 학습해 여러 작업을 수행할 수 있는 대규모 모델입니다.

대규모 언어 모델(LLM)은 가장 대표적인 예입니다. GPT, Claude, Llama, Mistral과 같은 모델은 방대한 텍스트 모음에서 통계적 관계를 학습합니다. 이를 통해 일관성 있는 언어를 생성하고, 명시적으로 학습하지 않은 작업에도 일반화할 수 있습니다. 다른 파운데이션 모델은 이미지, 오디오 또는 비디오에 특화되어 있으며, 점점 더 많은 멀티 모달 모델이 하나의 시스템 안에서 여러 유형의 콘텐츠를 이해하고 생성할 수 있게 되었습니다.

그러나 일반적인 기능과 비즈니스 지식은 서로 다릅니다. 파운데이션 모델이 조직의 최신 제품 카탈로그, 고객 기록, 보안 정책 또는 재무 성과를 본질적으로 알고 있는 것은 아닙니다. 이러한 세부 정보는 모델 외부에 존재하므로 애플리케이션이 모델을 호출할 때 제공해야 합니다.

Snowflake의 AI 책임자 Baris Gultekin과 엔지니어링 수석 부사장(SVP) Vivek Raghunathan이 AI를 프로덕션 환경으로 전환하는 엔터프라이즈가 고려해야 할 주요 사항을 설명합니다.

생성형 AI는 인공지능의 한 분야이지만, 조직은 기존의 다른 AI 유형과 머신 러닝(ML)에도 계속 의존하고 있습니다. 가장 뛰어난 엔터프라이즈 애플리케이션은 여러 기법을 결합하고, 워크플로우의 각 스테이지에 가장 적합한 접근 방식을 선택합니다.

생성형 AI와 예측 AI 비교

예측 AI는 과거 데이터를 바탕으로 미래의 결과나 알 수 없는 결과를 추정합니다. 예를 들어 리테일 기업은 수요를 예측하고, 제조 기업은 장비 고장을 예측하며, 금융 기관은 사기나 대출 채무 불이행 가능성을 추정합니다. 일반적으로 비즈니스 의사결정을 지원하는 확률, 예측 또는 수치 점수로 출력됩니다.

생성형 AI는 요청에 따라 새로운 콘텐츠를 생성합니다. 생성된 콘텐츠는 예측 결과를 설명하거나 근거 데이터를 요약하거나 소프트웨어 코드를 생성할 수 있지만, 근본적인 목적은 예측이 아니라 생성에 있습니다.

생성형 AI와 분석형 AI의 차이

분석형 AI는 기존 정보에서 패턴을 발견하는 데 중점을 둡니다. 유사한 레코드를 그룹화하고, 이상 징후를 식별하며, 추세를 감지하고, 분석가가 이미 발생한 상황을 파악하도록 지원합니다. 비즈니스 인텔리전스 플랫폼, 추천 엔진 및 다양한 기존 머신러닝 워크플로우가 이 카테고리에 해당합니다.

생성형 AI는 새로운 출력을 생성해 이러한 인사이트를 확장합니다. 예를 들어 분석 시스템이 분기별 매출에서 이례적인 변화를 식별하면, 생성형 모델은 기초 데이터를 요약하고 후속 질문에 답하며 추가 분석을 지원하는 SQL 또는 시각화를 생성할 수 있습니다.

생성형 AI와 판별형 AI의 차이

많은 머신러닝 모델은 판별형 모델입니다. 즉, 기존 카테고리나 결과를 구분하는 방법을 학습합니다. 예를 들어 이메일 스팸 필터는 메시지를 스팸 또는 정상 메일로 분류하고, 컴퓨터 비전 모델은 이미지에 결함이 포함되어 있는지 식별합니다.

생성형 모델은 새로운 데이터나 시퀀스를 생성할 수 있도록 확률 분포를 학습하지만, 최신 AI 시스템은 두 가지 접근 방식을 함께 사용하는 경우가 많습니다.

생성형 AI 모델이 생성하는 모든 응답은 모델이 학습을 완료한 시점으로부터 며칠, 수개월 또는 수년이 지난 후에 만들어질 수 있습니다. 학습 과정에서 모델은 방대한 텍스트, 이미지, 오디오 또는 기타 데이터 컬렉션에서 통계적 관계를 학습합니다. 추론 과정에서는 사용자가 프롬프트를 제출하거나 애플리케이션이 모델을 호출하는 순간, 학습한 관계를 적용해 새로운 응답을 생성합니다. 이 두 단계를 구분하는 것은 최신 AI 시스템의 작동 방식을 이해하는 데 있어 기본적인 출발점입니다.

학습은 정답이 아니라 패턴을 가르칩니다

학습은 흔히 모델이 언어나 이미지를 “이해”하도록 가르치는 과정으로 설명되지만, 실제로는 엄청난 규모로 수행되는 통계적 학습 프로세스로 이해하는 편이 더 정확합니다. 학습 과정에서 모델은 수십억 개 또는 수조 개의 예시를 처리하고, 누락된 단어를 더 정확하게 예측하거나 이미지를 재구성하고 기타 학습 목표를 달성할 수 있도록 내부 파라미터를 점진적으로 조정합니다. 데이터를 반복해서 처리할 때마다 개념, 문법, 구조 및 의미 간의 관계를 인식하는 능력이 조금씩 향상됩니다.

예를 들어 LLM은 일반적으로 텍스트에서 누락된 토큰이나 다음에 올 토큰을 예측하는 방식으로 학습합니다. 시간이 지나면서 특정 단어가 함께 자주 등장하고, 구문이 인식 가능한 패턴을 따르며, 개념들이 의미론적 관계를 공유한다는 사실을 학습합니다. 일반적으로 문서를 기존의 검색 가능한 데이터베이스처럼 저장하지는 않습니다. 대신 학습 과정에서 통계적 관계를 인코딩하고, 이후 완전히 새로운 요청에 이를 적용합니다.

최신 파운데이션 모델의 규모 덕분에 이러한 표현은 놀라울 정도로 범용적입니다. 학습 데이터가 다양한 주제, 글쓰기 스타일 및 도메인을 아우르기 때문에 단일 모델이 명시적으로 학습하지 않은 작업도 수행할 수 있습니다. 각 작업은 해당 활동을 위한 전용 알고리즘이 아니라 학습 과정에서 습득한 관계를 활용하기 때문에, 법률 계약서를 요약하고 과학적 개념을 설명하거나 소프트웨어 코드를 생성할 수 있습니다.

추론은 한 번에 하나의 토큰씩 응답을 생성합니다

사용자가 프롬프트를 제출하거나 애플리케이션이 모델에 요청을 보내면 추론이 시작됩니다. LLM의 경우 모델이 받는 모든 정보는 프롬프트, 검색된 문서, 대화 기록 및 시스템 지침을 포함해 텍스트의 일부를 나타내는 작은 단위인 토큰으로 변환됩니다. 모델은 이러한 토큰을 함께 평가하고, 어휘에 포함된 다음 토큰의 모든 가능한 확률을 계산한 후 디코딩 전략에 따라 하나를 선택합니다. 새로 생성된 토큰은 다음 예측을 위한 입력의 일부가 되며, 응답이 완성될 때까지 이 프로세스가 반복됩니다.

이 프로세스는 밀리초 단위로 진행되지만 응답이 한 번에 모두 생성되는 것은 아닙니다. 각 토큰은 앞서 생성된 토큰에 의존하므로 모델은 문장, 단락 및 전체 문서를 점진적으로 구성할 수 있습니다. 모델이 해당 시점에 사용할 수 있는 컨텍스트를 바탕으로 시퀀스를 계속 확장하기 때문에 결과가 대화형으로 나타나는 경우가 많습니다.

이러한 확률적 프로세스는 동일한 프롬프트가 항상 동일한 출력을 생성하지 않는 이유도 설명합니다. 프롬프트, 지원 컨텍스트 또는 모델 설정의 작은 차이가 응답에 영향을 줄 수 있습니다. 온도는 모델의 토큰 확률 분포 형태를 변경합니다. 일반적으로 값이 낮을수록 더 일관된 응답이 생성되고, 값이 높을수록 가능한 출력의 범위가 넓어집니다.

컨텍스트가 모든 모델 호출을 좌우합니다

생성형 AI에 대한 흔한 오해 중 하나는 응답의 품질을 주로 모델이 결정한다는 생각입니다. 실제로는 추론 과정에서 제공되는 정보가 그에 못지않은 영향을 미치는 경우가 많습니다. Snowflake의 AI 제품 담당 부사장인 Baris Gultekin은 “엔터프라이즈 규모에서는 더 이상 모델의 지능만이 가장 어려운 문제가 아닙니다. 바로 컨텍스트입니다”라고 말합니다. 역량을 갖춘 파운데이션 모델은 폭넓은 추론 및 생성 기능을 제공하지만, 각 요청에 어떤 비즈니스 정보와 정책, 도구를 사용할 수 있는지는 이를 둘러싼 애플리케이션이 결정합니다.

모든 모델에는 한 번의 요청에서 고려할 수 있는 정보의 양을 의미하는 컨텍스트 윈도우가 있습니다. 이 컨텍스트에는 사용자의 프롬프트, 이전 대화 기록, 검색된 엔터프라이즈 문서, 구조화된 비즈니스 데이터, 도구 출력, 모델의 동작을 안내하는 시스템 지침이 포함될 수 있습니다. 이러한 입력이 모여 특정 상호작용에서 모델이 파악하는 정보의 범위를 결정합니다.

하지만 정보를 더 많이 제공한다고 해서 결과가 반드시 좋아지는 것은 아닙니다. 컨텍스트 윈도우가 크면 애플리케이션이 관련 근거를 제공할 수 있는 여지가 커지지만, 관련 없는 정보 속에 중요한 세부 정보가 묻힐 가능성도 높아집니다. 정확하지만 관련성이 낮은 문서는 모델의 주의를 현재 작업에서 벗어나게 할 수 있습니다. 반면 오래되었거나 서로 충돌하는 정보는 잘못된 추론이 발생할 가능성을 더욱 높입니다. 따라서 효과적인 AI 시스템은 컨텍스트 윈도우를 확장하는 데 그치지 않고, 각 모델 호출에 포함할 정보를 선별하고 구성하며 우선순위를 정하는 데도 집중합니다.

이 과제는 엔터프라이즈 AI에서 핵심적인 엔지니어링 문제 중 하나로 자리 잡았습니다. 애플리케이션은 사용 가능한 모든 문서를 모델에 보내는 대신, 요청과 가장 관련성이 높은 정보만 점점 더 선별해 가져옵니다. 그런 다음 이를 유용한 컨텍스트로 구성하고, 모델이 응답 생성을 시작하기 전에 보안 제어를 적용합니다. 이러한 기법은 프로덕션 AI 시스템의 핵심이 되었으며, 엔터프라이즈 애플리케이션이 파운데이션 모델만으로는 충분하지 않은 이유를 보여줍니다.

생성형 AI는 흔히 챗봇 및 이미지 생성기와 연결되지만, 이는 훨씬 광범위한 기능 중 두 가지 사례에 불과합니다. 최신 파운데이션 모델은 다양한 유형의 콘텐츠를 생성하며, 하나의 멀티 모달 모델이 동일한 애플리케이션에서 여러 형식을 처리하는 사례도 점점 늘고 있습니다.

텍스트 및 자연어

텍스트 생성은 여전히 생성형 AI가 가장 널리 도입된 분야입니다. LLM은 이메일 초안을 작성하고, 긴 보고서를 요약하며, 질문에 답하고, 문서를 번역하고, 기술 개념을 설명하고, 자연어로 대화형 응답을 생성할 수 있습니다.

기업에서는 이러한 기능을 지식 관리, 문서 분석, 고객 지원, 검색, 비즈니스 인텔리전스, 생산성 애플리케이션에 점점 더 폭넓게 활용하고 있습니다.

소프트웨어 코드

생성형 AI는 소프트웨어 개발을 위한 중요한 도구로 자리 잡았습니다. 코딩 지원 도구는 표준 문안 코드를 생성하고, 익숙하지 않은 함수를 설명하며, 리팩터링 기회를 제안하고, 단위 테스트를 작성하고, 프로그래밍 언어 간에 코드를 변환할 수 있습니다. 코딩 에이전트는 전체 리포지토리를 대상으로 추론하여 개발자가 종속성을 파악하고 관련 파일을 식별하며 여러 구성 요소에 걸친 변경 사항을 제안하도록 지원합니다.

이러한 시스템이 소프트웨어 엔지니어링 전문 지식의 필요성을 없애는 것은 아닙니다. 개발자는 생성된 코드를 계속 검토하고, 정확성을 검증하며, 아키텍처 결정을 평가해야 합니다. 생성형 AI는 반복적인 구현 작업에 소요되는 시간을 줄이는 동시에 엔지니어가 복잡한 코드베이스에서 더 효과적으로 작업하도록 지원합니다.

이미지, 오디오 및 동영상

이미지 생성 모델은 자연어 설명을 바탕으로 일러스트레이션, 제품 콘셉트, 마케팅 자산, 사실적인 이미지를 만듭니다. 이와 유사한 기법을 이미지 편집, 배경 교체, 인페인팅, 스타일 전이에 활용할 수 있어 기존 콘텐츠를 수정하거나 처음부터 새로 생성할 수 있습니다.

생성형 AI의 활용 범위는 오디오와 동영상으로도 확장되었습니다. 최신 모델은 음성을 합성하고, 음악을 생성하며, 목소리를 복제하고, 음향 효과를 만들고, 텍스트와 이미지 또는 짧은 클립을 바탕으로 더욱 사실적인 동영상을 제작합니다. 이러한 기능은 빠르게 발전하고 있지만, 진정성, 지식재산권, 책임 있는 사용에 관한 중요한 질문도 제기합니다.

구조화된 데이터 및 합성 데이터

모든 생성형 모델이 사람이 읽을 수 있는 콘텐츠를 생성하는 것은 아닙니다. 일부 모델은 소프트웨어 시스템이 직접 실행할 수 있는 SQL 쿼리, JSON 문서, API 요청, 워크플로우 정의와 같은 구조화된 출력을 생성합니다. 또 다른 모델은 실제 데이터 세트와 유사하도록 설계된 합성 데이터를 생성합니다. 합성 데이터를 적절히 생성하고 평가하며 모델의 기억화로부터 보호하면, 테스트, 모델 개발, 개인정보 보호가 중요한 연구를 지원할 수 있습니다.

AI 애플리케이션이 데이터베이스, API, 비즈니스 시스템과 상호작용하면서 구조화된 생성의 중요성은 특히 커지고 있습니다. 모델은 단순히 질문에 답하는 데 그치지 않고, 데이터를 검색하고 도구를 호출하거나 비즈니스 워크플로우의 일부를 자동화하는 데 필요한 구조화된 정보를 생성할 수 있습니다.

멀티 모달 출력

이처럼 출력 유형 간의 경계는 점점 사라지고 있습니다. 멀티 모달 모델은 차트를 분석하고, 그 결과를 자연어로 설명하며, 시각화를 재현하는 Python 코드를 생성하고, 분석 결과를 요약한 프레젠테이션까지 하나의 대화 안에서 만들 수 있습니다.

이러한 융합은 조직이 AI 애플리케이션을 바라보는 방식을 바꾸고 있습니다. 기업은 언어, 비전, 오디오별로 별도의 시스템을 배포하는 대신, 여러 형태의 정보를 종합해 추론하는 모델을 중심으로 워크플로우를 구축하고 있습니다. 이러한 기능이 확장될수록 이를 뒷받침하는 비즈니스 컨텍스트의 품질은 더욱 중요해집니다.

학습은 파운데이션 모델에 폭넓은 기능을 제공하지만, 조직의 비즈니스에 관한 최신 지식까지 제공하지는 않습니다. 고객 기록, 재고 수준, 계약, 제품 문서, 거버넌스 정책, 재무 데이터는 모두 지속적으로 변화합니다. 해당 정보의 일부가 모델의 학습 데이터에 포함되어 있었더라도, 현재는 보안 및 개인정보 보호 요건으로 인해 오래되었거나 불완전하거나 액세스할 수 없는 정보일 수 있습니다.

모델이 응답을 생성하기 전에 애플리케이션은 일반적으로 요청과 관련된 정보를 식별하고, 사용자에게 해당 정보에 액세스할 권한이 있는지 확인한 다음, 이를 모델의 컨텍스트로 구성합니다. 응답 품질은 모델의 추론 역량뿐만 아니라 추론 시점에 제공되는 정보의 품질, 관련성 및 거버넌스에도 좌우됩니다.

학습 데이터가 일반적인 역량을 형성합니다

모든 생성형 AI 모델은 학습 데이터에서 시작합니다. 파운데이션 모델은 방대한 규모의 공개 콘텐츠, 라이선스가 부여된 콘텐츠, 그리고 경우에 따라 사람이 생성했거나 합성한 콘텐츠에서 통계적 관계를 학습합니다. 이 데이터의 구성은 언어 구사력과 코딩 역량부터 다국어 성능과 도메인 지식에 이르기까지 모델의 다양한 특성에 영향을 미칩니다.

하지만 학습 데이터는 엔터프라이즈 데이터와 근본적으로 다른 역할을 합니다. 학습 데이터의 역할은 모델이 다양한 작업에서 일관성 있는 결과를 생성할 수 있도록 일반적인 패턴을 학습시키는 것입니다. 학습이 완료되면 새로운 문서가 작성되거나 비즈니스 정보가 변경되더라도 모델의 지식이 자동으로 업데이트되지는 않습니다. 이 지식을 업데이트하려면 일반적으로 추가 학습이나 파인튜닝이 필요합니다. 그러나 두 방식 모두 컴퓨팅 비용이 높아 자주 변경되는 정보에 적용하기에는 현실적이지 않습니다.

엔터프라이즈 데이터가 비즈니스 컨텍스트를 제공합니다

주문에 대해 문의하는 고객, 분기별 매출을 분석하는 분석가, 애플리케이션 문제를 해결하는 엔지니어 모두 파운데이션 모델 외부에 존재하는 정보가 필요합니다. 엔터프라이즈 AI 애플리케이션은 추론 시점에 해당 정보를 검색합니다. 이를 통해 모델은 학습 과정에서 습득한 정보에만 의존하지 않고 최신의 신뢰할 수 있는 데이터를 기반으로 추론할 수 있습니다.

검색은 일반적인 추론과 비즈니스 지식을 분리하기 때문에 엔터프라이즈 AI의 대표적인 아키텍처 패턴으로 자리 잡았습니다. 데이터가 변경될 때마다 모델을 지속적으로 재학습하는 대신, 애플리케이션은 모델을 호출하기 직전에 운영 데이터베이스, 데이터 웨어하우스, 문서 리포지토리 및 지식 베이스를 쿼리합니다. 검색된 정보는 해당 모델 호출의 컨텍스트에 포함됩니다. 따라서 기반 모델을 변경하지 않고도 응답에 최신 비즈니스 정보를 반영할 수 있습니다.

이 아키텍처는 더욱 강력한 거버넌스도 지원합니다. 데이터가 모델 가중치에 영구적으로 포함되는 대신 엔터프라이즈 시스템에 계속 저장되므로, 조직은 권한, 계보, 보존 정책 및 감사에 대해 더 강력한 통제력을 유지할 수 있습니다. 검색 계층이 최신 버전에 액세스하는 즉시 정책 문서나 제품 카탈로그의 업데이트 내용을 사용할 수 있습니다. 모델이 재학습될 때까지 기다릴 필요가 없습니다.

임베딩과 벡터 검색으로 관련 정보 검색

적절한 정보를 찾는 일은 정보에 액세스하는 일보다 어려운 경우가 많습니다. 기존 키워드 검색은 문서에 어떤 단어가 포함되어 있는지 사용자가 정확히 알고 있을 때 효과적입니다. 그러나 자연어 질문은 저장된 텍스트와 완벽하게 일치하는 경우가 드뭅니다. “유럽에서 매출이 감소한 이유는 무엇인가?”라고 묻는 사용자가 분기별 보고서나 매출 대시보드에 사용된 용어와 동일한 용어를 사용하지 않을 수 있습니다.

최신 AI 애플리케이션은 임베딩을 활용해 이러한 간극을 좁히고 있습니다. 임베딩은 정확한 표현이 아니라 의미를 포착하는 데이터의 수치 표현입니다. 예를 들어 “고객 이탈”을 다루는 텍스트는 두 표현에 공통으로 포함된 단어가 거의 없더라도 “구독자 취소”에 관한 콘텐츠와 가까운 위치에 배치될 수 있습니다. 유사한 개념은 고차원 벡터 공간에서 서로 가까운 위치를 차지합니다. 따라서 문자 그대로 일치하는 텍스트가 아니라 의미를 기준으로 더 쉽게 검색할 수 있습니다.

이러한 벡터는 일반적으로 벡터 색인이나 벡터 데이터베이스에 저장되며, 애플리케이션은 이를 통해 사용자의 요청과 의미적으로 관련된 문서를 식별할 수 있습니다. 애플리케이션은 일치하는 키워드를 검색하는 대신 유사한 개념을 나타내는 인접 벡터를 검색합니다. 그런 다음 생성이 시작되기 전에 검색된 구절을 추가 컨텍스트로 모델에 제공합니다.

임베딩은 관련 컨텍스트를 선택하는 애플리케이션의 역량을 향상시킵니다. 그 결과 임베딩은 검색 증강 생성(RAG), 시맨틱 검색, 그리고 엔터프라이즈 지식을 기반으로 추론하는 다양한 AI 에이전트의 핵심 구성 요소가 되었습니다.

컨텍스트 엔지니어링이 추론 시점의 모델 지식을 결정합니다

엔터프라이즈 시스템에서 검색된 정보는 모델의 컨텍스트, 즉 단일 추론 요청 중에 사용할 수 있는 입력 모음의 일부가 됩니다. 이 컨텍스트에는 사용자 지침, 검색된 문서, 구조화된 비즈니스 데이터, 이전 대화 기록, 도구 출력, 그리고 모델의 동작을 안내하는 시스템 프롬프트가 포함될 수 있습니다.

컨텍스트 엔지니어링은 독립적인 전문 분야로 자리 잡았습니다. 애플리케이션은 어떤 정보가 관련성이 높은지 판단하고, 중복되거나 상충하는 소스를 조정하며, 컨텍스트 윈도우 한도 내에서 중요한 세부 정보를 유지해야 합니다. 또한 민감 정보가 권한을 부여받은 사용자에게만 공유되도록 해야 합니다. 생성형 AI 애플리케이션이 더욱 정교해질수록 엔지니어링 노력의 상당 부분은 모든 요청에 대해 정확하고 관련성이 높으며 거버넌스가 적용된 컨텍스트를 구성하는 데 집중됩니다.

그 결과 동일한 파운데이션 모델을 사용하는 두 애플리케이션도 전혀 다른 결과를 생성할 수 있습니다. 그 차이는 모델 자체가 아니라 각 애플리케이션이 검색하는 데이터, 구성하는 컨텍스트, 그리고 해당 정보가 모델에 전달되는 방식을 관리하는 제어 기능에서 비롯되는 경우가 많습니다.

모든 생성형 AI 애플리케이션은 일련의 예측을 수행합니다. 다음에 올 토큰, 검색할 때 가장 관련성이 높은 문서, 호출할 도구를 예측하며, 더욱 고도화된 시스템에서는 작업을 완료하기 위해 수행할 작업까지 예측합니다. 이러한 예측 덕분에 생성형 AI는 놀라운 유연성을 발휘하지만, 기존 소프트웨어에서는 관리할 필요가 없었던 불확실성도 발생합니다.

Snowflake의 ROI of Gen AI and Agents 2026 보고서에 따르면 응답자의 40%가 데이터 품질과 데이터 양을 주요 과제로 꼽았으며, 65%는 AI 데이터 사일로를 해소하는 데 어려움을 겪었다고 답했습니다. 56%는 하나 이상의 거버넌스 또는 규정 준수 과제를 경험했다고 답했습니다.

모델이 근거 없이 그럴듯한 정보를 생성하면 할루시네이션이 발생합니다.

생성형 AI 모델은 일관성 있고 컨텍스트에 적합한 응답을 생성하도록 최적화되어 있습니다. 하지만 모델은 자신이 생성하는 모든 문장이 사실에 부합하는지 판단할 수 없습니다. 모델에 충분한 근거가 없거나 사용 가능한 컨텍스트를 잘못 해석하면, 확신에 차고 문장도 잘 다듬어져 보이지만 근거가 없거나 부정확한 정보를 생성할 수 있습니다. 이처럼 생성된 조작되었거나 부정확한 결과를 일반적으로 할루시네이션이라고 합니다.

할루시네이션은 여러 가지 이유로 발생할 수 있습니다. 관련 정보가 학습 데이터에 포함되지 않았다면 모델의 지식이 불완전할 수 있습니다. 또는 애플리케이션이 오래되었거나 관련성이 낮은 문서를 검색해 모델이 불완전한 근거를 바탕으로 추론하게 될 수 있습니다. 긴 컨텍스트 윈도우에서는 서로 경쟁하거나 모순되는 정보가 함께 제공될 수 있으며, 모호한 프롬프트는 모델이 통계적으로 그럴듯한 언어를 사용해 빈틈을 메우도록 유도할 수 있습니다.

모든 할루시네이션이 동일한 결과를 초래하는 것은 아닙니다. 허용 가능한 불확실성의 수준은 시스템이 지원하는 의사 결정과 잘못된 응답이 미칠 수 있는 잠재적 영향에 따라 달라집니다.

보안과 개인정보 보호는 모델을 넘어 전반으로 확대됩니다

엔터프라이즈 AI 시스템은 고객 기록, 금융 데이터, 지식재산권 및 기타 민감한 자산을 포함하는 정보를 다루는 경우가 많습니다. 이러한 정보를 보호하려면 보안이 확보된 모델 제공업체를 선택하는 것만으로는 충분하지 않습니다. 데이터 검색부터 응답 생성과 대화 기록 저장에 이르기까지 애플리케이션의 모든 스테이지에서 조직의 기존 보안 및 액세스 정책을 적용해야 합니다.

AI 애플리케이션이 외부 도구를 사용하거나 사용자를 대신해 작업을 수행할 수 있게 되면서 이 요구사항은 더욱 중요해지고 있습니다. 데이터베이스를 쿼리하거나 고객 기록을 업데이트하거나 코드를 실행할 수 있는 모델은 주변 애플리케이션에 부여된 권한을 그대로 상속합니다. 통합을 제대로 설계하지 않으면 민감 정보가 노출되거나 모델이 요청한 사용자가 수행할 권한이 없는 작업까지 실행할 수 있습니다.

효과적인 AI 보안은 익숙한 보안 원칙을 기반으로 합니다. ID, 인증, 권한 부여, 암호화, 모니터링 및 감사는 여전히 필수적인 제어 수단입니다. 달라진 점은 이러한 제어 수단이 기존 애플리케이션뿐 아니라 이제 모델 호출, 검색 시스템 및 AI 워크플로우 전반에도 적용된다는 것입니다.

편향과 지식재산권에 대한 지속적인 감독

생성형 AI는 학습에 사용된 데이터와 추론 과정에서 제공된 정보에 포함된 패턴을 반영합니다. 이러한 소스에 과거의 편향, 불완전한 대표성 또는 상충하는 관점이 포함되어 있다면 모델의 출력이 해당 패턴을 더욱 강화할 수 있습니다. 마찬가지로 생성된 콘텐츠가 특정 상황에서 저작권이 있는 자료와 유사하거나 민감 정보를 재현할 수 있으며, 이에 따라 조직은 AI를 대규모로 배포하기 전에 법적, 윤리적 문제를 검토해야 합니다.

이러한 문제는 순수한 기술 솔루션만으로 해결하기 어려운 경우가 많습니다. 조직은 허용 가능한 사용 사례를 정의하고, 모델의 공정성과 신뢰성을 평가하며, AI 시스템의 개발 방식을 문서화하고, 배포 후 동작을 모니터링하는 AI 거버넌스 프로세스를 점점 더 많이 수립하고 있습니다. AI가 고객, 직원, 헬스케어, 금융 또는 기타 규제 대상 활동과 관련된 의사 결정을 지원하는 경우에는 특히 사람의 감독이 중요합니다.

거버넌스의 역할

거버넌스는 전체 워크플로우에서 발생하는 상호작용 전반을 따라야 합니다. 사용자가 데이터를 직접 쿼리하는 경우든 AI 에이전트가 해당 데이터에 액세스해 사용자를 대신하여 작업을 수행하는 경우든, 동일한 액세스 제어, 마스킹 정책, 감사 추적 및 모니터링 요구사항을 적용해야 합니다.

적절한 거버넌스 수준은 시스템에 허용된 작업의 범위에 따라 결정됩니다. 내부 문서 요약, 마케팅 헤드라인 추천, 대출 신청 승인, 금융 트랜잭션 실행은 모두 동일한 파운데이션 모델이 각 워크플로우에 기여하더라도 서로 다른 수준의 위험을 수반합니다.

평가는 자동화된 테스트와 사람의 판단을 함께 활용하는 경우가 많습니다. 팀은 생성된 응답을 신뢰할 수 있는 참조 데이터와 비교하고, 사실 정확성과 관련성을 측정하며, 지시 사항의 준수 여부를 평가하고, 다양한 프롬프트와 시나리오에서 일관성을 모니터링합니다. 일반적으로 배포 후에도 평가를 계속 진행하므로 모델, 검색 시스템 및 프롬프트를 업데이트하면서도 애플리케이션 품질을 유지할 수 있습니다.

가드레일은 AI 시스템이 작동하는 동안 수행할 수 있는 작업의 범위를 정의해 평가를 보완합니다. 가드레일은 민감 데이터에 대한 액세스를 제한하고, 유해한 콘텐츠를 필터링하며, 생성된 코드를 검증하고, 영향이 큰 작업 전에 사람의 승인을 요구하거나, 에이전트가 특정 도구를 호출하지 못하도록 제한할 수 있습니다. 평가와 가드레일을 함께 활용하면 조직은 AI 애플리케이션을 개선하는 동시에 시스템이 허용 가능한 범위 내에서 계속 작동한다는 확신을 유지할 수 있습니다.

궁극적으로 거버넌스는 AI 애플리케이션이 완성된 후 추가하는 계층이 아닙니다. 모델을 호출하기 전에 검색하는 데이터부터 응답 생성 후 적용되는 정책에 이르기까지 시스템 전반에 거버넌스가 녹아 있어야 합니다. 조직이 더 많은 비즈니스 프로세스에 생성형 AI를 배포할수록 평가, 감독 및 거버넌스의 결합은 파운데이션 모델 자체의 기능만큼이나 중요해집니다.

Snowflake는 플랫폼에서 이미 관리형으로 관리되는 엔터프라이즈 데이터에 생성형 AI를 연결합니다. Snowflake Cortex AI는 LLM과 AI 함수에 대한 액세스를 제공하며, Cortex Search는 비정형 데이터에서 관련 정보를 검색합니다. 또한 Cortex Analyst를 사용하면 애플리케이션이 거버넌스가 적용된 정형 데이터와 시맨틱 모델을 기반으로 자연어 질문에 답할 수 있습니다. Snowflake Horizon Catalog는 이러한 애플리케이션이 사용하는 데이터 전반에 분류, 계보 및 액세스 정책을 비롯한 거버넌스 제어를 적용합니다.

개발자는 Streamlit in Snowflake를 사용해 애플리케이션 코드나 데이터를 별도의 환경으로 이동하지 않고도 인터페이스를 구축하고 배포할 수 있습니다. 이러한 서비스는 모델 액세스, 검색, 비즈니스 컨텍스트, 애플리케이션 개발 및 거버넌스를 동일한 엔터프라이즈 데이터에 연결해 프로덕션 생성형 AI 애플리케이션에 필요한 주변 시스템을 지원합니다.

파운데이션 모델은 모든 규모의 조직이 생성형 AI를 활용할 수 있도록 만들었지만, 모델 자체는 프로덕션 AI 시스템의 한 구성 요소에 불과합니다. 이제 관심은 모델을 둘러싼 구성 요소로 점점 이동하고 있습니다. 각 요청에 정보를 제공하는 데이터, 추론 전에 구성되는 컨텍스트, 애플리케이션 전반에 적용되는 거버넌스, 그리고 시간이 지나도 응답의 정확성을 보장하는 평가가 여기에 해당합니다.

이러한 변화는 조직이 AI를 바라보는 방식이 더욱 광범위하게 바뀌고 있음을 보여줍니다. 경쟁 우위는 특정 파운데이션 모델에 액세스하는 데서 얻기보다, 신뢰할 수 있는 엔터프라이즈 데이터와 비즈니스 프로세스, 거버넌스를 대규모로 AI에 연결하는 역량에서 점점 더 결정되고 있습니다. 모델은 계속 발전하고 새로운 아키텍처가 등장하겠지만, 궁극적으로 생성형 AI를 측정 가능한 비즈니스 성과로 전환하는 효과를 좌우하는 것은 모델을 둘러싼 시스템이 될 것입니다.