아이덴티티 없는 AI 에이전트의 한계

지난 2년간 AI 에이전트의 기능적 역량은 크게 향상되었습니다. AI 에이전트는 데이터베이스를 쿼리하고, 문서를 요약하며, 워크플로우를 라우팅하고, 사용자를 대신해 트랜잭션을 실행할 수 있습니다. 그중 일부는 실제로 인상적인 수준에 도달했습니다.

하지만 보다 어려운 과제는 대다수 조직이 아직 해결하지 못한 영역으로, AI 시스템 전반에 걸친 책임성을 보장하는 것입니다.

에이전트는 행동할 수 있습니다. 그러나 책임성은 전혀 다른 차원의 질문입니다. 인간 사용자가 수행한 작업에는 아이덴티티 기반의 추적 체계가 연결됩니다. 반면 에이전트의 실행에는 이러한 아이덴티티 체계가 부재한 경우가 많습니다. 에이전트가 데모를 넘어 프로덕션으로 들어오는 순간, 이 격차는 거버넌스 문제로 바뀝니다.

이것이 바로 에이전트 아이덴티티 문제입니다. 에이전트는 자체적으로 검증 가능한 아이덴티티를 가져야 합니다. 명확하게 정의된 권한, 정의된 범위, 그리고 수행한 작업에 대한 지속적인 기록이 필요합니다. 이러한 요소가 없다면 무엇이 발생했는지, 누가 이를 승인했는지, 정해진 범위를 벗어나지 않았는지에 대해 답할 수 없습니다. 그리고 문제가 발생하는 순간 이는 곧 리스크로 이어집니다.  

대부분의 에이전트는 이러한 요건을 충족하지 못합니다. 그리고 이 격차는 이미 가장 정교한 일부 AI 프로그램에서도 도입을 지연시키는 요인이 되고 있습니다.

모든 규정 준수 팀이 답해야 할 질문

규제 산업에서 AI는 감사 복잡성을 줄이지 않습니다. 오히려 이를 증폭시킵니다. 에이전트가 데이터베이스를 쿼리하고, 권고안을 생성하거나, 어떤 작업을 시작한 뒤 6개월 뒤 문제가 발생한다면, 팀은 다음 질문에 답해야 합니다. 

• 누가 이 에이전트를 만들었는가? 

• 어떤 권한을 가졌고, 유효 기간은 어떻게 설정되었는가? 

• 어떤 데이터에 접근했는가? 

• 그리고 파생 인사이트(예: 예측, 요약, 명시적으로 승인되지 않은 출력)를 생성했다면, 그 소유권은 누구에게 귀속되는가?

대출 심사 에이전트를 가정해 보겠습니다. 이 에이전트는 신용 데이터를 조회하고, 리스크를 식별하며, 승인 권고를 생성합니다. 1년 뒤, 차입자가 결과에 이의를 제기할 경우, 이때 규정 준수 팀은 에이전트가 정확히 어떤 데이터에 액세스했는지, 누구의 권한으로 수행했는지, 그리고 출력이 사전 정의된 정책 범위를 준수했는지를 정밀하게 재구성해야 합니다. 만약 그 기록이 없다면 상황은 단순한 노출을 넘어, 검증의 출발점 자체가 사라집니다.

이 질문들은 지극히 당연한 것이지만, 대부분의 아이덴티티 인프라는 이런 질문에 답할 수 있도록 설계되지 않았습니다.

생각보다 더 어려운 이유

기존 아이덴티티 시스템은 안정적인 역할과 정의된 액세스 권한을 기반으로 설계되었습니다. 에이전트는 이 모델에 부합하지 않습니다.

에이전트는 단일 작업을 위해 활성화되고, 네 개의 데이터 소스를 조회한 뒤, 짧은 시간 안에 사라질 수 있습니다. 각 소스는 개별적으로는 적절한 액세스 제어를 갖추고 있었을지 모릅니다. 그러나 이들이 결합된 결과, 즉 파생 인사이트는 누구도 승인하지 않은 영역까지 확장될 수 있습니다. 에이전트는 설계된 대로 정확히 수행했을 뿐입니다. 문제는 그 경계를 아무도 정의하지 않았다는 데 있습니다.

그리고 에이전트가 사라진 뒤에도, 기록은 반드시 남아 있어야 합니다. 

예를 들어, 전통적인 스케줄 기반 배치 프로세스(예: 자정에 실행되는 급여 처리 스크립트)는 명확한 식별자, 소유자, 그리고 완전한 감사 로그를 갖습니다. 반면 수 시간 동안 실행된 후 권고 결과만 반환하는 동적 에이전트는 별도의 아키텍처 설계 없이는 거버넌스 관점에서 거의 추적 불가능한 상태로 남게 됩니다.

거버넌스를 아키텍처에 내재화해 해결하는 에이전트 아이덴티티 문제

거버넌스는 사후에 덧붙일 수 없습니다. 초기 설계 단계에서부터 아키텍처에 포함되어야 합니다.

실제 구현은 다음과 같습니다.

• 런타임이 아닌 생성 시점에서의 아이덴티티. 에이전트의 권한, 데이터 액세스, 운영 범위는 행동 이후에 사용자로부터 추론되는 것이 아니라, 실행 전에 정의되어야 합니다. 명시적 권한에는 무엇에 액세스할 수 있는지, 얼마나 오랜 기간 가능한지, 누구를 대신해 수행하는지가 포함됩니다. 예를 들어, 재무 담당 부사장이 호출한 에이전트는 해당 사용자의 권한을 그대로 상속받는 것이 아니라, 별도로 정의된 범위 기반 액세스 권한을 부여받습니다.
• 입력뿐 아니라 출력에도 거버넌스 적용. 소스 데이터에 대한 액세스 제어만으로는 충분하지 않습니다. 에이전트가 여러 시스템의 데이터를 결합하는 순간, 그 결과는 어떤 단일 데이터 소스에서도 허용되지 않았던 영역까지 확장될 수 있습니다. 따라서 정책 적용 범위는 입력 데이터가 아니라 파생 인사이트까지 확장되어야 합니다. HR 데이터와 금융 데이터를 각각 액세스하도록 승인받은 에이전트라도, 이를 결합하는 것까지 허용된 것은 아닙니다.
• 에이전트 수명 주기를 넘어서는 수명 주기 추적. 단기 실행 에이전트라 하더라도 생성 주체, 액세스 이력, 생성 결과, 승인 주체에 대한 영구적 감사 로그를 유지해야 합니다. 감사 가능성은 에이전트의 실행 상태와 무관하게 보장되어야 합니다. 예를 들어, 1시간 동안 실행된 임상 에이전트가 생성한 권고 역시 장기적으로 추적 가능한 기록으로 남아야 합니다.
• 보조 수단이 아닌 조기 경보로서의 인간 감독. 목표는 사람이 모든 에이전트 상호작용을 일일이 확인하는 것이 아닙니다. 이는 오히려 목적에 반합니다. 올바른 모델은 주기적이고 체계적인 검토와, 문제가 확대되기 전에 이상을 감지하는 감사 기능입니다. 금융 감사처럼 모든 트랜잭션을 들여다보는 대신, 패턴을 드러내기에 충분한 수준으로 점검하는 방식입니다.

이러한 원칙은 Snowflake 플랫폼에 설계 단계부터 내재화되어 있으며, Snowflake의 AI 에이전트 개발과 고객이 구축하는 에이전트 전반에 걸쳐 일관되게 적용됩니다. 

Snowflake의 Go-To-Market AI Assistant를 구축할 때, 관련 영업 지식, 고객 사례, 계정 인사이트를 팀이 즉시 활용할 수 있도록 지원하는 것이 목표였습니다. 이를 제대로 작동시키려면 두 가지를 반드시 해결해야 했습니다. 제공되는 정보가 신뢰할 수 있어야 했고, 에이전트가 적시에 적절한 사람에게만 올바른 정보를 노출하도록 통제 장치를 마련해야 했습니다.

그 결과, 기능이 아니라 설계 제약 조건으로 다음을 먼저 정의했습니다.

• 역할 기반 데이터 액세스
• 검증된 답변과 추론된 답변을 구분하는 인증된 쿼리
• 생성 시점에 정의되는 범위
• 여러 소스 전반에서 데이터 액세스를 강제하는 논리적 데이터 모델

그 결과, 현재 이 에이전트는 6,000명 이상의 직원을 지원하며, 주당 35,000건 이상의 질문에 답변하고 있습니다. 팀은 사후 감사 가능성이 완전히 보장된 상태에서 이 에이전트를 신뢰하고 자율적으로 운영하고 있습니다.

이 모델은 고객 환경에서도 그대로 확장되고 있습니다. TS Imagine, Fanatics, United Rentals 같은 기업의 고객들이 Snowflake에서 에이전트를 구축하며 비즈니스를 가속화하고 있습니다. 

예를 들어, 연간 750억 달러 이상의 거래를 처리하는 글로벌 결제 플랫폼 Tipalti는 Snowflake AI 데이터 클라우드를 활용해 팀 전반에서 LLM 기반 데이터 탐색을 확산하고 있습니다. 이 플랫폼은 주요 비즈니스 부서가 재무 인사이트를 더 빠르게 확보하고 중요한 의사 결정에 신속하게 대응할 수 있도록 지원하며, 시간과 비용을 절감하는 동시에 현업 담당자가 필요한 정보를 바탕으로 자신 있게 행동할 수 있도록 합니다.

에이전트 아이덴티티 해결, 엔터프라이즈 AI 도입의 결정적 해법

에이전트 아이덴티티를 해결하면 리스크만 줄어드는 것이 아닙니다. 도입을 저해하는 마찰 자체가 사라집니다.

현재 기업들은 불확실성에 대한 두려움 때문에 모든 에이전트를 사람이 직접 감시하도록 하거나, 진정한 에이전트 대신 애플리케이션을 구축하거나, 아예 이 영역을 회피하기도 합니다. 이는 비용이 많이 들고, AI 도입의 목적에도 부합하지 않습니다.

이러한 주저함은 다음 세 가지에 답할 수 있는 순간 사라집니다. 에이전트가 누구인지, 무엇을 수행할 권한이 있는지, 실제로 무엇을 했는지입니다. 에이전트도 사람과 같은 방식으로 신뢰를 얻습니다. 의도가 아니라, 검증 가능한 증거를 통해서입니다.

제약 조건은 더 이상 역량이 아닙니다. 신뢰입니다.