기업 임원에게 자사의 AI 에이전트 중 하나를 설명해 달라고 하면 대개 명확한 답이 돌아옵니다. “문서를 요약합니다”라거나 “1차 고객 지원 티켓을 처리합니다”라는 식입니다. 하지만 그 에이전트에 거버넌스를 어떻게 적용하고, 성과를 어떻게 측정하며, 잘못되면 어떻게 바로잡는지 물으면 대답 없이 침묵이 흐르는 경우가 많습니다. 이 침묵이야말로 지금 에이전틱 AI가 처한 현실을 보여줍니다.
저는 글로벌 선도 기업의 데이터 및 AI 리더들과 파일럿이 아닌 프로덕션 환경에서 에이전트를 배포하는 문제를 정기적으로 논의합니다. 앞서가는 조직과 그렇지 못한 조직을 가르는 기준은 더 나은 모델이나 더 많은 예산이 아닙니다. 앞서가는 조직은 에이전트를 엔지니어링해야 할 프롬프트가 아니라 채워야 할 역할로 대하기 시작했습니다.
작업을 설명하는 프롬프트, 역할을 정의하는 직무 기술서
프롬프트는 특정 순간에 에이전트가 무엇을 해야 하는지 알려줍니다. 직무 기술서는 한 걸음 더 나아갑니다. 이 역할에는 무엇이 필요한지, 조직 안에서 어떤 자리를 차지하는지, 그 결과물은 누가 책임지는지까지 담습니다.
그런데 많은 기업이 이 직무 기술서 단계를 건너뛰었습니다. 에이전틱 AI와 관련된 가장 큰 우려 중 하나는 인간의 감독을 유지하고 에이전트가 통제를 벗어나 행동하지 않도록 막는 일입니다. 여기서 의문이 생깁니다. 에이전트는 누가 관리하며, 그 관리자는 누가 교육했을까?
제가 만나 본 리더들은 다음 세 단계를 의도적으로 밟아 가며 에이전트 프로그램을 구축합니다. 각 단계는 조직이 새 직원을 들일 때 거치는 과정과 같습니다.
신중한 고용
에이전트 로직을 한 줄이라도 작성하기 전에, 어떤 작업을 자동화할 가치가 있는지부터 따져야 합니다. 한 음악 기술 기업은 가장 반복적이고 처리량이 많은 업무를 찾기 위해 워크플로우 감사를 진행했습니다. 이제 이 기업에서는 음악 탐지 에이전트가 사람으로 구성된 팀으로는 감당할 수 없는 규모로 AI가 생성한 트랙을 분류합니다.
어떤 글로벌 자동차 제조사에서는 사업부마다 AI 리드가 체계적인 아이디어 발굴 과정을 거쳐 사용 사례를 모으고, 무엇이든 구축하기 전에 우선순위 결정 프레임워크로 검토합니다. 한 임원은 이렇게 말했습니다. “이제는 에이전트를 만드는 일이 너무 쉬워져서 팀들이 일단 만들고 봅니다. 하지만 정해진 프로세스나 단계별 승인 절차, 성과 지표가 있느냐고 물으면 대부분의 조직은 아직 그 수준에 이르지 못했습니다.”
우선순위만큼 설계도 중요합니다. 직원이 혼자 일하지 않듯 에이전트도 홀로 일하지 않으며, 신뢰는 처음부터 쌓아야 합니다. 한 디지털 마케팅 에이전시는 AI 팀과 사업부 사이에 솔루션 아키텍트라는 역할을 새로 두었습니다. 이 역할은 에이전트가 기존 프로세스에 덧붙인 고립된 도구가 아니라, 실제 목표와 연결되고 거버넌스가 적용된 워크플로우로 출시되도록 합니다.
핸드북 준비
직무 기술서가 입사 제안서라면, 데이터는 직원 핸드북입니다. 정확하고 다양하며 최신 상태인 엔터프라이즈 데이터에 액세스하지 못하는 에이전트는 온보딩을 한 번도 받지 못한 직원과 같습니다. 그런데도 데이터 준비는 여전히 기업의 AI 도입을 가로막는 가장 큰 장벽입니다. Snowflake의 자체 조사에 따르면, 기업의 65%는 AI 데이터 사일로를 해소하는 일이 어렵거나 매우 어렵다고 답했으며, 62%는 애초에 데이터를 AI 준비 상태로 만드는 일도 마찬가지라고 답했습니다.
해답은 더 많은 데이터가 아니라, 구조화된 데이터입니다. 한 디지털 마케팅 에이전시의 리더는 이렇게 말합니다. “사람들은 데이터 구조의 중요성을 자주 과소평가합니다. 에이전트가 모든 것을 해낼 수 있다고 생각합니다. 하지만 모델은 그렇게 작동하지 않습니다. 필요한 것만 골라냅니다. 효과적인 에이전트에는 매우 엄선된 온보딩이 필요합니다.”
한 에너지 솔루션 기업은 수리 엔지니어링용 에이전트를 구축하면서 이 교훈을 얻었습니다. 한 리더는 이렇게 말합니다. “에이전트를 만드는 데는 약 20분밖에 걸리지 않습니다. 하지만 여기저기 분산된 소스에서 데이터를 모으고 필요한 임베딩을 구축하는 엔지니어링 작업에는 몇 주가 걸립니다.” 에이전트의 성능은 주어진 핸드북의 수준을 넘어서지 못합니다.
적극적인 관리
고용과 온보딩은 쉬운 부분입니다. 프로그램이 무너지기 쉬운 단계는 관리입니다. 에이전트를 관리하는 일은 사람을 관리하는 일과 전혀 다르기 때문입니다. 그러면서도 사람을 관리할 때만큼의 철저함이 필요합니다.
한 헬스케어 기술 기업의 글로벌 데이터 및 AI 책임자는 이러한 변화를 감독하는 인간에게 부상하는 세 가지 역할을 설명합니다. 프로세스와 이를 실행하는 에이전트를 구축하는 디자이너, 실행을 모니터링하고 결과물을 검증하는 컨트롤러, 고위험 프로세스에서 에이전트의 작업을 독립적으로 보증하는 감사자입니다. 이 책임자는 이렇게 설명했습니다. “업무 자체를 수행하는 일은 점점 선택 사항이 되거나 심지어 취미에 가까워질 수도 있습니다. 그러나 인간의 책임성은 사라지지 않습니다. 사람들은 자신이 설계에 심어 둔 의사결정, 에이전트에 부여한 자율성, 그리고 에이전트가 만들어 내는 결과에 대해 계속 책임을 져야 합니다.” 이러한 책임성은 당연하게 여길 것이 아니라 측정해야 합니다.
한 글로벌 자동차 제조사는 배포 전 수습 단계의 에이전트를 다섯 차례에 걸쳐 170개 질문으로 테스트한 뒤, 단순한 기준을 적용합니다. 사람을 그럴듯하게 모방하는 데 그치지 않고 사람보다 뛰어나야 한다는 기준입니다. 한 음악 기술 기업의 운영 팀은 모든 에이전트 결과물을 내보내기 전에 사람이 최종 확인을 합니다. 그리고 에이전트가 하는 일을 최종적으로 누가 책임지느냐는 제 질문에, 인터뷰한 리더들은 모두 같은 답을 내놓았습니다. 바로 사람입니다.
그 답이 곧 핵심입니다. 직원과 새로운 에이전틱 동료 사이에 신뢰를 쌓으려면 시간이 걸립니다. 한 리더는 에이전트를 구축하는 데 4주가 걸리지만 실제 도입에 이르기까지는 8~9개월이 걸린다고 봤습니다. 신뢰는출시와 함께 선언되는 것이 아니라, 반복을 통해 얻어지는 것이기 때문입니다.
AI 매니저가 등장하는 차세대 조직도
에이전트를 대규모로 배포하는 모든 부서에서 AI 매니저라는 새로운 역할이 생겨나고 있습니다. 한 음악 기술 기업의 리더는 이렇게 밝혔습니다. “다음 스테이지는 여러 AI 에이전트를 관리하는 것입니다. 이제는 직접 매니저가 되어, 이러한 AI를 관리하고 더 효율적으로 만들어야 합니다.”
에이전트 활용에서 가장 빠르게 앞서가는 조직은 에이전트를 어디에 배치할지 명확히 정하고, 에이전트가 의존하는 데이터를 신중하게 준비하며, 누가 에이전트의 작업을 검토하는지 철저하게 관리합니다. 대부분의 관리 체계가 갖춰지는 속도보다 기술이 준비되는 속도가 더 빠릅니다. ‘에이전트가 있다’와 ‘에이전트를 효과적으로 고용한다’ 사이의 격차는 기술 격차가 아니라, 관리 격차입니다. 이 격차를 좁히는 일은 간단한 태도 변화에서 시작합니다. 프롬프트는 그만, 이제는 AI를 고용할 때입니다.
여기 소개한 인터뷰는 eBook Employ Agents Effectively: A Data Executive's Blueprint for the Agentic Enterprise에서 더 자세히 다룹니다. 한 글로벌 정보 서비스 기업이 175년 동안 쌓아 온 법률·세무 전문성을 바탕으로 AI 에이전틱 ‘인력’을 학습시키는 방법도 함께 소개합니다.
