AI 에이전트가 실수하면 누가 책임질까? AI 거버넌스와 휴먼 인 더 루프
AI가 대신하는 업무, 실수는 누가 책임질까요?
간단한 이미지 제작과 콘텐츠 작성부터 고객 응대까지, AI가 맡는 업무가 늘어나고 있습니다. 이제 AI는 질문에 답하는 것을 넘어 직접 업무를 계획하고 실행하는 단계로 발전하고 있는데요.
그렇다면 AI 에이전트가 업무를 수행하다 실수한다면, AI를 도입한 팀과 업무를 맡긴 팀, 실행을 승인한 관리자 중 누가 책임져야 할까요?
AI 에이전트에게 일을 맡기려면 이를 운영하는 조직의 체계부터 제대로 잡혀야 합니다. 어떤 업무에 AI를 도입할 것인지, 누가 결과를 검수할지, 문제가 생기면 어떤 팀이 해결할 것인지를 미리 정해야 하죠.
AI 에이전트의 책임 문제를 조직 운영 관점에서 살펴보고, AI 거버넌스와 휴먼 인 더 루프를 실제 업무에 적용하는 방법을 알아보겠습니다.
AI 에이전트란 무엇이며, 왜 책임 구조가 필요할까요?
AI 에이전트(AI Agent)는 목표를 받으면 필요한 작업을 계획하고, 도구와 시스템을 사용해 업무를 실행하는 인공지능 시스템입니다.
기존 챗봇이 주로 질문에 답했다면, AI 에이전트는 주어진 목표에 따라 여러 작업을 이어서 수행할 수 있습니다.
AI가 업무 실행까지 맡게 되면 확인해야 할 것도 늘어납니다. 답변이 정확한지뿐 아니라 어떤 정보를 사용했는지, 어떤 기준으로 판단했는지, 실제로 무엇을 바꿨는지까지 살펴봐야 합니다.
하지만 기업의 관리 체계는 AI 도입 속도를 충분히 따라가지 못하고 있습니다.
Gartner가 2026년 10월 발표한 조사에 따르면, 최고인사책임자(CHRO) 297명을 대상으로 조사한 결과 78%가 AI의 가치 창출 영역에 대해 리더 간 합의가 이루어지지 않았다고 답했습니다.
Deloitte의 2026년 조사에서도 비슷한 문제가 드러났습니다. 24개국 IT 및 비즈니스 리더 3,235명 가운데 성숙한 AI 에이전트 거버넌스 모델을 갖췄다고 답한 비율은 21%에 그쳤습니다.
기업이 AI를 업무에 제대로 사용하려면 기술 도입뿐 아니라 책임과 감독 체계를 함께 마련해야 하는 이유입니다.
AI 거버넌스(AI Governance)란 무엇인가요?
AI 거버넌스는 AI를 안전하고 책임 있게 운영하기 위해 조직이 정하는 업무 규칙과 책임 구조입니다. 데이터 관리부터 결과 검증, 사람의 승인, 사고 대응까지 업무 흐름 전체에 적용하는 운영 체계인데요.
회사에서 어떤 업무에 AI를 사용할지, 어떤 정보를 입력할 수 있는지, 결과는 누가 검토하는지, 문제가 생기면 어떻게 대응할지 등을 정하는 것입니다. 여기서 핵심은 AI가 스스로 처리할 수 있는 일과 사람이 판단해야 할 일을 구분하는 데 있습니다.
기업이 갖춰야 할 AI 거버넌스 운영 기준
관리 영역 | 정해야 할 내용 |
|---|---|
사용 목적과 범위 | 어떤 업무에 AI를 사용할 것인가? |
역할과 책임 | 누가 운영하고 최종 판단할 것인가? |
데이터와 접근 권한 | 어떤 정보를 조회하고 처리할 수 있는가? |
검토와 승인 | 언제 사람의 판단을 거쳐야 하는가? |
기록과 점검 | 실행 과정을 어떻게 확인할 것인가? |
오류와 사고 대응 | 문제가 생기면 어떻게 멈추고 수습할 것인가? |
미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크(AI RMF)도 AI 위험관리를 위한 조직의 정책과 절차, 책임 구조를 강조합니다.
AI 거버넌스는 도입 시점에 규정을 만드는 것으로 끝나지 않습니다. 사용 과정에서 발견한 오류와 새로운 위험을 반영해 기준을 계속 보완해야 합니다.
AI 에이전트의 책임은 어떻게 나눠야 할까요?
AI 에이전트의 책임은 업무 단계별로 나누고, 각 담당자의 결정 권한과 보고 경로를 명확히 정해야 합니다.
여러 팀이 AI 도입에 참여하더라도 담당 업무와 의사결정 권한이 불분명하면 문제가 생겼을 때 대응이 늦어질 수 있습니다.
이때 중요한 것은 담당자 한 사람에게 모든 책임을 맡기지 않는 것입니다. 조직은 각 담당자가 충분한 정보와 권한을 가지고 판단할 수 있도록 지원해야 합니다.
NIST의 AI 위험관리 프레임워크에서도 AI 관련 역할과 보고 체계를 문서화하고, 담당자가 책임을 수행할 수 있도록 교육할 것을 강조합니다.
책임을 정한다는 것은 단순히 문제가 생겼을 때 누구에게 책임을 물을지 정하는 일이 아닙니다. 문제가 발생하기 전에 누가 확인하고, 누가 중단하고, 누가 해결할지를 정하는 일입니다.
휴먼 인 더 루프(Human in the loop)란 무엇인가요?
휴먼 인 더 루프는 AI가 업무를 수행하는 과정에 사람이 참여해 필요한 판단과 검토, 승인을 하는 방식입니다.
AI 거버넌스가 조직 전체의 운영 규칙이라면, 휴먼 인 더 루프는 그 규칙에 따라 사람이 개입하는 구체적인 절차입니다.
Deloitte도 AI 에이전트가 독립적으로 결정할 수 있는 범위와 사람의 감독이 필요한 범위를 구분하는 것을 주요 관리 요소로 다룹니다.
하지만 AI 업무 과정에 '담당자 확인' 단계를 추가하는 것만으로 충분할까요?
검토할 자료가 없거나 다른 업무에 밀려 승인 버튼만 누르게 된다면, AI의 오류를 발견하기 어렵습니다. 휴먼 인 더 루프가 제대로 작동하려면 다음 세 가지 조건이 필요합니다.
첫째, 판단에 필요한 정보를 확인할 수 있어야 합니다.
검토자는 AI의 결론뿐 아니라 원본 자료, 적용한 업무 기준, 실행 예정인 작업을 확인할 수 있어야 합니다. AI가 제시한 설명도 원본 정보와 대조할 필요가 있습니다.
둘째, 반려하거나 중단할 권한이 있어야 합니다.
검토자가 문제를 발견했을 때 실행을 보류하고, 수정 요청을 하거나 책임자에게 보고할 수 있어야 합니다. 담당자가 부재한 경우의 대체 절차도 정해두는 것이 좋습니다.
셋째, 검토할 시간과 역량을 확보해야 합니다.
기존 업무에 AI 감독 업무가 더해진다면 업무량도 조정해야 합니다. 담당자가 오류를 판단하고 예외 상황에 대응할 수 있도록 교육과 업무 기준을 마련해야 합니다.
사람이 최종 승인한다는 사실보다 중요한 것은 그 사람이 충분한 정보를 바탕으로 판단하고, 필요할 때 AI의 실행을 멈출 수 있는가입니다.
AI 에이전트 시대, HRD는 어떤 교육을 준비해야 할까요?
AI 에이전트를 사용하는 조직에서는 업무 지시 방법뿐 아니라 결과 검증과 승인, 오류 대응 방법까지 교육해야 합니다.
AI에 일을 맡기는 직원과 그 결과를 감독하는 관리자는 서로 다른 역량이 필요합니다.
교육에서는 실제 업무와 가까운 상황을 제시해 볼 수 있습니다.
업무 담당자는 AI가 사용한 정보를 확인하는 방법과 자신의 승인 범위, 문제 발생 시 보고 경로를 익힐 수 있습니다. 관리자는 반복되는 오류를 발견했을 때 자동 처리를 중단할 기준과 재개 조건을 검토할 수 있습니다.
예를 들어 고객 응대 AI가 잘못된 환불 안내를 작성했다면, 담당자는 어떤 정보를 확인하고 누구에게 보고해야 할까요? 관리자는 해당 응답의 발송을 중단할지, 어떤 조건에서 자동 응대를 재개할지 판단해야 합니다.
이처럼 AI 교육이 실제 업무 기준과 연결되어야 직원도 자신이 맡은 역할을 명확히 이해할 수 있습니다.
AI가 맡는 업무가 늘어날수록 사람의 판단이 필요한 지점도 분명해야 합니다. 우리 조직에서는 누가 AI의 결과를 검토하고, 실행을 멈출 수 있는지 확인하고 책임 있는 AI 사용에 대해 논의해야 합니다.
참고자료
- Gartner, HR Research (2026.10.26)
- Deloitte, Agentic AI Governance (2026.4.24)
- NIST, AI Risk Management Framework 1.0 (2023)