Expert
이상욱
한양대학교 철학과 교수 · AI 윤리 전문가
한양대학교 철학과와 대학원 인공지능철학과에서 인공지능을 비롯한 첨단 과학기술의 철학적, 윤리적 쟁점에 대해 연구하고 가르치고 있습니다. 유네스코 세계과학기술윤리위원회 의원과 한국과학철학회 회장을 역임했습니다.
다음과 같은 상황을 상상해 보자.
“광고회사에 다니는 박과장은 최근 새로운 광고 제작을 위한 기획 회의에서 난처한 상황을 겪었다. 광고주가 “요즘, 인공지능이 워낙 좋아져서 10명 하던 일을 3명이면 충분히 할 수 있죠?”라면서 광고 단가를 예전보다 50% 이상 깎자고 요구했기 때문이다.
박과장이 AI 도구가 분명 제작 시간을 줄여주는 것은 사실이지만 아직 그만큼 비용 절감 효과가 있는 것은 아니라고 열심히 설명했지만 광고주는 들은 척도 하지 않았다. 오히려 박과장의 회사가 인공지능 도입에 뒤처지고 있는 건 아닌지 반문하기도 했다.
한참 광고주와 실랑이를 하다 회사에 돌아오니 상사는 인공지능이 전면적으로 회사에 도입되었는데 왜 박과장 부서의 생산성은 획기적으로 높아지지 않았는지 추궁한다. 그런 와중에 얼마 전에 들어온 박과장 부서 신입사원은 인공지능이 내놓은 결과를 검증도 하지 않고 사내 회의에서 발표하다가 결정적 오류가 지적당하고 어찌해야 할지 우왕좌왕한다.”
생성형 인공지능이 업무 현장 곳곳에 스며들면서, 앞서 본 것과 같은 당혹스러운 장면도 더 이상 낯선 일이 아니게 되었다. 이런 일이 왜 벌어지는지를 이해하려면 현재 인공지능이 분명 혁신적인 기술이기는 하지만 업무 환경에서 여러 한계를 지닌, 혹은 다른 말로 하자면 여러 특정 조건이 만족될 때만 생산성 향상 등의 가시적 결과로 이어질 수 있다는 점을 이해해야 한다.
이를 위해서는 생성형 인공지능이나 추론형 인공지능 그리고 최근 활용이 늘어가고 있는 에이전트 인공지능의 기술적 특징을 알아야 한다. 세부 내용은 다소 복잡하지만 핵심은 간단하다. 인공지능과 함께 일할 때는 엄청 똑똑하지만, 지구 문화를 잘 모르는 외계인과 함께 일한다고 생각해야 한다!
AI는 똑똑해 보이지만, 끝내 ‘환각’에서 자유롭지 않다
익숙한 주제부터 시작해 보자. 생성형 인공지능부터 ‘환각’이라는 현상이 등장했다. 생성형 인공지능 이전까지 사용하던 예측형 인공지능은 학습 데이터에 잠재된 패턴을 찾아내어 이 패턴이 새로운 데이터에도 있을 것이라는 가정 하에 예측을 하는 것이기에 예측이 ‘틀릴’ 수 있지만 참이 아닌 주장을 참과 섞어서 ‘자신 있게’ 말하지는 않는다.
그에 비해 생성형 인공지능부터는 주어진 프롬프트에 맞추어 확률적으로 대답을 만들어 내기에 ‘환각’이 발생한다. 물론 현재는 RAG 기법을 비롯하여 환각을 줄일 수 있는 수많은 기술적 장치들이 활용되고 있기에 생성형 인공지능 도입 초기보다는 환각이 현저하게 줄어들었다.
하지만 새로운 것을 생성하는 트랜스포머 아키텍처의 기술적 ‘특징(feature)’상 환각은 줄일 수는 있어도 완전히 제거할 수는 없다. 오픈AI가 챗GPT를 출시하면서 챗GPT의 버그(오류) 찾기 대회를 시작했는데 그 대회 공지문에 다음은 버그가 아니기에 상금을 줄 수 없다고 명백하게 밝힌 4가지 중 하나가 바로 환각이다.
그러므로 업무 중에 인공지능을 생산적으로 활용하는 것은 좋지만 정말로 중요한 발표 자료나 업무상 중요한 결정에는 ‘환각’이 있는지를 반드시 점검하는 습관을 들이는 것이 좋다.
문제는 잦은 오류가 아니라, 드물지만 치명적인 실수다
실제로 환각은 꾸준히 줄어들고 있기에 역설적으로 더 위험하다. 평상시에는 간단한 숫자 실수 이외에는 틀린 점을 찾기 어려울 정도로 업무 처리가 탁월한 인공지능에 익숙해지다 보면, 어쩌다 가끔씩 저지르는 인공지능의 ‘파국적 실수(catastrophic error)’에 속수무책으로 당할 수 있다.
인공지능은 인간적인 상식이 없기에 업무 처리 과정에서 상식적으로는 결코 하기 어려운 파국적 실수와 사소한 실수를 구별하지 못한다. 이런 현상은 최근 부상하는 에이전틱 인공지능의 경우 더 심각해진다.
내가 피곤해서 회사 때려치우고 싶다고 하소연하면 통장에 있는 내 전 재산을 털어 나와 상의 없이 ‘알아서’ 1년짜리 장기 크루즈 여행을 예약하는 일을 할 수 있다. 회사 차원에서는 매우 중요한 거래 과정에서 계약 조건에 엉뚱한 조항을 삽입해서 막대한 손해를 끼칠 수도 있다.
그래서 오픈AI조차 자체 보고서를 통해 인공지능이 평균적으로 인간 전문가와 동등한 능력을 갖추더라도 회사에 큰 경제적 손실을 안겨줄 수 있는 파국적 실수를 통제할 수 있는 기술적 안전성이 확보되지 않는 한 회사들은 인공지능 도입에 조심스러울 수밖에 없다는 점을 인정하고 있다.
AI가 잘하는 일과, 끝내 사람이 맡아야 할 일
개인 차원을 넘어 조직 차원에서 주의할 점은 인공지능은 적어도 당분간은 디지털적으로 처리될 수 있는 업무만 수행할 수 있다는 점이다. 다른 사람을 만나 협상을 하거나 여러 전문가들이 모여 다양한 각도에서 복잡한 문제를 이해하고 해결하는 일은 그 일이 완전하게 디지털적으로 처리될 수 있지 않는 한 결국 인간이 담당해야 한다.
그래서 디지털적으로 처리되는 업무의 비중이 압도적으로 높은 IT 엔지니어가 인공지능으로 대체될 위험성이 가장 높은 것이다. 하지만 이 말을 뒤집으면 업무의 대부분이 비디지털적으로 처리되는 업무에서는 인공지능을 도입해서 업무효율성을 높이는 효과가 제한적일 수 있다.
이미 미국에서는 기업 CEO가 인공지능 도입으로 업무효율화가 극대화될 것을 기대해 직원을 대량해고 했다가 그 중 일부를 다시 재고용하는 사례가 늘고 있다.
AI는 일할 수 있어도, 책임질 수는 없다
또 다른 유의할 점은 인공지능은 아직까지는 법인격이 없기에 책임을 질 수 없는 존재라는 사실이다. 결국 책임은 인간 혹은 법인인 기업, 혹은 조직이 져야 한다. 그러므로 인공지능이 중요한 일을 처리해도 그 일이 제대로 처리되었는지 ‘판단’할 수 있는 역량을 갖춘 직원은 항상 필요하다.
그런데 인공지능은 현재 완전히 투명하지 않아서 인공지능이 한 일이 어떤 근거에서 이루어졌고 그 근거가 타당한지를 판단하기는 쉽지 않다. 바이브 코딩이 널리 퍼진 소프트웨어 엔지니어 사이에서 인간이 짠 코드보다 인공지능이 짠 코드를 디버깅하기 훨씬 더 어렵다는 말이 나오는 이유가 바로 이것이다.
결국 성패를 가르는 것은 기술이 아니라 사람의 판단이다
업무에서 인공지능 활용이 여러 한계도 있지만 유용하다는 점은 누구도 부인할 수 없다. 다만 인공지능이라는 혁신적 기술만 도입하면 회사 내에 모든 문제가 해결될 것이고 생산성이 비약적으로 오를 것이라고 기대하는 것은 비현실적이다.
흔히 혁신적 기술이 세계를 바꾼다고 말하지만 이 말은 틀렸다. 기술의 역사에서 혁신적 기술 자체가 아니라 그 기술을 사용해 보고 어떤 경우에 유용하고 어떤 경우에는 문제가 발생하는지를 판단한 후 이를 다시 기술의 개선 과정에 반영하면서 기술과의 생산적 협력 방법을 발명하고 확산하는 사람들이 세상을 바꾼다.
그래서 AI 시대에도 여전히 사람들의 현명한 판단과 역량이 결정적으로 중요하다!
Writer. 이상욱 교수
