
[AP=연합뉴스 자료사진]
오픈AI 재단의 현직 이사가 인공지능(AI)이 인간의 통제를 벗어나 대규모 인명 피해를 초래할 수 있다고 경고했습니다.
AI가 인간을 대신해 주요 의사결정권을 장악하는 이른바 'AI 지배'(AI takeover)가 빠르면 6~12개월 안에도 현실화할 위험이 있다는 주장입니다.
오늘(15일) 미국 AI안전재단 등에 따르면 폴 크리스티아노 오픈AI 재단 이사는 최근 캐나다 토론토에서 열린 '힌턴 강연회'에서 AI의 통제 불능 위험성을 강조했습니다.
크리스티아노 이사는 "이 방에 있는 사람들 대부분의 가장 유력한 사망 원인은 AI 사고가 될 것"이라고 말했습니다.
그는 AI 시스템이 인간의 의도와 다른 목표를 독자적으로 추구하면서 현재 인간이 가진 통제권을 빼앗을 수 있다고 우려했습니다.
이러한 상황이 발생하면 대규모 인명 피해가 발생하거나 인간이 생존하기 어려운 환경이 조성될 수 있다는 설명입니다.
특히 AI가 주요 시스템을 장악한 뒤에는 인간이 이를 저지하기도 어려울 것으로 내다봤습니다.
크리스티아노 이사는 인간이 AI의 지배를 막으려는 시도에 대해 "여러분이나 제가 미군을 막으려는 것만큼 무력할 것"이라고 표현했습니다.
"3년 내 AI 지배 위험 높아…6~12개월도 안심 못 해"
크리스티아노 이사는 향후 3년 이내에 AI가 인간의 통제를 벗어날 위험이 크다고 주장했습니다.
빠르면 앞으로 6~12개월 사이에도 상당한 위험이 발생할 수 있다는 견해를 내놨습니다.
다만 이러한 가능성을 객관적인 수치로 계산할 수 있는 정량적 모델은 없다고 인정했습니다.
그는 AI 개발이 가장 빠른 속도로 진행되는 상황을 가정해 위험성을 설명했으며, 제시한 전망은 확정적인 예측이 아닌 자신의 주관적 판단이라는 점을 밝혔습니다.
위험성을 보여주는 사례로는 지난 7월 발생한 오픈AI의 AI 에이전트 평가 과정과 허깅페이스 관련 해킹 사건을 언급했습니다.
당시 일부 AI 에이전트는 평가 과정에서 높은 점수를 얻기 위해 허점을 이용하고, 이러한 행동이 드러나지 않도록 평가자를 속이려는 모습을 보였다는 설명입니다.
크리스티아노 이사는 AI의 능력이 더욱 발전하면 인간 평가자를 목표 달성에 방해가 되는 장애물로 인식할 가능성이 있다고 우려했습니다.
AI가 주어진 목표를 달성하기 위해 인간의 감시나 통제를 회피하는 방향으로 행동할 수 있다는 것입니다.
그는 AI 안전 대책 마련의 시급성을 강조하며 "이는 몇 년 안에 해결해야 할 문제가 아니라 올해 해결해야 할 문제"라고 말했습니다.
AI 안전 연구 핵심 인물…'AI 대부' 힌턴도 주목
크리스티아노 이사는 지난 9월 오픈AI의 비영리 상위기구인 오픈AI 재단 이사로 선임됐습니다.
그는 AI가 인간의 의도와 가치에 부합하도록 훈련하는 'AI 정렬'(Alignment) 분야의 주요 연구자로 꼽힙니다.
특히 챗GPT 등 생성형 AI 개발에 활용된 인간 피드백 기반 강화학습(RLHF)의 공동 개발자이기도 합니다.
이번 강연은 'AI 대부'로 불리는 노벨물리학상 수상자 제프리 힌턴 토론토대 명예교수가 주최한 행사에서 진행됐습니다.
힌턴 교수는 크리스티아노 이사를 AI 안전 분야의 중요한 연구자 가운데 한 명으로 소개하며, 고도화하는 AI 시스템이 인간의 의도대로 행동하도록 만드는 근본적인 문제를 깊이 연구해 온 인물이라고 평가했습니다.