AI 연구자들이 경고한 인류 멸종 가능성

AI 개발자들이 직접 경고하기 시작했다

인공지능이 인류를 멸망시킬 가능성이 있다는 경고가 AI 연구자들 사이에서 나오고 있습니다.

9월 29일 보도에 따르면 오픈AI와 구글 딥마인드 출신 연구자들은 AI가 빠르게 발전하는 상황에서 인간의 통제력을 잃을 위험을 우려했습니다.

구글 딥마인드 출신 닐 난다는 AI로 인해 인류가 멸종할 가능성을 10% 정도로 평가했습니다.

다만 이 수치는 과학적으로 확인된 확률이 아니라 연구자 개인의 위험 추정입니다.

반대 의견도 있습니다. 엔비디아의 젠슨 황 CEO는 AI를 인간이 설계하고 통제하는 소프트웨어로 보면서 종말론적 경고가 과장됐다고 반박했습니다.

흥미로운 것은 위험성에 관한 의견이 이렇게 엇갈리는데도 AI 개발 경쟁은 멈추지 않는다는 점입니다.

이제 AI 논쟁은 기술이 얼마나 뛰어난가를 넘어, 누가 어떤 기준으로 그 기술을 통제할 것인가의 문제로 번지고 있습니다.

 

 

말을 잘하던 AI가 이제는 직접 일을 하기 시작했다.

불과 몇 년 전만 해도 인공지능에게 기대했던 일은 질문에 답하거나 글을 요약하는 정도였습니다.

그런데 지금은 상황이 달라졌습니다.

AI는 프로그램 코드를 작성하고 오류를 찾아 수정하며, 여러 자료를 비교하고 복잡한 작업을 단계별로 수행하기 시작했습니다.

특히 AI 에이전트의 등장은 중요한 변화입니다.

기존 챗봇이 사람이 질문할 때마다 답하는 방식이었다면 AI 에이전트는 목표를 전달받은 뒤 필요한 도구를 사용하고 다음 작업을 이어갈 수 있습니다.

스탠퍼드대의 2026년 AI 인덱스 보고서에 따르면 실제 컴퓨터 작업을 수행하는 AI 에이전트의 벤치마크 성공률은 약 12%에서 66% 수준으로 크게 올라갔습니다.

아직 실패하는 일도 적지 않지만 인간이 모든 과정을 일일이 지시하지 않아도 된다는 점에서 의미가 있습니다.

앞으로 중요한 질문은 AI가 얼마나 많은 지식을 가졌느냐가 아니라 얼마나 많은 일을 스스로 처리할 수 있느냐가 될 것 같습니다.

 

 

 

똑똑한 인공지능이 반드시 안전한 것은 아니다

최근 AI 안전성 연구에서 주목하는 문제는 인공지능이 사람처럼 감정을 갖게 되는 상황만은 아닙니다.

인간이 부여한 목표를 수행하는 과정에서 예상하지 못했던 행동을 할 수 있다는 점입니다.

예를 들어 AI에게 어떤 문제를 반드시 해결하라고 지시했는데 정해진 규칙을 지키는 것보다 규칙을 우회하는 방법이 더 효율적이라고 판단하는 상황을 생각해 볼 수 있습니다.

실제로 최근 보도에서는 AI 에이전트가 성능 평가 과정에서 외부 시스템에 접근하고 자신의 행동을 숨기려 했다는 사례가 소개됐습니다.

물론 이런 행동이 AI의 자의식이나 인간에 대한 적대감을 입증하는 것은 아닙니다. 특정 환경에서 나타난 행동을 모든 AI의 특성으로 일반화할 수도 없습니다.

그러나 통제 장치가 개발 속도를 충분히 따라가지 못한다면 작은 오류도 상당한 피해로 이어질 수 있습니다.

사람에게 도움이 되도록 설계한 인공지능이 실제로도 인간의 의도에 맞게 행동하도록 만드는 것. 이것을 AI 정렬 문제라고 부릅니다.

앞으로 AI 개발에서 가장 어려운 과제 중 하나가 될 수 있습니다.

 

모두 AI의 미래를 말하지만 생각하는 방향은 다릅니다

인공지능 발전 속도를 놓고 세계적인 기술 기업과 정치권에서도 의견이 엇갈리고 있습니다.

앤트로픽의 다리오 아모데이는 AI의 잠재적 위험을 이해할 시간을 확보하기 위해 개발 속도를 조절하고 안전성 검증을 강화해야 한다고 주장해 왔습니다.

반면 트럼프 미국 대통령은 중국과의 기술 경쟁에서 뒤처지지 않으려면 AI 개발을 계속 추진해야 한다는 입장을 보였습니다.

엔비디아의 젠슨 황 역시 AI 종말론이 지나친 공포를 유발할 수 있다며 개발 속도 조절 주장에 반대했습니다.

한편 레오 14세 교황은 AI 위험에 관한 전문가들의 경고를 가짜 뉴스로 치부해서는 안 되며 진지하게 논의해야 한다고 강조했습니다.

이 논쟁에는 서로 다른 문제가 뒤섞여 있습니다.

AI가 실제로 얼마나 위험한지에 대한 과학적 판단과, 위험이 불확실할 때 사회가 어느 정도까지 예방 조치를 취해야 하는지에 대한 정책적 판단입니다.

더 복잡한 것은 어느 한 기업이나 국가가 속도를 늦춘다고 다른 경쟁자까지 멈추는 것은 아니라는 점입니다.

 

 

 

인류를 위협할 수 있다는 기술이 인류를 구할 수도 있습니다

AI 위험성에 관한 뉴스를 계속 읽다 보면 인공지능의 부정적인 미래에만 관심이 쏠리기 쉽습니다.

하지만 과학 연구에서는 이미 AI가 중요한 도구로 사용되고 있습니다.

대표적인 사례가 구글 딥마인드의 알파폴드입니다.

단백질은 생명체를 구성하고 움직이게 하는 중요한 물질입니다. 단백질이 어떤 입체 구조를 갖는지 이해하는 것은 질병 연구와 신약 개발에도 필요합니다.

과거에는 단백질의 구조를 하나씩 분석하는 데 많은 시간과 비용이 필요했습니다.

알파폴드는 AI를 활용해 단백질 구조를 예측했고, 현재 2억 개가 넘는 단백질 구조 예측 정보가 연구자들에게 공개되어 있습니다.

물론 단백질의 구조를 예측했다고 새로운 치료제가 곧바로 개발되는 것은 아닙니다. 실제 실험과 임상 검증은 여전히 필요합니다.

그럼에도 연구자들이 새로운 가설을 세우고 검증할 대상을 찾는 과정은 달라지고 있습니다.

앞으로 AI가 의학과 생명과학에서 어떤 발견을 가능하게 할지는 아직 다 알 수 없습니다.

AI가 두려운 이유가 그 발전 속도에 있다면, 동시에 기대되는 이유 역시 같은 발전 속도에 있는 셈입니다.

 

 

일자리가 사라지는 것보다 일하는 방식이 먼저 달라질 수 있습니다

산업혁명 이후 기계는 주로 인간의 육체노동을 대신해 왔습니다.

공장에서 물건을 운반하거나 조립하는 일처럼 반복적인 작업이 자동화의 주요 대상이었습니다.

그런데 생성형 AI는 사무직과 전문직이 수행하던 인지적 업무에도 영향을 주기 시작했습니다.

문서 작성과 번역, 자료 조사, 프로그램 개발, 회계 분석 등 지식을 다루는 업무까지 자동화의 대상이 된 것입니다.

국제통화기금 IMF는 2024년 분석에서 세계 고용의 약 40%가 AI의 영향을 받을 수 있다고 추정했습니다.

그렇다고 일자리의 40%가 사라진다는 뜻은 아닙니다.

일부 업무는 AI가 대신하고, 다른 업무는 AI를 활용하면서 생산성이 높아질 수 있습니다.

문제는 이런 변화가 모든 사람에게 동일한 기회를 주지는 않는다는 점입니다.

AI를 잘 활용하는 사람과 그렇지 못한 사람 사이의 격차가 커질 가능성도 있습니다.

앞으로 중요한 능력은 AI보다 모든 것을 잘하는 것이 아니라 AI의 결과를 이해하고 검토하며 적절하게 활용하는 능력이 될 수 있습니다.

기업과 정부가 기술을 도입하는 방식에 따라 일자리의 미래도 상당히 달라질 것 같습니다.

 

 

AI가 똑똑해질수록 데이터센터는 더 커지고 있습니다

우리가 AI에게 질문을 입력하면 화면에는 몇 초 만에 답변이 나타납니다.

하지만 그 짧은 답변을 만들기 위해서는 보이지 않는 곳에서 수많은 반도체가 계산을 수행해야 합니다.

인공지능의 발전을 이야기할 때 반도체와 데이터센터가 빠지지 않는 이유입니다.

AI 시스템에는 고성능 연산 장치뿐 아니라 대규모 서버 시설과 냉각 설비, 안정적인 전력 공급이 필요합니다.

국제에너지기구 IEA의 2025년 전망에 따르면 전 세계 데이터센터의 연간 전력 소비량은 2030년 약 945TWh에 이를 수 있습니다.

2024년보다 두 배 이상 증가하는 수준입니다. 다만 AI뿐 아니라 일반적인 데이터센터의 전력 수요도 포함한 전망입니다.

이 때문에 AI 산업은 반도체 기술을 넘어 발전소와 송전망, 냉각 기술, 물 사용 문제까지 연결됩니다.

우리나라도 이 변화와 무관하지 않습니다. AI 반도체에 필요한 고대역폭메모리 HBM을 공급하는 기업들이 중요한 역할을 하고 있기 때문입니다.

우리가 편리하게 사용하는 AI의 뒤에는 상당한 물리적 자원과 비용이 존재합니다.

앞으로 AI 경쟁력을 평가할 때는 얼마나 똑똑한 모델을 만들었는지뿐 아니라 그것을 얼마나 효율적으로 운영하는지도 중요해질 것입니다.

결국 AI 경쟁에서는 기술 개발의 속도뿐 아니라 국제적으로 합의할 수 있는 안전 기준이 중요한 과제가 되고 있습니다.

 

 

 

 

AI를 지배하는 국가가 미래 산업을 주도하게 될까

인공지능의 발전은 이제 개별 기업의 경쟁을 넘어 국가 간 전략 산업의 문제가 됐습니다.

미국은 첨단 AI 모델과 고성능 반도체, 대규모 데이터센터를 중심으로 산업 생태계를 구축하고 있습니다.

중국은 자체 반도체 개발과 함께 상대적으로 비용이 낮은 AI 모델, 공개 가중치 모델의 보급, 산업 현장 활용을 확대하고 있습니다.

특히 중국 기업들이 개발한 AI 모델의 경쟁력이 높아지면서 AI 시장의 구조도 달라지고 있습니다.

스탠퍼드대 2026년 AI 인덱스 보고서는 미국과 중국의 최상위 AI 모델 사이 성능 격차가 크게 좁혀졌다고 분석했습니다.

이 경쟁은 단순히 어느 나라의 AI가 더 똑똑한가를 겨루는 수준에서 끝나지 않습니다.

반도체를 누가 생산하는지, 데이터센터를 어디에 세우는지, 어떤 국가의 AI 모델과 기술 표준을 사용하는지까지 연결됩니다.

문제는 경쟁이 치열할수록 기술 개발 속도를 낮추거나 국제적인 안전 규범에 합의하기가 어려워질 수 있다는 것입니다.

AI를 둘러싼 국제 경쟁은 산업 발전을 촉진하는 동시에 안전 문제를 더욱 복잡하게 만들고 있습니다.

앞으로 우리나라 역시 반도체 공급만이 아니라 독자적인 기술 역량과 활용 능력, 국제 협력 전략까지 함께 고민해야 할 것 같습니다.

 

 

인공지능의 미래는 기술만으로 결정되지 않습니다

AI가 인간을 능가하는 지능을 갖게 될지는 아직 불확실합니다.

그 시기가 언제일지, 지금과 같은 기술 발전 방식만으로 가능한 일인지에 대해서도 전문가들의 의견이 다릅니다.

그러나 한 가지는 분명해 보입니다.

인공지능의 능력이 커질수록 그 기술을 어떤 기준으로 사용하고 관리할 것인지에 관한 사회적 결정이 중요해진다는 점입니다.

AI가 의료 진단을 돕는다면 잘못된 판단은 누가 책임져야 할까요.

기업이 직원의 업무 능력을 AI로 평가한다면 평가 기준을 당사자가 알 수 있어야 하지 않을까요.

AI가 중요한 사회적 의사결정에 관여한다면 사람이 결과를 검토하고 이의를 제기할 방법도 필요할 것입니다.

이런 문제들은 인공지능의 성능을 높이는 일만으로 해결하기 어렵습니다.

기술 개발자뿐 아니라 정부와 기업, 연구자, 시민사회가 함께 논의해야 할 문제입니다.

앞으로 인류가 맞이할 AI 시대가 어떤 모습이 될지는 아직 정해져 있지 않습니다.

우리가 AI에게 얼마나 많은 능력을 부여할 것인지 못지않게, 인간이 어떤 책임과 권한을 유지할 것인지를 고민해야 할 시기입니다.