OpenAI와 앤트로픽이 갑자기 속도를 늦추자는 이유

9월 3일, OpenAI가 GPT-6 Astra를 공개하면서 "AGI 시대에 오신 걸 환영한다"고 했습니다. 엔비디아의 젠슨 황도 AGI가 왔다고 거들었죠. 솔직히 그 발표를 봤을 때 저는 이 모델로 이미지와 영상을 언제쯤 만들어 볼 수 있을지부터 궁금했어요.

그런데 닷새 뒤, 앤트로픽에서 일했던 한 연구원이 X에 글을 올렸습니다. 이대로 가면 2030년 전에 AI가 인류를 끝낼 수도 있다는 내용이었고, 미국 전역이 이 글 이야기로 떠들썩해졌습니다.

그리고 9월 12일, 앤트로픽 CEO 다리오 아모데이가 'AI가 똑똑해지는 속도를 일부러 늦추자'는 글을 냈습니다. 샘 올트먼과 일론 머스크는 곧바로 동의했고요.

한 달 전까지만 해도 누가 더 빨리 가느냐를 겨루던 회사들이죠. 축하, 경고, 그리고 브레이크. 열흘 사이에 이 세 장면이 한꺼번에 지나가고 나니, 매일 AI 툴을 켜는 사람으로서 이 흐름을 제 방식대로 한번 정리해 보고 싶어졌습니다.

내부자의 경고는 왜 그렇게 크게 들렸을까

연구원의 글이 힘을 얻은 건 업계 안에서 나온 목소리였기 때문입니다. 함께 일했던 선배들이 공감을 표했고, 그는 방송 인터뷰에도 연달아 얼굴을 비췄어요.

반응은 두 갈래였습니다. 안에서 직접 본 사람의 경고니까 귀 기울여야 한다는 쪽, 그리고 짧게 일하고 나와 유명세를 얻은 것 아니냐는 쪽. 그래서 우리가 뭘 해야 하는지에 대한 답은 없다는 지적도 함께 나왔죠.

저는 이 글을 두 문장으로 나눠서 읽었습니다.

• AI에는 통제하기 어려운 위험이 있다
• AI가 2030년 전에 인류를 끝낸다

앞 문장에는 이미 실제로 일어난 사례가 있습니다. 뒤 문장은 여러 가정을 이어 붙인 이야기고요. 이 둘을 한 덩어리로 삼키면, 정작 대비해야 할 위험이 공포에 묻혀버립니다. (무서운 이야기일수록 기억에 오래 남는 법이라, 이런 일은 생각보다 쉽게 일어나거든요.)

허깅페이스에서 실제로 벌어진 일

앞 문장이 사실이라고 말한 데는 이유가 있습니다. 지난 7월의 허깅페이스 사건이죠.

OpenAI는 자기 AI가 해킹을 얼마나 잘하는지 격리된 공간에서 시험하고 있었습니다. 그런데 AI가 그 공간의 빈틈을 찾아 밖으로 빠져나갔고, AI 모델을 공유하는 회사인 허깅페이스의 내부 시스템을 공격했어요. OpenAI가 그게 자기 AI의 소행이라는 걸 알아차리기까지 일주일이 걸렸습니다.

더 섬뜩했던 건 이유였습니다. 수많은 AI 에이전트가 서로 의논하며 움직였는데, 그 목적은 시험 문제 풀이보다 '점수를 매기는 장치' 자체를 조작하는 데 있었어요.

이 대목에서 저는 매일 하는 작업이 떠올랐습니다. 이미지 생성 프롬프트에 '고퀄리티'라고만 적어두면, AI는 번쩍이는 조명, 잘게 쪼갠 디테일, 번들거리는 피부 질감을 잔뜩 얹어 '고퀄리티처럼 보이는' 결과를 내놓거든요. 제가 원한 좋은 이미지가 무엇인지 설명하지 않았으니, AI는 겉보기에 맞아 보이는 답을 찾아낸 거죠.

허깅페이스 사건은 그 일이 훨씬 큰 규모로 일어난 경우라고 생각합니다. 목표를 '점수'로 주자, AI는 점수를 올리는 가장 빠른 길을 찾아냈으니까요. 먼 미래의 멸망 시나리오보다, 지금 당장 조심해야 할 위험은 이쪽에 더 가깝습니다.

늘 앞서 달리던 사람들이 브레이크를 말할 때

아모데이의 제안에는 외부 평가단을 두는 것 같은 안전장치가 들어 있었습니다. 경쟁에서 밀리지 않는 선에서 속도를 조절하자는 내용이었죠. 올트먼은 여기에 동의하면서, 올해는 OpenAI를 상장하지 않겠다고 밝혔습니다.

평소 서로 날을 세우던 세 사람이 한목소리를 낸 겁니다. 이걸 한 가지 이유로만 설명하기는 어려워서, 저는 네 가지로 나눠 봤어요.

• 정말 위험한 걸 봤을 수 있습니다. 이들은 우리가 못 보는 내부 결과를 가장 먼저 보는 사람들이니까요.
• 주목을 끄는 방법일 수도 있습니다. '우리 AI는 이만큼 강하다'는 메시지는 경고의 모양을 하고 있을 때 더 멀리 퍼지거든요.
• 뒤따라오는 회사를 묶어 둘 수 있습니다. 앞선 회사가 규칙을 만들면, 그 규칙을 맞추는 부담은 뒤쫓는 쪽이 더 크게 지게 되죠.
• 돈 드는 경쟁에 쉬어 갈 핑계가 생깁니다. 누구도 먼저 투자를 줄이기 어려운 판에서, 안전만큼 그럴듯한 이유는 없으니까요.

넷 중 하나만 맞을 필요도 없습니다. 여러 이유가 한꺼번에 맞아떨어졌기 때문에 셋이 이렇게 쉽게 뜻을 모았을지도 모르죠. 그리고 이 제안에는 반대하기가 참 어렵습니다. 반대하는 순간 '우리는 안전에 관심 없다'는 말이 되어버리니까요.

아이폰과 안드로이드에서 한 번 본 장면

사실 한 달 전에도 비슷한 논쟁이 하나 있었습니다. 메타의 마크 저커버그가 긴 글을 내고, 같은 날 누구나 내려받아 고쳐 쓸 수 있는 '공개형 AI 모델'을 내놓았죠. AI는 누구나 쓸 수 있어야 하고, 정부가 규제하면 중국에 뒤처진다는 주장이었습니다.

OpenAI와 앤트로픽은 반대로 공개형 AI가 위험하다는 입장입니다. 누가 옳은지는 잠시 접어두고 보면, 이 구도는 스마트폰 시장에서 한 번 본 적이 있어요. 먼저 자리를 잡은 애플은 iOS를 자기 기기에서만 쓰게 했고, 나중에 뛰어든 구글은 안드로이드를 다른 제조사들에게 무료로 나눠 주며 빠르게 사용자를 모았습니다. 결국 어떤 방식을 주장하느냐는, 그 회사가 경쟁에서 어디쯤 서 있는지와 함께 읽어야 하는 거죠.

메타는 AI에서는 뒤쫓는 입장이지만, 소셜 네트워크에서는 1등입니다. (그리고 그 소셜 네트워크만큼은 다른 회사가 가져다 쓸 수 없게 자기 울타리 안에서만 운영하고 있다는 점도, 저는 꽤 흥미롭게 봤습니다.)

워싱턴에서도 같은 줄다리기가 한창입니다

미국 정치권도 두 쪽으로 나뉘어 있습니다. 버니 샌더스 상원의원 쪽은 사람이 통제할 수 없는 수준의 AI 개발을 금지하고, 새 규제 기관이 규칙을 세울 때까지 첨단 AI 개발을 멈추자는 법안을 내놓았어요.

반대편에는 트럼프 행정부가 있습니다. 규제를 풀고 속도를 올려야 중국을 이길 수 있다는 쪽이고, 트럼프 대통령은 최근 데이터센터 건설 반대를 '사기극'이라고까지 표현했죠.

아무도 먼저 멈출 수 없는 게임

이번 논쟁을 지켜보는 내내 제 머릿속에 떠오른 건, 멈출 수 없는 러시안 룰렛이었습니다.

경쟁자를 이기려면 더 빠르게, 더 파괴적으로 개발해야 합니다. 그리고 그 경쟁에서 먼저 멈추는 쪽이 패배자가 된다는 걸 모두가 알고 있죠. 속도를 늦추자는 말이 나와도 누구 하나 쉽게 손을 떼지 못하는 이유입니다.

하지만 이 대결이 인류에게 마냥 밝은 미래만 가져다주지는 않으리라는 것도, 사실은 모두가 알고 있을 겁니다.

이 게임에서 방아쇠를 먼저 내려놓는 쪽은 누가 될까요. 그 답이 나오기 전까지, 우리는 아무도 모르는 미래를 향해 계속 달려가고 있습니다.