원제: 「젠슨 황은 왼쪽으로, 아모데이는 오른쪽으로」 원저자: 수 양(蘇陽), 텐센트 테크놀로지

최첨단 AI의 가속화를 계속할 것인지, 아니면 제동을 걸 것인지가 현재 실리콘밸리에서 가장 논란이 되는 주제가 되었다.

이 논란을 둘러싸고 실리콘밸리 거대 기업들이 진영을 나누기 시작했다. 아모데이, 앨트먼, 머스크, 하사비스는 ‘일시 중단 진영’을 형성했다. 젠슨 황은 확고한 ‘가속주의자’로, ‘AI 말기론’을 과학적 근거가 부족하다고 비판했다. 야른 레쿤은 아모데이를 꾸준히 조롱하며 “(아모데이는) 오픈AI 재직 시절 GPT-2조차 오픈소스화하기엔 위험하다고 생각했었다. 당시 나는 그를 조롱했고, 지금도 모두가 계속 그렇게 할 수 있다”고 말했다.

반면, 자커버그와 나델라는 비교적 중립적인 입장을 취했다.

거대 기업들이 각자의 입장을 분명히 한 것은 실리콘밸리가 최첨단 모델 일시 중단에 대해 합의를 이루지 못했음을 의미한다. 이는 각 기업이 AI 산업 생태계 내에서 차지하는 위치가 다르기 때문이다. 모델 단계에서 선도하는 기업들은 다양한 이유로 중단을 요구할 수 있지만, 수백억 달러 규모의 컴퓨팅 주문을 보유한 오라클·AWS나, 식량 사슬 최정상에 선 엔비디아 같은 기업들에게 중단을 요청하는 것은 긍정적 응답을 얻기 어렵다.

워싱턴에서는 ‘일시 중단’ 캠페인이 지지를 얻지 못했을 뿐 아니라 오히려 일련의 의심을 불러일으켰다.

JD 벤스는 인터뷰에서 “어떤 면에서는 트로이 목마처럼 느껴진다”고 말했다. 이 발언은 워싱턴의 진정한 관점을 반영한다—트로이 목마를 만드는 기업들이 반복적으로 관문을 좁히도록 요구할 때, 그 관문이 실제로 어떤 기업에 유리한지 검토해야 한다.

01. 일시 중단, 경고, 그리고 사임서

이 논쟁의 도화선은 앤트로픽 연구원 제이콥 콕슨의 사임이었다.

그는 이전에 오픈AI와 앤트로픽에서 3년간 프리트레이닝 연구를 수행하며 최첨단 모델 훈련에 직접 참여했다. X(트위터)에 올린 장문의 글에서 그는 예의를 거의 차리지 않았다: “두 기업 모두 책임 있게 행동하지 않고 있다. 우리 생명을 걸고 자가 개선 초지능으로 직진하고 있다.”

그는 실험실 내부 인사들이 AI가 10년 안에 인류 전체를 멸종시킬 수 있다고 진심으로 믿고 있으며, 이는 결코 PR용 연출이 아니라고 단언했다. 많은 동료들이 이미 현재 단계를 ‘중대한 전환점’이나 ‘최후의 순간’이라 표현하기 시작했다. 콕슨은 임박한 행사권도 포기했다. 그는 앤트로픽에 단 4개월밖에 재직하지 않았으며, 회사 규정상 옵션 행사에는 6개월 이상 근무해야 한다.

전 앤트로픽 연구원 제이콥 콕슨

이후 앤트로픽의 정렬 과학 담당 이반 후빙거가 공개적으로 응답했다: “콕슨이 맞다. 우리는 정말로 AI가 인류 전체를 멸종시킬 수 있다고 믿는다. 개인적으로 10년 이내 가능성은 10% 이상이라고 본다. 앤트로픽은 노력하고 있지만, 초지능 정렬에 대한 명확한 계획은 아직 없으며, 현재 진행 상황도 턱없이 부족하다.”

이 두 차례의 발언은 실험실 내부에서 익숙해져 온 우려를 대중 앞에 직접 드러냈다. 이러한 배경 속에서 앤트로픽 창립자 겸 CEO 아모데이는 즉각 긴 에세이를 발표하며 ‘최첨단 연구 속도 저하’ 개념을 체계적으로 제안했다. 그는 이제 ‘안전 투자 확대’만 언급하지 않고, 안전 메커니즘이 따라잡을 시간을 주기 위해 능력의 급격한 향상을 적극적으로 통제하자고 명확히 촉구했다.

앨트먼, 머스크, 하사비스가 즉각 공개적으로 이에 동조하며 ‘일시 중단 진영’을 형성했다.

제이콥 콕슨과 아모데이의 ‘감속’ 주장이 등장하기 전, 요슈아 벤지오·제프리 힌튼 같은 ‘AI 대부’들이 계속해서 위험성을 경고하는 성명을 발표해 왔다.

코크슨의 사임에 대해 벤지오 씨는 첨단 AI 연구소의 과학자들이 일반 대중보다 더 빨리 최신 모델의 능력을 파악할 수 있으므로, 그들의 위험 평가를 진지하게 고려해야 한다고 말했다.

동시에 벤지오는 현재 AI 시스템이 이미 해킹 및 설득 능력을 보유하고 있으며, 이를 인류 이익을 해치는 데 악용할 경우 심각한 결과를 초래할 수 있다고 구체적인 사례를 제시했다. 또한 AI가 장기적 계획 능력을 확보함에 따라 이러한 위험이 더욱 확대될 것이라 우려했다.

BBC 인터뷰에서 조프리 힌턴은 향후 10년 내 AI가 인류 전체를 멸종시킬 확률이 10%를 넘는다는 주장에 대해 ‘그 정도는 무리하지 않다’고 답했으나, 인류가 ‘곧 우리보다 똑똑해질 수 있는 종의 출현’을 전례 없이 마주하고 있어 누구도 신뢰할 만한 추정치를 제시할 수 없다고 강조했다.

힌턴은 미래에 AI가 위험한 생물학적 바이러스나 컴퓨터 바이러스 설계, 대규모 사이버 공격 발동 등에 악용될 수 있다고 경고하며, 위험이 통제 불능으로 치달을 때까지 효과적인 통제 방안을 마련해야 한다고 주장했다.

실리콘밸리의 새로운 ‘일시 중단론’ 지지자들과 달리, ‘AI의 아버지들’은 위험 인식 제고와 통제 메커니즘 탐색에 주력할 뿐 직접적으로 개발 속도를 낮추려 하지 않는다. 또한 학계의 입장·의견·제안은 상업적 고려와 거의 무관하게 순수한 동기에서 비롯된 반면, 선도 연구소의 관련 움직임은 ‘인류를 위한 것’이라 공공연히 표방하더라도 100% 상업적 요인과 분리하기 어렵다.

이 때문에 JD 밴스는 ‘일시 중단론’을 트로이 목마에 비유했다.

02 분열과 진영 간 선택

‘가속주의자’, ‘감속주의자’, ‘온건주의자’ 진영. 출처: 뉴욕타임스

9월 15일, 여러 기술 기업 리더들이 세일즈포스 드림포스 컨퍼런스에서 차례로 연설하며 이 논쟁은 보다 직접적인 견해 충돌로 전환되기 시작했다.

당일 아마데이, 젠슨 황, 올트먼은 모두 AI 안전성에 대해 언급했으나, 개발 속도, 안전 책임, 기업의 역할 등에 관해 서로 다른 입장을 밝혔다.

아마데이는 세일즈포스 CEO 마크 베니오프와 공동 무대에 서며, AI 기업들이 자발적인 행동을 통해 더 높은 안전 기준을 설정해야 한다고 재차 강조했다. 그는 기업이 적극적으로 엄격한 안전 조치를 채택하면 산업 전체를 이끄는 동력이 될 수 있다고 믿는다.

즉, 아마데이의 입장은 ‘산업 전체의 속도 저하’ 요구에서 ‘기업 자체의 안전 장치 도입’으로 점차 전환되고 있다.

젠슨 황은 ‘새로운 법률이나 규제는 필요 없다’고 밝혔다. 그에 따르면 속도와 안전은 이원적 선택이 아니며, 기업은 모델 개발을 최대한 신속히 추진하면서도 통제 불능 상황 발생 또는 제품 안전성 미확보 시 즉시 중단해 문제를 해결해야 한다.

베니오프의 태도는 보다 개방적이며 자율성을 강조했다. 그는 기업이 스스로 느끼기에 속도를 늦춰야 한다면 그렇게 해야 하고, 빠르게 가야 한다면 그렇게 해야 하며, 그 결정에 대한 책임도 스스로 져야 한다고 말했다.

오픈AI 창립자이자 CEO인 올트먼은 드림포스 행사에서, 오픈AI뿐 아니라 전체 AI 산업이 대중에게 중대한 피해를 주지 않고 안전하게 발전할 수 있다는 데 대해 매우 확신한다고 밝혔다. 또한 외부에서 자신의 의견을 ‘산업 전체의 개발 속도 저하 지지’로 오해한 데 실망감을 표했다.

즉, 올트먼 역시 입장 전환을 시작해, 자신이 주장한 바는 산업 전체의 속도 저하 요청이 아니라, 능력 향상 이전에 반드시 안전 및 감시 작업이 선행되어야 한다는 점을 강조하고 있다.

반면, 저커버그는 다른 AI 기업이 동시에 속도를 늦출 것을 전제로 자사의 안전 조치를 결정하는 것을 지지하지 않는다. 그는 독립 평가 기관과 외부 전문가를 통해 모델 안전성을 검증하는 것이 업계 최선의 관행이라고 보며, 메타가 이전에 뮤즈(Muse) AI 도구 개발을 타사와의 합의 없이 자발적으로 늦춘 사례를 소개했다.

마이크로소프트 CEO 사티아 나델라는 올트먼의 입장과 어느 정도 일치하며, 안전 장치 추가를 장려하면서도 전면적인 경쟁을 촉진해야 한다고 주장한다.

나델라는 9월 15일 올인 서밋 2026 참석 중 ‘우리가 가장 먼저 해야 할 일은 인류를 위해 봉사하고 기술을 인간의 통제 아래 유지하는 것이다. 동시에 AI 기술의 광범위한 확산이 가장 중요하다—선택권과 경쟁이 반드시 존재해야 한다. 안전은 진지하게 다뤄져야 하지만, 공학적 접근과 투명성으로 해결해야지, 신비화해서는 안 된다’고 말했다.

이 기업가들 외에도 워싱턴의 목소리도 이 논의에 본격적으로 가세했다.

트럼프 전 대통령이 젠슨 황을 직접 전화로 연락해 AI 산업의 지속적 발전을 공개적으로 지지한 후, 미국 과학기술자문위원회(PCAST) 공동의장인 데이비드 색스는 기업들이 첨단 AI 개발을 계속 추진할 수 있다고 밝히면서도 일부 기업이 주장하는 '개발 속도 조절' 논거의 동기를 의문시했다.

03 규칙은 누가 정할 것인가?

논의가 확대되면서 논란은 AI 위험 자체를 넘어서, 첨단 AI 안전 기준을 기업이 자율적으로 설정해야 하는지, 아니면 정부 및 독립 기관의 개입이 필요한지까지 확산되었다.

블룸버그는 관련 정보를 입수한 소식통을 인용해 앤트로픽·구글·오픈AI가 이전에 AI 산업 표준 기구 설립을 논의했음을 보도했다.

7월, 하사비스는 금융산업규제청(FINRA)과 유사한 방식으로 운영될 미국 주도의 AI 표준 기구 설립을 제안하는 논문을 발표했다. 이 기구는 고급 AI 모델을 공식 배포하기 전에 사전 테스트를 실시해 해당 안전 기준 충족 여부를 판단할 수 있다.

하사비스의 비전에 따르면, 이 기구는 완전히 정부 주도가 아니라 공공-민간 협력 모델을 채택해야 한다. 즉 정부는 감독 역할을 맡고, AI 산업이 재정을 지원하며, 독립적인 최고 기술 전문가와 오픈소스 커뮤니티 대표들이 참여한다.

하사비스는 모델이 실제 세계에 진입하기 전에 독립적인 안전 검사를 추가하려는 시도로, 이는 6월 초 미국 정부가 발표한 규제 논리와 밀접하게 부합한다: 기업은 공개 배포 전 자발적으로 모델을 정부 평가에 제출할 수 있으며, 배포 최대 30일 전까지 접근 가능하되, 명시적으로 강제 승인이나 배포 허가 제도는 없다.

흥미롭게도 이후 파블 5와 마이토스 5가 출시될 때 이 절차를 따르지 않았으며, 오히려 매우 강력한 사이버 공격 및 방어 능력을 지닌 것으로 확인되어 미국 산업안보국(BIS)의 수출 통제 조치로 일시적으로 서비스가 중단됐다.

그럼에도 불구하고 정책 입장은 단지 안전 장치를 강화하라고 촉구할 뿐, 개발 속도 조절에 대한 어떤 언급이나 지침도 없다.

하사비스와 유사한 관점을 가진 인물로는 오픈AI 수석 과학자 야쿠프 파초키가 있다. 그는 9월 초 안전 기준 공유와 국제적 협력 강화를 현재 최우선 과제로 삼아야 한다고 강조했다.

04 실제로 브레이크를 밟는 이는 아무도 없다

지금까지 이 논쟁은 첨단 AI 기업들의 개발 속도를 실질적으로 바꾸지 못했다.

앤트로픽·오픈AI·구글·xAI 등 기업은 여전히 모델 연구개발을 지속하고 있으며, 컴퓨팅 파워·데이터센터·AI 인프라 경쟁도 이 논쟁으로 중단되지 않았다. 다만 자본시장 차원에서는 변화가 나타났다: 앤트로픽은 올해 IPO를 준비 중이지만, 오픈AI는 IPO 계획을 2027년으로 연기했다.

아모데이는 전체 산업을 일시 정지시키고 앤트로픽과 함께 모델 능력이 한계를 넘어설 때 적용할 안전 장치 해결책을 공동으로 모색하려 한다. 이는 어느 정도 타인의 희생 위에 세운 '이타적 태도'로 해석될 수 있다.

그래서 아모데이는 '완벽한 천사 행세를 하는 사람'이라는 별명을 얻기도 했다.

위험 관리 측면에서 젠슨 황이 대변하는 관점이 현재 상황과 더 부합한다. 기업이 우려 사항을 느끼거나 문제를 발견하면 스스로 해결책을 충분히 모색하고, 개발된 효과적인 솔루션을 업계와 공유할 수 있다.

100명 규모 팀과 1,000명 규모 팀이 동시에 멈추라는 요구는 합의 기반이 전혀 없다. 심지어 아모데이 본인도 자신만 멈춘다면 오픈AI 같은 경쟁사에 의해 추월당할 가능성이 매우 크다는 사실을 잘 알고 있다.

더 중요한 것은 기업 거버넌스 수준의 차이다. 앤트로픽과 오픈AI는 모두 공익기업(Public Benefit Company)이므로 '인류의 미래를 위해 단기적 재정 이익을 포기한다'고 주장하며 투자자들에게 '이에 대해 오래전부터 합의했다'고 설명할 수 있다. 그러나 구글·마이크로소프트·메타 같은 상장기업의 경영진은 증권시장 주주에 대한 법적 신임의무를 지닌다.

이처럼 서로 다른 이해관계를 가진 기업들 간에 이 문제에 대한 합의 가능성 역시 그리 크지 않다.

또 하나 간과되기 쉬운 세부사항은 '일시 중단론' 이전에 앤트로픽과 오픈AI가 각각 최강 모델을 잇달아 발표했다는 점이다. 앤트로픽은 파블 5.1을, 오픈AI는 GPT-6 아스트라를 공개했다.

일부 기업의 신제품 출시 소식 속에서 다른 기업들도 여전히 신모델을 출시할까?

원문 링크