История раскола двух гигантов ИИ: драматичнее дворцовых интриг

Автор: Bitpush

Детали самого дорогостоящего «расставания» в Кремниевой долине наконец раскрыты.

Недавно журнал The Atlantic опубликовал первый отрывок из книги «Хроники ИИ общего назначения» (The AGI Chronicles) Кевина Рооса — известного американского бестселлера и ведущего подкаста. Для книги Роос провёл более 150 интервью с инсайдерами OpenAI, Anthropic и Google DeepMind, а также проанализировал большой объём недоступных ранее корпоративных документов и внутренних меморандумов, чтобы воссоздать эту самую скандальную историю раскола в Кремниевой долине.

Если вы знаете лишь, что Дарио Амодей ушёл из OpenAI в конце 2020 года вместе с группой коллег и основал Anthropic, то это лишь верхушка айсберга. По-настоящему поразительна та «дворцовая интрига», которая развернулась до его ухода.

«План стран»: безумное предложение продать ИИ общего назначения

У Амодея когда-то были высокие ожидания от OpenAI. В 2016 году он покинул Google, чтобы присоединиться к этой молодой некоммерческой исследовательской организации. Согласно рассказу Рооса, Амодей сыграл ключевую роль в выборе OpenAI пути развития крупных языковых моделей, а возглавляемая им команда участвовала в создании GPT-2 и GPT-3.

По мере продвижения исследований Амодей всё больше убеждался, что масштабные модели могут привести к достижению ИИ общего назначения (AGI). Однако одновременно его доверие к руководству компании неуклонно снижалось.

Одним из первых поводов для недовольства стал 2017 год.

Тогда финансовую поддержку OpenAI со стороны Илона Маска начало ослабевать, и лаборатории срочно требовался новый путь развития. Соучредитель Грег Брокман и главный учёный Илья Суцкевер предложили внутренний план, позже получивший название «план стран».

Изначально план выглядел вполне благопристойно: предполагалось создать международную коалицию, где все страны совместно управляли бы рисками ИИ общего назначения и делили бы его выгоды.

Но к моменту официальной презентации плана сотрудникам на внутреннем собрании он полностью вышел из-под контроля: превратился в кампанию по сбору средств через «аукцион» будущих прав на использование технологий ИИ общего назначения для разных правительств — в их числе упоминались США, Китай и Россия.

Логика двух мужчин была такова: ИИ общего назначения затрагивает национальную безопасность, поэтому правительства рано или поздно отберут его у любой компании, её создавшей. Раз передача неизбежна, лучше продать технологию за хорошую цену, пока компании не хватает денег.

Один из знакомых с презентацией отметил: «Это звучало как выступление технарей, продающих безумный стартап, а в финале они просто заявили: пусть государство оплачивает расходы».

В то время Дарио Амодей занимал пост вице-президента по исследованиям в OpenAI. Услышав план, он отправил резкое письмо Брокману, Суцкеверу и другим руководителям. В нём он написал, что план «усилит, а не снизит гонку вооружений», может «привести к нарушениям прав человека» и позволит правительствам совершать «непростительные поступки» в отношении собственного населения, а также «подорвёт моральную легитимность OpenAI».

Проще говоря: вы хотите продать самую мощную технологию человечества? Вы совсем потеряли рассудок?

К счастью, последующие крупные инвестиции Microsoft спасли положение, и план так и не был реализован. В ответ OpenAI заявила, что «кратко рассматривала возможность превращения в международное кооперативное предприятие», но «не рассматривала продажу ИИ общего назначения Китаю или России».

План так и не был реализован, но Амодей не забыл, что руководство всерьёз обсуждало идею, которую он считал отвратительной.

От Microsoft до Канье: трещины в доверии углубляются

После этого серия, казалось бы, мелких вопросов продолжала подрывать его доверие.

Во время закрытого бета-тестирования GPT-3 Амодей запросил у Олтмана список клиентов, одобренных для использования модели. Олтман предоставил ему один список, однако Амодей утверждал, что позже обнаружил другой, более длинный. Он начал подозревать, что информация, представленная ему, была отфильтрована.

Спор вокруг инвестиций Microsoft усилил его сомнения.

Публичная хартия OpenAI содержит весьма необычное положение: если проект, ориентированный на ценности и безопасность, окажется ближе других к созданию ИИ общего назначения (AGI), OpenAI прекратит конкурировать с ним и начнёт ему помогать. Это означает, что в определённых обстоятельствах миссия компании должна иметь приоритет над победой в гонке.

Согласно новой книге Руза, при переговорах о миллиардном инвестиционном соглашении с Microsoft Амодей хотел гарантировать, что Microsoft примет сделку по приобретению OpenAI, которая могла бы обеспечить выполнение этого обязательства. Олтман сообщил ему, что Microsoft не примет соответствующие условия.

Амодей не верил, что всё так просто. Он подозревал, что Олтман, стремясь как можно скорее закрыть сделку, мог отказаться от давления по этому вопросу — или даже не поднимать его вовсе — и свалить вину на Microsoft.

Для Амодея проблема становилась всё труднее решаемой в рамках деловых переговоров: он начал сомневаться, готов ли Олтман, сидящий напротив него, полностью раскрыть ему детали переговоров.

К 2020 году в этот растущий список претензий неожиданно попал рэпер Канье Уэст, который позже публично выразил восхищение Гитлером.

Ссылаясь на двух осведомлённых лиц, Руз сообщает, что после встречи с Канье Олтман предложил допустить его в закрытый бета-тест GPT-3.

На тот момент GPT-3 ещё не был публично представлен и являлся главным стратегическим активом OpenAI. Джек Кларк, тогдашний директор по политике OpenAI, вмешался и заблокировал это предложение, указав, что Канье недавно разместил видео, где, по-видимому, мочится на премию «Грэмми», а его публичное поведение вызывает обеспокоенность. Вскоре после этого Канье начал публично выражать восхищение Гитлером.

Приглашение так и не было отправлено, однако это ещё больше усилило недовольство Амодея суждением Олтмана. Руз пишет, что по отдельности большинство таких инцидентов не стали бы достаточным основанием для ухода, но в совокупности они поставили под сомнение способность Олтмана управлять технологией столь мощной, как ИИ общего назначения.

В книге Руз раскрывает, что к 2020 году Амодей полностью разочаровался в руководстве OpenAI. Он характеризовал Олтмана как «двухлицего манипулятора», а Брокмана — как «жаждущего власти и безрассудного».

По сути, ключевой конфликт между ними сводился к двум словам: доверие.

Сообщается, что Амодей вёл личный блокнот на протяжении всего времени работы в OpenAI, фиксируя моменты, когда, по его мнению, Олтман вводил его в заблуждение.

В одной из записей он написал: «Проблема OpenAI — это сам Сэм».

Формирование фракций и клик?

С другой стороны, сотрудники OpenAI тоже всё чаще теряли терпение к Амодею.

Согласно репортажу Руза, Амодей и его сестра Даниэла постепенно объединили группу единомышленников. Они создали закрытые чаты, проводили отдельные встречи и часто обсуждали вопросы безопасности. Для некоторых сотрудников вне этой группы работать с ними становилось всё сложнее.

Один бывший коллега пожаловался Руусу, что Амодей часто объявлял определённый выбор единственно морально верным, будто одного упоминания безопасности достаточно, чтобы завершить дискуссию. Это приводило в ярость другие команды.

Амодей считал, что коммерческие цели всегда будут перевешивать обязательства по безопасности; некоторые коллеги полагали, что он превратил безопасность в неоспоримый аргумент. Их взаимное недовольство распространилось от конкретных решений на стиль работы и оценку личных качеств.

В конечном счёте конфликт сосредоточился на одном конкретном вопросе власти: может ли команда по безопасности запретить запуск новых продуктов?

Согласно Руусу, перед уходом Амодей представил Алтману ряд условий для своего продолжения работы, включая предоставление команде по безопасности права вето. Он надеялся, что давление со стороны ключевых исследователей, готовых массово покинуть компанию, заставит Алтмана согласиться на изменения.

В закрытом групповом чате начинается отсчёт до «раскола»

Между тем, пока шли переговоры, уже готовился путь к уходу.

Амодей и шесть коллег создали закрытый канал Slack под названием «BATNA» — лучшая альтернатива достигнутой договорённости. В него вошли его сестра Даниэла, а также Джек Кларк, Сэм Маккэндлиш, Том Браун, Крис Олах и Джаред Каплан.

Само название группы говорило обо всём: переговоры продолжались, но они уже были готовы уйти.

Когда условия для продолжения работы согласовать не удалось, обе стороны привлекли юристов и начали переговоры по так называемому «разводу».

Согласно репортажу Рууса, Алтман согласился предоставить этой группе несколько недель на найм сотрудников OpenAI в обмен на обязательство не переманивать никого в течение года; стороны также договорились не дискредитировать друг друга публично.

В декабре 2020 года OpenAI провела общую виртуальную встречу.

Сначала всё шло как обычно: Алтман рассказал о ходе исследований, представил новых сотрудников, а затем передал слово Амодею.

Затем Амодей объявил, что он и ещё шесть руководителей покидают компанию, чтобы основать новую организацию, специализирующуюся на безопасности ИИ.

Согласно описанию Рууса, окно чата мгновенно заполнилось удивлёнными сообщениями и эмодзи. Перед завершением встречи Джек Кларк написал в чате: «Я вас всех люблю», после чего экран внезапно погас.

Семь ключевых сотрудников OpenAI, включая Дарио Амодея и его сестру Даниэлу Амодей, были одновременно выведены из встречи, а их доступ к электронной почте и Slack был отозван немедленно.

Затем, в начале 2021 года, была основана Anthropic.

Когда же закончатся обиды?

Однако начало с нуля не освободило Амодея от тех проблем, которые ранее его беспокоили.

Anthropic также нуждалась в привлечении средств, расширении вычислительных мощностей и разработке более мощных моделей. Только освоив передовые технологии, она могла изучать самые актуальные риски; но чтобы оставаться на передовой, ей приходилось постоянно инвестировать и конкурировать с приближающимися соперниками. По мере роста компании Амодей снова столкнулся с знакомым вопросом: когда безопасность, бизнес и конкуренция вступают в противоречие, что уступает первым?

Взаимная обида между сторонами не уменьшилась ни на йоту.

Люди, осведомлённые о ситуации, утверждают, что Амодей однажды назвал Олтмана и OpenAI «зловещими»; при этом некоторые сотрудники OpenAI считали брата и сестру Амодей моральными образцами лишь на словах, тогда как на деле они так же жаждали власти. Особенно их раздражало, что Anthropic публично предупреждала об рисках ИИ, одновременно ускоряя участие в гонке за лидерство.

В книге Руза эти лидеры ИИ описаны как «паутина, спутанная враждебностью»: Хассабис относится к Олтману свысока, Амодей — к Олтману, Олтман — к Амодею, а также Олтман — к Маску.

Спустя несколько лет паутина не распуталась: каждый из них столкнулся с новыми проблемами. Bloomberg сообщает, что Anthropic планирует выйти на биржу уже в середине ноября с целевой капитализацией до $2 трлн; однако её проспект также раскрывает обратную сторону: выручка около $4,6 млрд в 2025 г., но операционные убытки свыше $8 млрд и обязательство инвестировать более $500 млрд в вычислительные мощности.

Ранее Амодей ушёл, поскольку не доверял Олтману и хотел создать компанию, где обязательства по безопасности действительно имели бы значение. Теперь его собственная компания сталкивается с той же дилеммой: устойчивость роста и обеспечение безопасности — ни один из этих аспектов нельзя ослаблять. На этот вопрос пока никто из них не дал окончательного ответа.