L’histoire secrète de la brouille entre deux géants de l’IA, plus spectaculaire qu’une intrigue de cour

Par : Bitpush

Les détails de la rupture la plus coûteuse de la Silicon Valley viennent enfin d’être révélés.

Récemment, The Atlantic a publié le premier extrait de The AGI Chronicles, le nouveau livre de Kevin Roose, célèbre auteur américain à succès et animateur de podcast. Pour ce livre, Roose a interviewé plus de 150 personnes internes d’OpenAI, Anthropic et Google DeepMind, et s’est appuyé sur un volume important de documents confidentiels et de notes internes afin de reconstituer cette brouille sans précédent dans l’histoire de la Silicon Valley.

Si vous savez seulement que Dario Amodei a quitté OpenAI fin 2020 avec un groupe de personnes pour fonder Anthropic, vous n’avez vu que la partie émergée de l’iceberg. Ce qui est véritablement stupéfiant, c’est l’« intrigue de cour » qui s’est déroulée avant son départ.

Le « Plan des pays » : une proposition folle d’enchères sur l’AGI

Amodei avait initialement de grands espoirs pour OpenAI. En 2016, il quitta Google pour rejoindre ce jeune institut de recherche à but non lucratif. Selon le récit de Roose, il fut une figure clé dans l’orientation d’OpenAI vers les grands modèles linguistiques, et son équipe participa au développement de GPT-2 et GPT-3.

Au fil des recherches, Amodei devint de plus en plus convaincu que des modèles à plus grande échelle pourraient conduire à l’AGI (intelligence artificielle générale). Mais parallèlement, sa confiance dans la direction de l’entreprise ne cessait de s’éroder.

L’un des premiers éléments qui le heurtèrent eut lieu en 2017.

À l’époque, le soutien financier d’Elon Musk à OpenAI commençait à faiblir, et le laboratoire avait urgemment besoin d’une nouvelle voie. Le cofondateur Greg Brockman et le directeur scientifique Ilya Sutskever proposèrent un plan interne qui devint par la suite le « Plan des pays ».

Le plan semblait d’abord respectable : il envisageait une coalition internationale où chacun gérerait conjointement les risques liés à l’AGI et en partagerait les bénéfices.

Mais lorsqu’il fut présenté officiellement aux employés lors d’une réunion interne, il avait complètement dérapé : il s’était transformé en campagne de levée de fonds visant à « mettre aux enchères » les droits futurs d’utilisation de l’AGI auprès de divers gouvernements, notamment ceux des États-Unis, de la Chine et de la Russie.

Leur raisonnement était le suivant : l’AGI touche à la sécurité nationale, donc les gouvernements la saisiront tôt ou tard à l’entreprise qui la développera. Puisqu’elle devrait de toute façon être remise, autant la vendre à bon prix, alors que l’entreprise manquait cruellement de liquidités.

Une personne familière avec cette présentation se plaignit : « Cela ressemblait à un pitch de startup fou par des techniciens, et à la fin, ils ont simplement dit : que ce soit l’État qui paie. »

Dario Amodei était alors vice-président de la recherche chez OpenAI. Après avoir entendu ce plan, il envoya un courriel très franc à Brockman, Sutskever et d’autres dirigeants. Il y écrivait que ce plan « exacerberait plutôt qu’atténuerait une course aux armements », « pourrait mener à des atrocités contre les droits humains » et permettrait de faire « l’impensable » à ses propres citoyens — et qu’il « sapait la légitimité morale d’OpenAI ».

En termes simples : vous voulez vendre la technologie la plus puissante de l’humanité ? Avez-vous perdu la raison ?

Heureusement, l’investissement massif ultérieur de Microsoft sauva la situation, et le plan ne vit jamais le jour. OpenAI répondit que l’entreprise avait « brièvement envisagé de transformer OpenAI en une entreprise coopérative internationale », mais « n’avait pas envisagé de vendre l’AGI à la Chine ou à la Russie ».

Ce projet ne vit jamais le jour, mais Amodei n’oublia pas que la direction avait sérieusement évoqué une idée qu’il jugeait profondément répugnante.

De Microsoft à Kanye, les fissures dans la confiance s’aggravent

Par la suite, une série de questions apparemment secondaires creusèrent encore davantage sa méfiance.

Pendant la bêta privée de GPT-3, Amodei demanda à Altman la liste des clients autorisés à utiliser le modèle. Altman lui en fournit une, mais Amodei affirma par la suite avoir découvert une autre liste, plus longue. Il commença à soupçonner que les informations qui lui étaient communiquées avaient été filtrées.

Un désaccord sur l’investissement de Microsoft renforça ses doutes.

La charte publique d’OpenAI contient une disposition inhabituelle : si un projet aligné sur les valeurs et soucieux de sécurité se rapproche de la réalisation de l’AGI en premier, OpenAI cessera de lui faire concurrence pour l’aider. Ainsi, dans certaines circonstances, la mission de l’entreprise prime sur la course à la victoire.

Selon le nouveau livre de Roose, lors des négociations d’un investissement de 1 milliard de dollars avec Microsoft, Amodei voulait garantir que Microsoft accepterait un éventuel accord d’acquisition d’OpenAI permettant de tenir cet engagement. Altman lui répondit que Microsoft n’accepterait pas ces clauses.

Amodei ne trouvait pas cela aussi simple. Il soupçonnait Altman, pressé de conclure rapidement l’accord, d’avoir renoncé à insister sur cette exigence — ou même de ne jamais l’avoir formulée — tout en rejetant la faute sur Microsoft.

Aux yeux d’Amodei, le problème devenait de plus en plus difficile à résoudre par des discussions commerciales : il commençait à douter que l’Altman assis en face de lui soit prêt à lui rendre compte intégralement des négociations.

En 2020, Kanye West — le rappeur qui exprimerait plus tard publiquement son admiration pour Hitler — apparut inopinément sur cette liste croissante de griefs.

Selon Roose, citant deux personnes familières avec l’affaire, après avoir rencontré Kanye, Altman proposa de le laisser participer à la bêta privée de GPT-3.

À l’époque, GPT-3 n’était pas encore publié publiquement et constituait l’actif stratégique phare d’OpenAI. Jack Clark, alors directeur des politiques d’OpenAI, intervint pour bloquer cette proposition, soulignant que Kanye avait récemment publié une vidéo où il semblait uriner sur un prix Grammy, et que son comportement public était préoccupant. Peu après, Kanye commença à exprimer publiquement son admiration pour Hitler.

L’invitation ne fut jamais lancée, mais elle accentua encore le mécontentement d’Amodei face au jugement d’Altman. Roose écrit que, prises isolément, la plupart de ces incidents n’auraient pas suffi à le pousser à démissionner, mais cumulées, elles rendirent difficile pour lui de croire qu’Altman était apte à maîtriser une technologie aussi puissante que l’AGI.

Roose révèle dans son livre qu’en 2020, Amodei était totalement désillusionné par la direction d’OpenAI. Il qualifiait Altman de « manipulateur à double face » et Brockman de « avide de pouvoir et imprudent ».

En réalité, le conflit fondamental entre eux se résumait à deux mots : confiance.

Selon les informations rapportées, Amodei tenait tout au long de son passage chez OpenAI un petit carnet privé, y notant les moments où il estimait qu’Altman l’avait trompé.

Dans l’une de ces notes, il écrivit : « Le problème d’OpenAI, c’est Sam lui-même. »

Formation de factions et de clans ?

De l’autre côté, les employés internes d’OpenAI en avaient également assez d’Amodei.

Selon les investigations de Roose, Amodei et sa sœur Daniela attirèrent progressivement un groupe de collègues partageant leurs vues. Ils créèrent des canaux de discussion privés, organisèrent des réunions séparées et abordèrent fréquemment les questions de sécurité. Pour certains employés extérieurs à ce cercle, ce groupe devint de plus en plus difficile à côtoyer.

Un ancien collègue s’est plaint à Roose qu’Amodei déclarait souvent tel ou tel choix moralement juste, comme si évoquer la sécurité devait mettre fin au débat. Cela exaspérait les autres équipes.

Amodei estimait que les objectifs commerciaux l’emporteraient toujours sur les engagements en matière de sécurité ; certains collègues estimaient qu’il avait transformé la sécurité en justification indiscutable. Leur mécontentement réciproque s’étendit ainsi des décisions précises aux styles de travail et aux jugements de caractère.

En fin de compte, le conflit se concentra sur un pouvoir concret : l’équipe sécurité pouvait-elle bloquer le lancement de nouveaux produits ?

Selon Roose, avant son départ, Amodei présenta à Altman un ensemble de conditions pour rester, notamment l’octroi d’un droit de veto à l’équipe sécurité. Il espérait que la pression exercée par un départ massif de chercheurs clés pousserait Altman à accepter ces changements.

Dans un chat de groupe secret, le compte à rebours vers une « scission » commence

Pendant ce temps, même tandis que les négociations étaient en cours, une voie de sortie était déjà préparée.

Amodei et six collègues créèrent un canal privé Slack nommé « BATNA » — la meilleure alternative à un accord négocié. Les membres comprenaient sa sœur Daniela, ainsi que Jack Clark, Sam McCandlish, Tom Brown, Chris Olah et Jared Kaplan.

Le nom même du groupe résumait parfaitement leur situation : ils négociaient encore, mais étaient déjà prêts à partir.

Lorsque les conditions de maintien dans l’entreprise ne purent être convenues, les deux parties firent intervenir des avocats et entamèrent des négociations sur ce qui fut appelé en interne « le divorce ».

Selon les informations rapportées par Roose, Altman accepta d’accorder à ce groupe une période de recrutement de plusieurs semaines pour embaucher des employés d’OpenAI, en échange d’un engagement à ne pas faire de chasse aux talents pendant un an ; les deux parties convinrent également de ne pas se dénigrer publiquement.

En décembre 2020, OpenAI organisa une réunion virtuelle rassemblant tous ses employés.

Au début, elle ne semblait pas différente des réunions habituelles. Altman fit le point sur les progrès de la recherche, présenta les nouveaux employés, puis céda la parole à Amodei.

Amodei annonça ensuite qu’il quittait l’entreprise avec six autres dirigeants pour fonder une nouvelle organisation axée sur la sécurité de l’IA.

Selon la description de Roose, la fenêtre de discussion fut rapidement inondée de messages et d’émoticônes exprimant la surprise. À la fin de la réunion, Jack Clark tapa une phrase dans le chat — « Je vous aime tous » — puis l’écran passa brusquement au noir.

Sept membres centraux d’OpenAI, dont Dario Amodei et sa sœur Daniela Amodei, furent expulsés simultanément de la réunion, et leur accès aux e-mails et à Slack fut révoqué sur-le-champ.

Puis, au début de l’année 2021, Anthropic fut fondée.

Quand les rancunes prendront-elles fin ?

Repartir de zéro, toutefois, ne libéra pas Amodei des problèmes qui l’avaient déjà tourmenté.

Anthropic devait aussi lever des fonds, étendre sa puissance de calcul et développer des modèles plus performants. Seule la maîtrise des technologies de pointe permettait d’étudier les risques les plus avancés ; or, pour rester à la pointe, il fallait continuer à investir et faire face à des concurrents qui gagnaient du terrain. À mesure que l’entreprise grandissait, Amodei dut aussi répondre à une question familière : en cas de conflit entre sécurité, activité commerciale et concurrence, laquelle cède en premier ?

La rancœur réciproque entre les deux parties n’a pas du tout disparu.

Des personnes bien informées affirment qu’Amodei aurait un jour qualifié Altman et OpenAI de « maléfiques » ; parallèlement, certains membres d’OpenAI estimaient que les frère et sœur Amodei se présentaient comme des modèles moraux tout en étant tout aussi avides de pouvoir. Ils étaient particulièrement agacés de voir Anthropic alerter publiquement sur les risques liés à l’IA tout en accélérant sa participation à la course technologique.

Dans le livre, Roose décrit ces dirigeants de l’IA comme « une toile d’araignée emmêlée d’hostilité » : Hassabis méprise Altman, Amodei méprise Altman, Altman méprise Amodei, et Altman méprise aussi Musk.

Plusieurs années plus tard, cette toile ne s’est pas dénouée ; au contraire, chacun fait face à de nouveaux défis. Bloomberg rapporte qu’Anthropic cherche à entrer en bourse dès mi-novembre, avec une valorisation cible pouvant atteindre 2 000 milliards de dollars ; or, son prospectus révèle aussi l’autre versant : un chiffre d’affaires d’environ 4,6 milliards de dollars en 2025, mais des pertes opérationnelles dépassant 8 milliards de dollars, ainsi qu’un engagement futur d’investir plus de 500 milliards de dollars dans la puissance de calcul. Pour sa part, Altman reste prudent quant à une introduction en bourse, affirmant qu’il n’y a aucune hâte à y procéder avant que les questions de sécurité et d’alignement ne soient résolues — mais OpenAI a également été récemment confrontée à des incidents liés à la sécurité de l’IA.

À l’époque, Amodei avait quitté OpenAI faute de confiance en Altman, souhaitant fonder une entreprise où les engagements en matière de sécurité compteraient réellement. Aujourd’hui, sa propre société fait face au même dilemme : la pérennité de la croissance et les préoccupations liées à la sécurité — aucune des deux ne peut être relâchée. Sur cette question, aucun des deux n’a encore fourni de réponse définitive.