La historia interna de la ruptura entre dos titanes de la IA, más dramática que una intriga palaciega

Por: Bitpush

Por fin se han revelado los detalles de la ruptura más costosa de Silicon Valley.

Recientemente, The Atlantic publicó el primer extracto de The AGI Chronicles, el nuevo libro de Kevin Roose, reconocido autor estadounidense bestseller y presentador de podcasts. Para escribirlo, Roose entrevistó a más de 150 personas vinculadas a OpenAI, Anthropic y Google DeepMind, y consultó una amplia cantidad de documentos corporativos y memorandos internos no divulgados para reconstruir esta ruptura histórica en Silicon Valley.

Si lo único que sabes es que Dario Amodei abandonó OpenAI a finales de 2020 con un grupo de personas para fundar Anthropic, eso es solo la punta del iceberg. Lo verdaderamente impactante es la «intriga palaciega» que tuvo lugar antes de su salida.

El «Plan de los países»: una propuesta descabellada para subastar la IAAG

Amodei tenía grandes esperanzas en OpenAI. En 2016, dejó Google para unirse a esta joven institución sin fines de lucro dedicada a la investigación. Según el relato de Roose, fue una figura clave para orientar a OpenAI hacia los modelos de lenguaje grandes, y su equipo participó en el desarrollo de GPT-2 y GPT-3.

A medida que avanzaba la investigación, Amodei se convenció cada vez más de que modelos a mayor escala podrían conducir a la IAAG (inteligencia artificial general). Pero, al mismo tiempo, su confianza en la dirección de la empresa se erosionaba progresivamente.

Uno de los primeros episodios que le causaron malestar ocurrió en 2017.

En ese momento, el apoyo financiero de Musk a OpenAI comenzaba a debilitarse y el laboratorio necesitaba urgentemente una nueva vía. El cofundador Greg Brockman y el científico jefe Ilya Sutskever propusieron un plan interno que después se conocería como el «plan de los países».

El plan comenzó de forma razonable, imaginando una coalición internacional donde todos gestionaran conjuntamente los riesgos de la IAAG y compartieran sus beneficios.

Pero cuando Brockman y Sutskever lo presentaron formalmente a los empleados en una reunión interna, ya había perdido por completo el rumbo: se había convertido en una campaña de recaudación para «subastar» los derechos futuros de uso de la tecnología IAAG a distintos gobiernos, mencionándose Estados Unidos, China y Rusia.

Su razonamiento era el siguiente: la IAAG implica seguridad nacional, así que tarde o temprano los gobiernos la confiscarían a cualquier empresa que la desarrollara. Como habría que entregarla de todas formas, mejor venderla a buen precio mientras la empresa atravesaba dificultades financieras.

Una persona familiarizada con la presentación se quejó: «Sonaba como un grupo de tecnólogos vendiendo una startup loca, y al final simplemente dijeron: que el gobierno pague la cuenta».

Dario Amodei era entonces vicepresidente de investigación de OpenAI. Tras escucharlo, envió un correo electrónico contundente a Brockman, Sutskever y otros ejecutivos. En él escribió que el plan «agravaría, en lugar de reducir, una carrera armamentística», podría «llevar a atrocidades contra los derechos humanos» y permitiría «actos inenarrables» contra sus propios ciudadanos, además de «socavar la legitimidad moral de OpenAI».

En términos sencillos: ¿quieren vender la tecnología más poderosa de la humanidad? ¿Se les ha ido la cabeza?

Afortunadamente, la posterior inversión masiva de Microsoft resolvió la situación y el plan nunca se concretó. La respuesta de OpenAI fue que la empresa «consideró brevemente transformar a OpenAI en una iniciativa cooperativa internacional», pero «no contempló vender la IAAG a China ni a Rusia».

El plan finalmente nunca se llevó a cabo, pero Amodei no olvidó que la dirección había debatido en serio una idea que él consideraba profundamente repugnante.

De Microsoft a Kanye, las grietas en la confianza se agrandan

Tras eso, una serie de asuntos aparentemente menores siguió erosionando su desconfianza.

Durante la beta privada de GPT-3, Amodei pidió a Altman la lista de clientes autorizados para usar el modelo. Altman le entregó una lista, pero Amodei afirmó haber descubierto después otra más extensa. Empezó a sospechar que la información que le mostraban estaba filtrada.

Y una disputa sobre la inversión de Microsoft agravó sus recelos.

La carta pública de OpenAI contiene una disposición bastante inusual: si un proyecto alineado con nuestros valores y consciente de la seguridad se acerca a lograr primero la IA general (AGI), OpenAI dejará de competir con él y lo ayudará. Esto significa que, en ciertas circunstancias, la misión de la empresa debe prevalecer sobre ganar la carrera.

Según el nuevo libro de Roose, al negociar una inversión de 1000 millones de dólares con Microsoft, Amodei quiso asegurarse de que Microsoft aceptara el acuerdo de adquisición de OpenAI que podría usarse para cumplir este compromiso. Altman le dijo que Microsoft no aceptaría esos términos.

Amodei no creyó que fuera tan sencillo. Sospechó que Altman, ansioso por cerrar rápidamente el trato, quizá había renunciado a presionar por ello —o ni siquiera lo había planteado— y echado la culpa a Microsoft.

Para Amodei, el problema se volvía cada vez más difícil de resolver mediante discusiones comerciales: ya dudaba de que el Altman sentado frente a él estuviera dispuesto a darle una versión completa de las negociaciones.

En 2020, Kanye West —el rapero que luego expresaría públicamente admiración por Hitler— apareció inesperadamente en esta creciente lista de quejas.

Citando a dos personas familiarizadas con el asunto, Roose informa que, tras reunirse con Kanye, Altman propuso permitirle unirse a la beta privada de GPT-3.

En ese momento, GPT-3 aún no se había lanzado públicamente y era el activo central más valioso de OpenAI. Jack Clark, entonces director de políticas de OpenAI, intervino para bloquear la propuesta, señalando que Kanye había publicado recientemente un video que parecía mostrarlo orinando sobre un premio Grammy y que su comportamiento público era preocupante. Poco después, Kanye comenzó a expresar públicamente admiración por Hitler.

La invitación nunca se concretó, pero agravó aún más la insatisfacción de Amodei con el criterio de Altman. Roose escribe que, tomados aisladamente, la mayoría de estos incidentes no habrían bastado para que renunciara, pero acumulados hicieron difícil creer que Altman fuera apto para manejar una tecnología tan poderosa como la AGI.

Roose revela en el libro que, para 2020, Amodei se había desilusionado por completo con el liderazgo de OpenAI. Describió a Altman como un «manipulador de doble cara» y consideró a Brockman «ambicioso y temerario».

De hecho, el conflicto central entre ellos se reducía a dos palabras: confianza.

Según informes, Amodei mantuvo durante su tiempo en OpenAI un pequeño cuaderno privado donde anotaba los momentos en que sentía que Altman lo había engañado.

En una de esas anotaciones escribió: «El problema de OpenAI es el propio Sam».

¿Formación de facciones y grupos?

Por otro lado, también dentro de OpenAI crecía la frustración con Amodei.

Según los reportes de Roose, Amodei y su hermana Daniela fueron atrayendo gradualmente a un grupo de colegas afines. Crearon canales de chat privados, celebraron reuniones independientes y discutieron frecuentemente temas de seguridad. Para algunos empleados ajenos a ese círculo, este grupo se volvió cada vez más difícil de tratar.

Un antiguo colega se quejó ante Roose de que Amodei solía declarar una opción concreta como la moralmente correcta, como si invocar la seguridad debiera zanjar el debate. Esto enfureció a otros equipos.

Amodei consideraba que los objetivos comerciales siempre prevalecerían sobre los compromisos de seguridad; algunos colegas sentían que había convertido la seguridad en una justificación incontestable. Así, su mutua insatisfacción pasó de decisiones específicas a estilos de trabajo y juicios sobre el carácter.

Al final, el conflicto se centró en un poder concreto: ¿podía el equipo de seguridad vetar el lanzamiento de nuevos productos?

Según Roose, antes de marcharse, Amodei presentó a Altman una serie de condiciones para quedarse, incluido otorgar al equipo de seguridad dicho poder de veto. Esperaba que la presión de que investigadores clave abandonaran la empresa en masa impulsara a Altman a aceptar cambios.

En un chat grupal secreto, comienza la cuenta atrás hasta una «escisión»

Mientras tanto, incluso mientras se llevaban a cabo las negociaciones, ya se estaba preparando una vía de salida.

Amodei y seis colegas crearon un canal privado de Slack llamado «BATNA» (la mejor alternativa a un acuerdo negociado). Entre sus miembros figuraban su hermana Daniela, así como Jack Clark, Sam McCandlish, Tom Brown, Chris Olah y Jared Kaplan.

El nombre mismo del grupo lo decía todo sobre su situación: seguían negociando, pero ya estaban preparados para irse.

Cuando no se logró acordar las condiciones para quedarse, ambas partes contrataron abogados y comenzaron a negociar lo que internamente se denominó «el divorcio».

Según el reportaje de Roose, Altman accedió a conceder a este grupo una ventana de reclutamiento de varias semanas para contratar empleados de OpenAI, a cambio de un compromiso de no hacer prospección de personal durante un año después; además, ambas partes acordaron no desprestigiarse públicamente.

En diciembre de 2020, OpenAI celebró una reunión virtual con todos los empleados.

Al principio, no parecía distinta de las habituales. Altman informó sobre los avances en investigación, presentó a nuevos empleados y luego cedió la palabra a Amodei.

A continuación, Amodei anunció que él y otros seis líderes abandonarían la empresa para fundar una nueva organización centrada en la seguridad de la IA.

Según la descripción de Roose, la ventana de chat se llenó rápidamente de mensajes sorprendidos y emojis. Al finalizar la reunión, Jack Clark escribió una línea en el chat: «Los quiero a todos», y luego la pantalla se apagó bruscamente.

Siete miembros clave de OpenAI, incluidos Dario Amodei y su hermana Daniela Amodei, fueron expulsados de la reunión simultáneamente, y se les revocó al instante el acceso al correo electrónico y a Slack.

Luego, a principios de 2021, se fundó Anthropic.

¿Cuándo terminarán los rencores?

Sin embargo, empezar de nuevo no liberó a Amodei de los problemas que antes lo habían aquejado.

Anthropic también necesitaba recaudar fondos, ampliar su potencia informática y desarrollar modelos más potentes. Solo dominando la tecnología de vanguardia podría estudiar los riesgos más avanzados; pero para mantenerse en la vanguardia, debía seguir invirtiendo y enfrentarse a competidores que se acercaban. A medida que la empresa crecía, Amodei también tuvo que responder una pregunta familiar: cuando chocan seguridad, negocio y competencia, ¿cuál cede primero?

El resentimiento mutuo entre ambas partes no ha disminuido en absoluto.

Personas conocedoras del asunto afirman que Amodei usó en su día la palabra «maligno» para describir a Altman y a OpenAI; mientras tanto, algunos empleados de OpenAI sentían que los hermanos Amodei se presentaban como paradigmas morales, aunque ansiaban el poder igual de intensamente. Les molestaba especialmente que Anthropic advirtiera públicamente sobre los riesgos de la IA mientras aceleraba su participación en la carrera tecnológica.

En el libro, Roose describe a estos líderes de la IA como «una telaraña enredada de hostilidad»: Hassabis mira con desprecio a Altman, Amodei también lo hace, Altman desprecia a Amodei y, además, también desprecia a Musk.

Varios años después, la red no se ha deshecho; al contrario, cada uno enfrenta nuevos problemas. Bloomberg informa que Anthropic busca cotizar en bolsa ya en mediados de noviembre, con una valoración objetivo de hasta 2 billones de dólares; sin embargo, su prospecto también revela la otra cara: ingresos de unos 4600 millones de dólares en 2025, pero pérdidas operativas superiores a los 8000 millones, además de un compromiso futuro de invertir más de 500 000 millones en potencia computacional. Por su parte, Altman sigue siendo cauto respecto a una salida a bolsa, señalando que no hay prisa por cotizar antes de resolver cuestiones de seguridad y alineación; no obstante, OpenAI también ha sido afectada recientemente por incidentes relacionados con la seguridad de la IA.

Entonces, Amodei se marchó porque no confiaba en Altman y quería crear una empresa donde los compromisos de seguridad realmente importaran. Ahora su propia compañía enfrenta el mismo dilema: la sostenibilidad del crecimiento y las preocupaciones de seguridad —ninguna de las dos puede relajarse. Sobre esta cuestión, ninguno de ellos ha dado aún una respuesta definitiva.