İki Yapay Zeka Devi Arasındaki Çatışmanın İç Hikâyesi: Bir Saray Olayından Daha Dramatik

Yazar: Bitpush

Silikon Vadisi’nin en pahalı ‘ayrılığı’na dair ayrıntılar nihayet ortaya çıktı.

Son zamanlarda The Atlantic, tanınmış Amerikalı çok satan yazar ve podcast sunucusu Kevin Roose’un yeni kitabı The AGI Chronicles’ın ilk bölümünü yayınladı. Kitap için Roose, OpenAI, Anthropic ve Google DeepMind’deki 150’den fazla iç kaynaktan röportaj yaptı; ayrıca şirketin açıklanmamış belgeleri ve iç notlarından da yararlanarak bu Silikon Vadisi tarihindeki en çarpıcı çatışmayı bir araya getirdi.

Eğer bildiğiniz tek şey Dario Amodei’nin 2020 sonunda bir grup kişiyle birlikte OpenAI’yi terk edip Anthropic’i kurmasıysa, bu yalnızca buzdağının görünen kısmı. Gerçekten şaşırtıcı olan, çıkışından önce yaşanana saray olayları tarzı çatışma.

Ülkeler Planı: AGİ’yi Açık Artırmaya Çıkarma Girişimi

Amodei, OpenAI için yüksek umutlar besliyordu. 2016 yılında genç bir kar amacı gütmeyen araştırma kurumu olan bu şirkete katılmak için Google’ı terk etti. Roose’un anlatımına göre, Amodei, OpenAI’yı büyük dil modelleri yoluna yönlendirmede kilit bir isimdi; önderliğindeki ekip GPT-2 ve GPT-3’ün geliştirilmesine katkıda bulundu.

Araştırma ilerledikçe Amodei, daha büyük ölçekli modellerin yapay genel zekâya (AGİ) yol açabileceğine giderek daha çok inandı. Ancak aynı zamanda şirketin yönetimine duyduğu güven giderek azaldı.

Onu en erken rahatsız eden olaylardan biri 2017’de gerçekleşti.

O dönemde Musk’ın OpenAI’ye finansal desteği sallanmaya başlamıştı ve laboratuvar acilen yeni bir yol arıyordu. Kurucu ortak Greg Brockman ile baş bilim insanı Ilya Sutskever, sonrasında ‘Ülkeler Planı’ olarak bilinen iç bir öneri geliştirdi.

Bu plan başlangıçta saygın bir fikirle başladı: AGİ risklerini ortaklaşa yönetmek ve yararlarını paylaşmak amacıyla uluslararası bir koalisyon kurulması öngörülüyordu.

Ancak Brockman ve Sutskever, çalışanlara planı resmi bir iç toplantıda sunduklarında artık tamamen sapmıştı: AGİ teknolojisinin gelecekteki kullanım haklarının ABD, Çin ve Rusya gibi çeşitli hükümetlere ‘açık artırma’ yoluyla satılmasını öngören bir fon toplama kampanyasına dönüşmüştü.

İkili şöyle düşünüyordu: AGİ ulusal güvenlik meselesi olduğu için, onu geliştiren şirket hangisi olursa olsun, hükümetlerin zamanla bunu elde geçirmesi kaçınılmazdı. Zaten teslim edilecekse, şirket nakit sıkıntısı içindeyken iyi bir fiyattan satılması daha akıllıca olurdu.

Sunumu tanıyan bir kişi şöyle şikayet etti: «Bir grup teknoloji uzmanının çılgın bir startup fikri sunduğunu düşündüm; sonra da sonunda dediler ki—masrafı devlet karşılasın.»

O dönemde Amodei, OpenAI’nin araştırma başkanıydı. Bu planı duyunca Brockman, Sutskever ve diğer yönetici arkadaşlarına oldukça açık bir e-posta gönderdi. E-postada, bu planın «silah yarışını azaltmak yerine artıracak», «insan hakları ihlallerine yol açacak», kendi halklarına «sözle ifade edilemeyecek şeyler» yaptırmasına izin verecek ve «OpenAI’nin ahlaki meşruiyetini altüst edecek» yazıyordu.

Basitçe söylemek gerekirse: İnsanlığın en güçlü teknolojisini onlara satmak mı istiyorsunuz? Akılınızı mı kaybettiniz?

Neyse ki Microsoft’un ardından yaptığı büyük yatırım durumu kurtardı ve plan hayata geçmedi. OpenAI’nin yanıtı ise şuydu: Şirket «OpenAI’yı uluslararası bir iş birliği girişimine dönüştürme fikrini kısa süreliğine değerlendirdi», ancak «AGİ’yi Çin ya da Rusya’ya satmayı hiç düşünmedi».

Plan nihayetinde hiç hayata geçmedi, ancak Amodei, yönetime kendi için bu kadar nefret ettiği bir fikrin ciddi şekilde tartışıldığını unutmadı.

Microsoft’tan Kanye’e: Güven Krizleri Derinleşiyor

Bundan sonra, görünüşte daha küçük meseleler dizisi onun güvensizliğini giderek artırıyordu.

GPT-3’ün özel beta dönemiyken Amodei, Altman’dan modeli kullanmaya yetkili müşterilerin listesini istedi. Altman ona bir liste verdi; ancak Amodei daha sonra başka, daha uzun bir liste keşfettiğini iddia etti. Gösterilen bilgilerin süzüldüğünden şüphelenmeye başladı.

Microsoft yatırımına ilişkin bir anlaşmazlık da kuşkularını derinleştirdi.

OpenAI’nin resmi tüzüğünde oldukça alışılmadık bir hüküm yer alır: Değerlerle uyumlu ve güvenlik odaklı bir proje AGI’yi ilk olarak geliştirmeye yaklaşacak olursa OpenAI, onunla rekabet etmeyi bırakıp bunun yerine destek verecektir. Bu, belirli koşullar altında şirketin misyonunun yarış kazanmaktan öncelikli olması gerektiğini gösterir.

Roose’un yeni kitabına göre, Microsoft ile 1 milyar dolarlık yatırım görüşmesi sırasında Amodei, Microsoft’un bu taahhüdü yerine getirmek amacıyla yapılacak olası OpenAI satın alma anlaşmasını kabul edeceğini garanti altına almak istemişti. Altman ise Microsoft’un ilgili şartları kabul etmeyeceğini söylemişti.

Amodei bunun bu kadar basit olmadığını düşünüyordu. Altman’ın anlaşmayı hızla kapatma hevesiyle bu talebi zorlamaktan vazgeçmiş ya da hiç gündeme getirmemiş olabileceğini ve suçlamayı Microsoft’a yüklediğini düşündü.

Amodei’ye göre sorun artık iş görüşmeleriyle çözülemez hâle gelmişti: karşısındaki Altman’ın müzakerelerle ilgili tam bilgiyi vermeye istekli olup olmadığından şüphe duymaya başlamıştı.

2020 yılında, daha sonra açıkça Hitler’e hayranlık ifade edecek olan rapçi Kanye West, bu artan şikâyetler listesine beklenmedik bir şekilde katıldı.

Konuyla ilgili iki kişiye atıfta bulunan Roose’a göre, Kanye ile tanıştıktan sonra Altman onun GPT-3’ün özel betasına katılmasına izin verilmesini önerdi.

O sırada GPT-3 henüz kamuya açıklanmamıştı ve OpenAI’nin en değerli temel varlığıydı. O dönem OpenAI’nin politika direktörü Jack Clark, Kanye’nin yakın zamanda Grammy ödülüne idrar ettiğini gösteren bir video yayınladığını ve kamuoyundaki davranışlarının endişe verici olduğunu belirterek bu öneriyi engelledi. Daha sonra uzun süre geçmeden Kanye, açıkça Hitler’e hayranlık duyduğunu dile getirmeye başladı.

Davet asla gerçekleşmedi; ancak bu durum, Altman’ın yargı yeteneğine yönelik Amodei’nin memnuniyetsizliğini daha da artırdı. Roose, bu olayların çoğu tek başına istifaye nedeni olmazdı ama bir araya geldiklerinde AGI gibi güçlü bir teknolojiyi yönetmeye Altman’ın uygun olmadığına inanmasını zorlaştırdığını yazar.

Roose kitabıyla 2020 yılına kadar Amodei’nin OpenAI yönetiminden tamamen hayal kırıklığına uğradığını ortaya koyuyor. Altman’ı ‘ikiyüzlü bir manipülatör’ olarak tanımlıyor ve Brockman’ı ‘güç tutkunu ve tedbirsiz’ olarak görüyor.

Aslında aralarındaki temel çatışma iki kelimeye indirgenebilir: güven.

Rapora göre Amodei, OpenAI’de çalıştığı süre boyunca gizli bir defter tutmuş ve Altman’ın kendisini yanılttığını düşündüğü anları buraya not etmiştir.

Bu notlardan birinde şöyle yazmıştı: ‘OpenAI’nin sorunu Sam’in kendisidir.’

Gruplaşmalar ve Çeteleşme mi?

Öte yandan OpenAI içindeki kişiler de giderek daha fazla Amodei’den bıkmıştı.

Roose’un haberine göre Amodei ve kız kardeşi Daniela, benzer düşüncelere sahip bir grup meslektaşı etrafında toplandılar. Özel sohbet kanalları oluşturduklarını, ayrı toplantılar düzenlediklerini ve sık sık güvenlik konularını tartıştıklarını belirtti. Bazı dış çalışanlara göre bu grupla çalışmak giderek zorlaşmıştı.

Eski bir meslektaşı, Amodei'nin genellikle belirli bir seçeneği ahlaki olarak doğru ilan ettiğini Roose'a şikayet etti; sanki güvenlikten bahsetmek tartışmayı sonlandırmak için yeterliydi. Bu durum diğer takımları sinirlendirdi.

Amodei, ticari hedeflerin güvenlik taahhütlerini her zaman gölgeleyeceğini düşünüyordu; bazı meslektaşları ise onun güvenliği cevaplanamaz bir gerekçe haline getirdiğini hissediyordu. Karşılıklı hoşnutsuzlukları böylece belirli kararlardan çalışma tarzlarına ve karakter değerlendirmelerine kadar yayıldı.

Sonuçta çatışma tek bir somut yetkiye odaklandı: Güvenlik ekibinin yeni ürün lansmanlarını veto etme hakkı var mıydı?

Roose'a göre Amodei, ayrılma öncesinde Altman’a kalmasını sağlamak için güvenlik ekibine bu veto yetkisini vermesini şart koşan bir dizi talep sundu. Temel araştırmacıların kitlesel olarak ayrılmak üzere olduğu baskı ile Altman’ı değişiklikleri kabul etmeye zorlamayı umuyordu.

Gizli Bir Grup Sohbetinde, Bir 'Ayrılışa' Doğru Sayım Başlıyor

Bu arada müzakereler devam ederken bir çıkış yolu zaten hazırlanıyordu.

Amodei ve altı meslektaşı, 'BATNA' (Müzakereler İçin En İyi Alternatif Anlaşma) adını verdikleri özel bir Slack kanalı oluşturdu. Üyeler arasında kız kardeşi Daniela, Jack Clark, Sam McCandlish, Tom Brown, Chris Olah ve Jared Kaplan yer alıyordu.

Grubun adı durumu açıkça yansıtıyordu: Müzakerelere devam ediyorlardı ama ayrılmaya zaten hazırlanmışlardı.

Kalma koşulları üzerinde anlaşmaya varılamayınca taraflar avukatlarla görüşmeye başladı ve iç çevrelerde 'boşanma' olarak tanımlanan süreç başlamış oldu.

Roose’un haberine göre Altman, bu gruba birkaç haftalık bir işe alım penceresi tanımakla karşılık olarak, bir yıl boyunca OpenAI çalışanlarını poach etmemeyi taahhüt ettiler; ayrıca iki taraf da birbirlerini kamuya açık şekilde kötülememeyi kabul etti.

Aralık 2020'de OpenAI tüm çalışanların katılımıyla sanal bir toplantı düzenledi.

Başlangıçta her zamanki gibi geçti. Altman araştırma ilerlemesini raporladı, yeni çalışanları tanıttı ve ardından sözü Amodei’ye bıraktı.

Daha sonra Amodei, kendisiyle birlikte altı başka liderin, yapay zeka güvenliği odaklı yeni bir kuruluş kurmak amacıyla şirketten ayrılacağını duyurdu.

Roose’un anlatımına göre sohbet penceresi hızla şaşkınlık mesajları ve emojilerle doldu. Toplantı sona ererken Jack Clark sohbete bir satır yazdı: 'Hepinizi çok seviyorum'—ve ekranda aniden siyah bir görüntü belirdi.

Dario Amodei ve kız kardeşi Daniela Amodei de dahil olmak üzere yedi temel OpenAI üyesi aynı anda toplantıdan atıldı ve e-posta ile Slack erişimleri anında iptal edildi.

Daha sonra 2021’in başlarında Anthropic kuruldu.

Kırgınlıklar Ne Zaman Son Bulacak?

Ancak yeniden başlamak, Amodei’yi daha önce rahatsız ettiği sorunlardan kurtarmadı.

Anthropic’ın da fon toplaması, bilgi işlem gücünü genişletmesi ve daha güçlü modeller geliştirmesi gerekiyordu. En gelişmiş riskleri inceleyebilmek için ancak sınır teknolojisini hakim olmak yeterliydi; ancak sınırda kalmak için sürekli yatırım yapmak ve yaklaşan rakiplerle yüzleşmek zorundaydı. Şirket büyüdükçe Amodei’nin tekrar karşılaştığı soru şu oldu: Güvenlik, işletme ve rekabet birbiriyle çatıştığında hangisi öncelik kazanır?

İki taraf arasındaki karşılıklı kin hiç azalmadı.

Konuyla ilgili kişiler, Amodei'nin bir zamanlar Altman ve OpenAI'ı tanımlamak için 'kötülük' kelimesini kullandığını söylüyor; bununla birlikte bazı OpenAI içi kişiler, Amodei kardeşlerinin güç açlığı açısından Altman ile aynı olduğu halde kendilerini ahlaki örnek olarak gösterdiklerini düşünüyordu. Özellikle Anthropic'ın yapay zekâ riskleri konusunda kamuoyuna uyarı verirken aynı zamanda bu yarışa hızla dahil olmasından rahatsız oluyorlardı.

Kitapta Roose, bu yapay zekâ liderlerini 'düşmanlıkla dolu bir örümcek ağı' olarak tanımlıyor: Hassabis, Altman'ı küçümser; Amodei, Altman'ı küçümser; Altman da Amodei'yi ve ayrıca Musk'ı küçümser.

Birkaç yıl geçmesine rağmen bu ağ çözülmemiş; aksine her birinin yeni sorunları olmuş. Bloomberg'e göre Anthropic, en erken Kasım ortasında halka arz (IPO) yapmayı planlıyor ve hedef değerlemesi 2 trilyon ABD dolarına kadar çıkabilir; ancak prospectüsü diğer yönü de ortaya koyuyor: 2025 yılında yaklaşık 4,6 milyar dolar gelir, ancak 8 milyardan fazla işletme zararı ve gelecekte 500 milyar doların üzerinde bilgi işlem gücüne yatırım yapma taahhüdü. Altman ise IPO konusunda dikkatli kalıyor ve güvenlik ve uyum sorunları çözülmeden halka arz yapmaya acelesi olmadığını belirtiyor; ancak OpenAI da yakın zamanda yapay zekâ güvenliği olaylarıyla uğraşıyor.

O zamanlar Amodei, Altman'a güvenmediği için ayrılmıştı ve güvenlik taahhütlerinin gerçekten önemli olduğu bir şirket kurmak istemişti. Şimdi kendi şirketi de aynı ikilemle karşı karşıya: büyümenin sürdürülebilirliği ve güvenlik kaygıları—ikisinden birini gevşetmek mümkün değil. Bu soruya henüz ikisi de cevap vermemiş durumda.