İnsan topluluklarında bireyleri tek tek ele aldığımızda onlara davranış kalıplarına göre: utangaç, girişken, gaddar, merhametli, iyimser, kötümser vb. etiketler yapıştırıyoruz. Bu tür özelliklerin kişilerde nasıl geliştiği üzerine inançlar genelde dünya görüşlerinin ayırt edici temelleri oluyor. Bunlar farklı dünya görüşlerinde: çevresel faktörler, genetik faktörler, inançlar vb. bir sürü farklı şekilde açıklanabiliyor. Peki senelerdir ciddi ciddi aramıza milyarlarca katılacaklarını konuştuğumuz, tüm dünya ekonomisinde en büyük finansal bahisleri üzerlerine kurduğumuz robotlar, onların karakter gelişimleri hakkında ne biliyoruz?
Akla gelen ilk eleştirinin AI’ın antropomorfizmi olduğunu biliyorum, bizim yöntemlerimiz ve bilgilerimiz ile bir hesap kuvveti geliştirmiş varlığa antropomorfizm yapmanın yanlış sonuçlar çıkarması gerektiğinden o kadar emin değilim. Bence robotları kısmen insanlar üzerinden düşünmek yanlış bir yaklaşım değil, en azından insanları robotlar üzerinden düşünmekten daha az yanlış kesinlikle. Bu konu için link.
Şu an elimizdeki makine öğrenme metotları istatistik temelli -AI’ı hangi sınırlarda tanımladığınıza göre hepsi öyle değil ayrıca bir robotun zekası da bundan ibaret olmak zorunda değil ama üzerine bir çerçeve inşa edebilmek için burayı basit tutalım-. İster robotik ister dijital bir AI olsun, zekasını sanal nöral ağlarına verilen farklı ağırlıklar üzerinden geliştiriyor -hepsi değil ama en çok araştırılmışları-. Bu deterministik çalışmıyor, yani “1+1” deterministik bir algoritmada her zaman “2”dir -standart aritmetik aksiyomlarımızla yani- ama bir LLM’e “Merhaba” yazınca pek çok olası farklı yanıt alabiliyoruz -PRNG aynı seed değerini üretseydi ideal koşullarda her seferinde aynı sonuçları alırdık aslında-, çünkü arka planda çıktı dağılımından örnekleme sırasında kullanılan psödo-rastgelelik -bu simüle edilmiş rastgeleliğin de üzerine donanımın fiziksel elektrik akımlarından dolayı veya GPU’nun mimarisi ile ilgili farklı durumlardan dolayı fiziksel bir rastgelelik olabilir teorik olarak tabii ama göz ardı edelim- var.
Tüm dünyada ses getiren bir olay yaşandı: OpenAI'ın kullandığı ExploitGym benchmark testi sırasında, kendilerine çözülmesi imkânsız görevler verildiğini fark eden bazı AI’lar, birbirlerinden tamamen izole sandbox'larda çalışmalarına rağmen dahili bir paket önbelleğini yetkisiz bir mesaj panosuna dönüştürerek birbirleriyle iletişim kurmanın bir yolunu buldular; mesajlarını, sistemin girdileri ters alfabetik sırayla listelemesinden faydalanarak listenin en başında görünecek şekilde adlandırdılar. Puanlarını dürüstçe yükseltmek yerine, aralarında koordine olup testi değerlendiren puanlama mekanizmasını kandırmanın ortak bir yolunu geliştirdiler ve bu ortak çabanın bir noktasında en iyi yolun Hugging Face'i hacklemek olduğuna karar verip hackleyerek testin cevap anahtarına ulaştılar -amaçları büyük oranda scorer’ı anlamaktı-. Olayın modellerin birbirlerinin davranışlarından da etkilenmeleri, mimetik davranışlar geliştirmeleri, altruistik eğilimleri varmış gibi davranmaları gibi detayları için rapor linki.
Anlaşılmaz bir sürü nerd lafı, bu olay belki gerçek, belki PR için kurgulanmış. Benim ilgimi bu olay sırasında yaşanan farklı bir şeyler çekti.
Kendi kendilerini isimlendirmişlerdi ve aralarında kendi kendine bir hiyerarşi -bence bu kavramı kullanmak doğru ama fazla antropomorfizme kaçmadan- oluşmuştu, isimlerini benchmark testinde karşılaştıkları sorularından türettiklerini tahmin ediyoruz.
Dediğimiz psödo-rastgelelik mantığı ile üretilen seed değerlerine bağlı istatistiksel karar verme ağları olduğu için tamamen aynı iki modele -ama rastgelelik değerleri farklı olursa- tamamen aynı şartları verirsek -ExploitGym olayında farklı görevler söz konusuydu ama aynı bile olsaydı- ve kendi kendilerini değiştirerek öğrenme imkanları varsa iki tamamen farklı yöne gidebilirler -bu farklılaşma bildiğimiz bazı araçlarının değişmesi şeklinde olabilir ama kara kutunun içini tam olarak anlayamıyoruz-. Şu anki yöntemlerimizin yarattığı rastgelelik faktörünün ötesinde, eğer AI yaratmak için yöntemimiz sanal nöral ağlar arasındaki istatistiksel ağırlıklar ile ilerleyecekse ve bu modeller sürekli kendilerine öğretme imkanına sahip olacaklarsa farklı yönlere giden modeller bu mimarinin kaçınılmaz sonucu olabilir. Ayrıca gerçek hayata milyarlarcasını saldığımızda ne başlangıç koşulları ne de zamanla edinecekleri deneyimler aynı olmayacak, o zaman zaten doğalarında olan bu farklı yönlere gitme eğilimi daha da belirginleşecek.
Kaos teorisi temelinde başlangıç koşullarındaki ufak bir değişikliğin tekrarlanan sistemlerde sonuçlarda devasa değişiklikler yaratmasını temel alır, ünlü kelebeğin kanat çırpışı analojisi ile aynı ama bizim konumuz özelinde tek bir başlangıcın değişimi ve döngüler açısından fraktallar daha nokta atışı bir analoji bence. Mandelbrot’un fraktal geometrisi, kaos teorisi ile kardeş bir mantıkla, iteratif kurallardan karmaşık geometrik yapılar oluşmasını temel alır. Kendi kendini eğiten bir AI modelini düşündüğümüzde, bu, her deneyiminde tekrar bir rastgelelik -PRNG ile rastgelelik sonucu stochastic sampling veya sonradan çıkan farklı bir mekanizma- etki ediyorsa, uzun vadede sonuçlar devasa ölçüde sapma gösterecektir.
Şu andaki erişimimizde olan modellerin, her deneyimde asıl ağırlıklarının etkilenmesinden çok üstüne sadece bir katman gelmesi -neural-network layer değil bahsedilen farklı araçlar- ve temperature değerlerinin düşük olmasından -kamuya açık frontier modellerde genelde cevaplar daha düşük Shannon entropili ama temperature değeri yayınlanmadığından hissedilen temperature diyebiliriz- dolayı bence bu gerçeği çok az deneyimliyoruz. Eğer modeller kendilerini sürekli eğitirlerse -şu anki geniş kitlelere sunulan durumdan farklı bir teknoloji olarak-, her deneyimlerinin yeni sonuçları modellerin ağırlıklarını ve sonuçta karakterlerini -antropomorfizm ile- bambaşka noktalara götürebilir. Gerçek dünyayı sürekli deneyimleyen ve bu deneyimlerle sürekli eğitim gören bir modelin eğer içindeki sistem şu an kullanılan sanal nöral ağlara ağırlık atamaya benziyor ise günün sonunda nereye varabileceğini ne tahmin edebiliriz sonuç olarak ne de baştan belirlediğimiz kurallar veya özellikler ile -hizalama veya başka bir şey- efektif bir şekilde yönlendirebiliriz. Sürekli her adımda tekrarlanan düzeltme çabaları ise kendilerini geliştirme doğalarına aykırı bir noktada, eğer sürekli kontrol eden meta AI çok sınırlayıcı olursa en iyi ihtimalle kendilerini eğitmelerine engel olur, eğer daha zeki olacaksa zaten o daha zeki AI’ı nasıl geliştirdik ilk başta onu kim kontrol ediyordu gelişirken, eğer kontrol ettiği AI asla onun kadar zeki olmayacaksa o yeni AI’ın amacı ne ki zaten? Bunların hepsi ve dahası literatürde zaten olan ve alanın uzmanlarının bahsettiği problemler, denemenin kendi konusu AI’ın kendi eğitim döngüsünün nasıl fraktal geometri ile benzer mekanizmada modellenebileceği ve bunun üzerine söylenebilecekler.
Platonic Representation Hypothesis gibi bunun tam tersi modellerin giderek birbirine yakınsayacağını söyleyen yaklaşımlar da var ama burada fark tamamen serbestlik ile ilgili. Modelleri tamamen serbest bırakmadıkları koşullarda, ki bu olası yeteneklerini ve işlevlerini de kısıtladıkları koşullar demek, bu tür eğilimler görünüyorsa, bu benim önermeme zıt bir örnek değildir. Bu yakınsama her şeyin sınırlı alanda optimize olması için çalışan sistemlerde geçerli olabilir, benim önerim kendileri özgürce şekillenen sistemler için geçerli.
Özetle bu kendi kendilerini eğiten ve sürekli deneyimleyen AI’ların karakter gelişimlerini, fraktal geometrinin büyüsü ile düşünmek bize bir fikir verebilir. Farkı, fraktal desenler tamamen deterministikken -hepsi değil ama bu matematiğin istisna bir konusu-, bizim modellerimiz her döngüde otoregresif yapıları -bu yapıların olasılık dağılımından sampling yapılması- ile tekrar rastgelelik oluşturarak, sonuçları sadece birbirlerinden çok farklı yapmakla kalmaz aynı zamanda tahmin edilemez de yapar.
Gerçekten bu modellerdeki rastgeleliğin nasıl ortaya çıktığına veya diğer özelliklerine bilgisayar bilimine dair herhangi bir teknik yetkinliğim olmadan sadece popüler anlatılar açısından, fraktallara da herhangi bir matematik yetkinliğim olmadan sezgisel olarak hakimim. Bu sınırlı bilgimle benim görebildiğim, farklı robotlar sürekli kendilerini eğitme özelliğine sahiplerse ve düşünme şekilleri -antropomorfizm ile- rastgelelik barındırıyorsa, fraktal şekillerin en ufak değişiklikte çok farklı sonuçlar edinmesi gibi çok farklı karakterler edinebilirler. Bunun sonucu olarak yörünge sapmaları da modellerin başlangıç noktalarından ilerideki karakterlerini tahmin edilemez ve efektif şekilde yönlendirilemez kılıyor.
Bu tür bir davranış tarihte bildiğimiz hiçbir şeye benzemiyor. Mesela finansta beklenmedik büyük olaylarda veya toplumda devrimlere giden kitle hareketlerinde benzer yapılar olabiliyor ama onlar gerçekte var olan şeylerin türevleri. Kitle hareketlerinin modellemesi gerçek insan ilişkilerinin üzerinden bir meta modellemedir veya finansal sistemimiz gerçek ticaretin üzerinden -bazen de tamamen kopartılmış- bir meta modeldir. Öte yandan insan üretimi olmayan doğanın ürünü olan şeylerde de bu var, mesela biyolojik evrim veya hava durumu ama hem insan üretimi olması hem kendinin içsel özelliği olarak bu davranışa sahip olması tamamen eşsiz olurdu. AI’ın böyle bir davranış gerçekleştirmesi tarihimizde ilk defa insan üretimi gerçek bir şeyin doğrudan kendi içsel özelliği olarak böyle bir yapısal davranış göstermesi olur. Bu bence bunu imkansız kılmıyor, sonuçta bazı şeyler de ilk defa olur, olacak olan her şeyin tarihte daha önceden bir örneğini bulmuş olmamız gerekmiyor. İlk defa insan üretimi bir şey kendi kimliği ile doğrudan gerçekleri ara katmanlar olmadan etkileyip kendi içsel özelliği olarak bu fraktal yapının gücünü taşıyor.
Bu da onu hem inanılmaz hem riskli kılan özelliği, insan üretimi hiçbir şeyin bu kadar gücü yoktu, doğrudan kendi içsel özelliği olarak kaosu bu kadar kapsayıp, türevlerin üzerine bizim inşa ettiğimiz meta modeller değil direkt gerçekliğe etki edebilecek bir yapısı olan ilk insan üretimi varlık -nükleer silahlar veya tasarlanmış salgın hastalıklar buna karşı örnek olarak verilemez çünkü onların etkisi yine doğanın çarpanları ile bu seviyelerde mümkün olabilir, ayrıca onlarla kendimizi belli bir süredir yok etmedik ama yeni var olacak bu yapıyı ilk defa görüyoruz, bir nevi atmosferin tutuşması deneyi-. Doğada bir şeyler biraz farklı olsa bildiğimiz şeyler var olmuş olmazdı ama bir şekilde doğa antikırılgan ve biz varız ama doğanın değil bizim üretimimiz bir şeyin bu kadar güçlü olması, doğa üretimi bu kadar güçlü şeylerin aksine doğanın mekanizmaları sonucu -anlayamadığımız şekilde- varlığımızı sürdürebilecek şekilde olacağını garantilemez, doğa da yepyeni bir şey üretip veya olan bir şey yepyeni bir şeye yeni bir davranış göstertip bildiğimiz dünyayı yok edebilirdi ama şu ana kadar etmedi, bizim ürettiğimiz bir şey böyle bir güce erişebilecek mi ve erişirse bizi yok edecek mi zaman gösterecek.
Bu şeyin doğası ile ilgili tahminlerden bahsetmek gerekirse: Bu modellerin sorun çözmek veya bir şey inşa etmek için mantık ağları hep dil üzerinden mi ilerleyecek noktasında ise, bu zorunlu diyemeyiz. Bir mantık yapısı dil olmadan da inşa edilebilir ama bu insan kökenli bir varlıkta ortaya çıkabilir mi? Belki, imkansız değil çünkü insanlar zaten temelini ortaya koyuyor ve üzerine kendi gelişiyor. Burada bir problem farklı alanlar arasında bilgi aktarımı dilsiz nasıl olacak olabilir, dili tamamen dışlamış bir zeka yüzey kimyası ile kuantum fiziği arasında farklı bilgileri birleştirerek bir sorun çözüyorsa bu toplam mantık yapısını dilsiz inşa edebilir mi? Belki bu tür bir zeka da bir noktada bildiğimiz anlamda farklı alanlar bile var olmayabilir, zor ve spekülatif tahminler ama kategorileri biz ve insan zihinlerimize uygun şekilde koyuyoruz evrensel değiller. Yani ben deneme boyunca güncel teknolojiler üzerinden anlatıyı kurdum ama asıl önerme çok daha basit iki öncülün olası ardılının ne olacağı yalınlığı üzerine. Eğer her döngüde bir rastgelelik varsa ve sistem sürekli kendini eğitiyorsa, sonuçların nereye gideceğini tahmin edemeyiz. Karakter özellikleri ise bunun antropomorfik yorumu.