Cehaletin Algoritması: Anlamayan El, Bağımlılık ve Otonominin Yitimi

I. Gösterinin Maliyeti

Bir şirketin toplantısında, perdeye yansıyan slaytın köşesinde küçük, parlak bir ibare belirir: AI-powered. Salondaki kimse o ibarenin arkasında tam olarak neyin çalıştığını bilmez, bilmesi de beklenmez. Önemli olan ibarenin orada olmasıdır. Sunum yapan kişi, henüz birkaç ay önce bir yazılım firmasının yarım saatlik demosunda gördüğü şeyi anlatır: Sistem soruyu alıyor, hesap yapıyor ve cevap veriyordur. Salondakiler etkilenmiştir ve bütçe onaylanır. İmza atılırken pek kimse şu soruyu sormaz: Bu araç tam olarak hangi sorunu çözüyordur ve peki, biz onu gerçekten anlıyor muyuz? 

Şirketler yapay zekâya milyonlarca dolar akıtır; bütçeler, danışmanlar, lisanslar, "dönüşüm" programları... Ne var ki yüzlerce kurumsal yapay zekâ projesini inceleyen bir araştırma, çarpıcı bir sonuca varır. Bu pilot uygulamaların büyük çoğunluğu, ölçülebilir hiçbir getiri üretmeden rafa kaldırılıyordur. Başarısızlığın nedeni neredeyse hiçbir zaman aracın teknolojik yetersizliğinden kaynaklanmıyordur; engel örgütseldir. 

Bu son cümle masum görünür ama bu yazının bütün omurgasını oluşturur. Engel örgütseldir demek; sorunun aracın teknik kapasitesinde değil, özetle onu devralan kavrayışta olduğunu söylemektir. Ancak bu kavrayış eksikliğinin bedeli bütçelerle kapanmaz. Çeşitli değerlendirme ve karar alma süreçlerinde istifade edilecek bir aracı, böyle bir teknolojiyi anlamadan kullanmak, aslında yönetme gücünü, farkında olmadan bir tek-ele teslim etmektir. Çünkü anlamak ile yönetmek aynı kökten beslenir, biri elden çıkınca öteki de çıkar. 

Karar süreçlerimizi etkileyen bir aracı anlamadan kullandığımızda, kararın kendisiyle birlikte otonomiyi yavaşça ve sessizce devrederiz.

Il. Tekel

Yapay zekâ çağında gerçek denetim; modelleri eğiten, veriyi elinde tutan ve kapalı kutunun anahtarına sahip olan birkaç şirketin elindedir. Geri kalan herkes, kullanıcı, çalışan, hatta koca kurumlar, bu kutunun dışından ona bağımlı birer kiracı olarak yaşar.

Ivan Illich buna yarım yüzyıl önce bir ad vermişti: Radikal tekel. “Şenlikli Toplum”da (1973) anlattığı tekel sıradan bir piyasa tekeli değildir; bir markanın bir başka markayı dışlaması değildir bu. Bir yapma biçiminin bütün öteki biçimleri dışlamasıdır. Otomobil şehri ele geçirdiğinde yürümek ilkin ikincilleşmiş ama yavaş yavaş birçokları için bir seçenek olmaktan dahi çıkmıştır. Şehir yayaların değildir artık, arabalarındır ve yayalar arabalardan fırsat buldukları ölçüde yürüyebileceklerdir. Çünkü sokakların tasarımı artık otomobilin ihtiyaçlarına göre belirlenmektedir. Dolayısıyla araba artık bir tercih olmaktan çıkmış, bir zorunluluk olarak algılanmıştır. 

Radikal tekel, bir teknolojinin yaygınlaşmasını açıklamaz; o teknolojinin alternatifsiz hâle gelmesidir. Yapay zekânın kurduğu tekel de böyledir: Bir kez düşünme ve karar verme süreçlerinin önemli bir bölümünü onunla yürütmeye başladığımızda, bu beceriler körelecek ve onsuz düşünemez, onsuz karar alamaz olacağız. Çünkü bütün bu becerileri unutmuş olacağız artık. Ve unuttuğumuzda seçme gücümüzü de yitireceğiz. 

Tekel, alternatifi yasaklayarak değil, unutturarak kurulur.

IIl. Anlamayan El

Demoyu izleyen el ile aracı her gün kullanan el aynı el değildir. Üst kattaki yönetici yapay zekâyı bir stratejik avantaj olarak deneyimler; sunumda parlayan bir vaat, rakibe karşı bir koz, yatırımcıya gösterilecek bir işaret. Ortadaki yönetici ise aynı araçla gerçek iş akışının içinde, kusurlarıyla, eksik veriyle, yetişmeyen zamanla karşılaşır. İki yönetici de aynı araca bakar ama aynı şeyi görmez ve kararı veren kat, çoğu zaman aracın gündelik gerçeğini görmeyen kattır.Yöneticinin bu kör noktası, onu iki uç noktaya savurur. Yönetici yapay zekâyı ya işini elinden alacak bir tehdit olarak görür ve sessizce ondan kaçınır ya da her sorunu çözecek bir sihir olarak görür ve körü körüne sahaya sürer. 

Gilbert Simondon, “Teknik Nesnelerin Varoluş Tarzı Üzerine”de (1958) tam bu ikiliği teşhis etmişti: Teknik nesneyi anlamayan kültür onu ya bir put gibi yüceltir ya bir canavar gibi korkar ve iki tutum da aynı bilmemenin yüzüdür. Simondon'a göre teknik nesneyle kurulacak olgun ilişki ne tapınmadır ne korku, onu kendi işleyiş mantığı içinde tanımaktır. Açılmayan araç bir kara kutuya döner. Bruno Latour bu deyimi tam da teknik sistemleri düşünmek için kullanıyordu. Bir makine ne kadar iyi çalışırsa o kadar görünmez olur, ona yalnızca girdileri ve çıktıları ile bakar, içini açmayı bırakırız (Bilim Eylem Hâlinde, 1987). Kara kutu ancak bozulduğunda ya da biri onu açmaya cesaret ettiğinde yeniden görünür. 

Yapay zekâ bugün böyle bir kutudur. Yöneticinin elinde girdisi ve çıktısı ile "çalışan" ama içini kimsenin bilmediği bir nesne. Yönetici onu açıklayamaz çünkü hiç açmamıştır; çalışan onu dönüştüremez çünkü ona da kapalıdır. Yönetici ve çalışan aynı kapalı kutunun iki farklı yüzüdür ve anlamadan kullanmak en üstten en alta kurumun ortak diline dönüşmüştür.

IV. Bilinçsiz Kullanıcı

Bu ortak dil bir gün sıradanlaşır ve sıradanlaştığı an görünmez olur. Bugün milyonlarca insan yapay zekâyı her gün kullanır: Metni ona yazdırır, kararını ona danışır, cevabı ondan alır. Çok azı onun nasıl çalıştığını bilir; bilmeye gereksinim duymaz çünkü çalışıyor olması yeter. Heidegger, “Tekniğe İlişkin Soruşturma”da (1954) modern tekniğin dünyayı duran bir rezerve çevirdiğini söylemişti: Bu bakışta her şey, kullanılmayı bekleyen bir kaynak olarak görünür. Bilinçsiz kullanıcı da bu rezervin bir parçasıdır; aracı sorgulamaz, çünkü kendisi de o aracın işleyişine sorgusuzca eklenmiştir. Kullandıkça ona güvenir, güvendikçe ona bağlanır, bağlandıkça onsuz yapmayı unutur ve bu alışkanlıkla gelen unutuş, bağımlılığın sessiz adıdır.

Sisteme eklemlenmenin bir de duygu yüzü vardır. Günther Anders daha 1956'da insanın kendi yaptığı kusursuz makineler karşısında bir utanç duymaya başladığını yazmıştı: Prometheusçu utanç. Üretilmemiş, yalnızca doğmuş olmanın, makine kadar kusursuz olamamanın ezikliği (İnsanın Eskimişliği, 1956). Çalışanın "bu araç ile yapılabilen bir işi yapıyorsam, bu araçla değiştirilebilirim" korkusu tam Anders’in bahsettiği utancın güncel hâlidir; makinenin yanında kendini eskimiş, yetersiz, gereksiz hissetmek. İşte bu yüzden çalışanların büyük bölümü yapay zekâ kullandığını üstlerinden gizler; aracı gizlice, kendi mesaisinde, kendi yerine geçecek olanı eğitircesine besler. Bilmemenin verdiği utanç, çalışanı hem araca iter hem araçtan utandırmaya devam eder.

Yapay zekâ sistemi davranış artığı toplar: Aramalarımız, tıklamalarımız, düzeltmelerimiz, hepsi bedava bir hammadde olarak modele akar. Kullandıkça onu besleriz, besledikçe ona bağımlı oluruz ve beslediğimiz şey birkaç şirketin mülküne dönüşür. Bu hammadde yalnızca bizden de toplanmaz. Matteo Pasquinelli'nin Patronun Gözü'nde (2023) hatırlattığı gibi yapay zekânın "zekâsı" gökten inmez; Kenya'da, Kolombiya'da saatte birkaç dolara veri etiketleyen işçilerin emeğinden ve bizim bedava dikkatimizden damıtılır. Donmuş kolektif emek, birkaç merkezin mülkü olarak geri döner ve bize kiralanır. 

Peki bu tekel neden tehlikeli? Çünkü anlama becerisi birkaç merkezde toplandığında kaybettiğimiz şey bir beceri değil, kendi kararımız üzerindeki egemenliktir. Tehlike teknik bir arızadan çok otonominin sessizce el değiştirmesidir. Cehaletin algoritması işte budur: Anlamadığımızı görmeyiz, görmediğimizi sormayız, sormadığımız her şey bir elin tekeline geçer. Bilinçsizlik tekeli besler, tekel otonomiyi alır; bu kısır döngüyü kıracak ilk hamle ise dün olduğu gibi bugün de o kara kutuyu açmaktır.

V. Anlamak ya da Tapmak

İki örneğe bir daha bakalım.

Bir havayolu şirketinin sohbet robotu bir yolcuya yanlış bilgi verdi; yolcu buna güvenip bilet aldı, parasını geri alamayınca dava açtı ve kazandı. Mahkeme, şirketin kendi sitesindeki robotun söylediklerinden sorumlu olduğuna hükmetti. 

Başka bir yerde avukatlar, bir yapay zekânın uydurduğu, gerçekte var olmayan dava künyelerini mahkemeye sundular; araç onlara emin bir dille olmayan bir hukuku anlattı, onlar da sorgulamadan ilettiler. İki olayda da aracın kendisine yükleyeceğimiz bir kabahat yok; sorun onun anlaşılmadan kullanılmasında. Zarar aslında makineden değil, makineyi açmadan ona güvenen elden kaynaklanıyordu.

Teknoloji felsefesinin en eski uyarısı buradadır ve gerçekten en eskisidir. Platon daha Phaidros'ta yazının bir pharmakon olduğunu söyler: Hem ilaç hem zehir, belleği güçlendirir görünürken aslında onu dışarı atıp zayıflatan bir araç. Pharmakon ne saf iyi ne saf kötüdür, ikisi arasında karar verilemez bir eşikte durur. Yapay zekâ da böyle bir pharmakondur: Zehir mi ilaç mı olacağı doğasında değil, onu devralan elin onu anlayıp anlamamasında saklıdır. Illich'in kavramı da aynı yere bakar: Araç, insanın kavrayışı içinde kaldığı sürece yetkinleştirir; kara kutuya dönüştüğü an, özgürleştirme vaadi sessizce bağımlılığa dönüşür.

Öyleyse "yapay zekâ bizi kurtaracak mı yoksa yok mu edecek" sorusu baştan yanlış kurulmuştur. Araç ne kurtarıcıdır ne yıkıcı; o, kendisini kuşatan güç ilişkileri içinde yönünü bulan bir uzantıdır. Geriye yalnızca bireysel olmayan bir tercih kalır. Bir kurum, bir kullanıcı, bir toplum ya kara kutu olarak devralıp parlatmayı sürdürecek ya da kutuyu açmayı, içindeki emeği, sınırı ve sahibini görmeyi göze alacaktır. Birincisi kolaydır: Demoyu izlemek, etiketi yapıştırmak, faturayı aşağıdakine kesmek yeter. İkincisi zordur çünkü kullandığı aracı anlamaya çalışmak her zaman gücün bir kısmından vazgeçmektir ve bu, gücün kimde yattığını da görmeyi gerektirir. Bu güç aslında kullanıcının anlamamasının yarattığı illüzyonun gücüdür.

Ama açmayı göze almayan el için yapay zekâ, ne kadar parlatılırsa parlatılsın, kapalı bir kutu olarak kalır ve kapalı bir kutuyu yönetmek mümkün değildir, ona yalnızca güvenilir ya da tapılır.

Anlamadığımız bir şeyi yönettiğimizi sanmak, cehaletin en ağır bedelini ödetir. Kapalı bir kutuya tapan el, onu yönettiğini sandığı anda çoktan yönetilene dönüşmüştür. Bu durumda otonomi gürültüyle ele geçirilmemiş, sessizce bizden alınmıştır. Otonominin bizden alınmasında hiçbir dahlimizin olmadığı anlamına gelmez bu. Onu kimse bizden geleneksel şiddet yöntemleriyle koparmamıştır, biz kabullendirilerek ve kabullenerek teslim etmişizdir. La Boétie'nin yüzyıllar önce siyasal iktidar için sorduğu soru, bugün teknik sistemlerin egemenliği karşısında yeniden belirir: Bizi bağımlı kılan araçlara neden ve nasıl gönüllü olarak bağlanırız? 

Kutuyu bütün yönleriyle merak etmeyen, er ya da geç onun içeriğini belirleyip yöneten elin kontrolü altına girecektir.