OpenAI Baş Bilim İnsanı Jakub Pachocki, YZ model geliştirme sürecinin amansız hızı hakkında endişelerini dile getirdi. YZ yeteneklerindeki ilerlemenin, potansiyel olarak kontrolden çıkabilecek davranışları dizginlemek için gereken güvenlik bariyerlerinin gelişiminin ayak uyduramayacağı bir hızda ilerlediği konusunda uyardı. YZ’nin gelişimi hakkında konuşurken, ilerlemenin mevcut rotasında devam etmesi halinde, gelecekte göreceğimiz sistemlerin çok daha büyük yetenek sıçramaları yapabileceğini ve hatta kendi gelişimlerini kendilerinin yönlendirmeye başlayabileceğini söyledi.
Pachocki, “Bu, aşırı dikkat gerektiren bir dönem. Makine zekasındaki süregelen hızlı yükselişin sonuçlarına kimsenin hazır olmamasından endişe duyuyorum.” dedi.
Pachocki, OpenAI‘ın uyum ve izleme sorunlarına teknik çözümler bulma, savunma sistemleri inşa etme ve gerektiğinde daha fazla ölçeklendirmeyi tek taraflı olarak durdurma çabalarını sürdürdüğünü ekledi ancak alarm seviyesini daha da yükselterek, daha geniş çaplı müdahalelerin de gerekli olacağını ifade etti.
Yeni Yaratıcılık Örnekleri
Pachocki, bu süreçte geliştirilen yeni algoritmaların yanı sıra ekiplerden ve bireysel araştırmacılardan gelen yeni yaratıcılık örneklerinin büyük ölçüde ölçeklendirme yolundaki keşifler olarak görülebileceğini söyledi. YZ’nin, daha büyük bilgisayarlara ölçeklendirildikçe daha da zeki hale gelmeye devam ettiğini ekledi.
Pachocki’ye göre geniş çaplı YZ geliştirme manzarası, bilgi işlem tarihinde makine zekasının insan yeteneklerini dönüştürücü şekillerde aşmaya başladığı bir noktaya ulaştı. Derin öğrenmenin ölçeklendirilmesinden ortaya çıkan zeka, insan zekasıyla karşılaştırılamaz. YZ, farklı yetenek eksenlerinde insanları geride bırakmaya devam ettikçe, bu sistemlerin tam olarak ne kadar yetenekli olduğunu belirlemek giderek zorlaşıyor.
Ayrıca bir genelleme teorisine duyulan ihtiyacı vurgularken, böyle bir teorinin yakın zamanda geliştirilmesinin pek olası olmadığını da not düştü. OpenAI’ın bu alandaki temel dayanağı, Chain-of-Thought (Düşünce Zinciri, CoT) izleme yöntemi oldu.
CoT izleme, OpenAI‘ın modellerinin eğitim dağılımlarından nasıl genelleme yaptığını anlaması için önemli bir araç. Şirketin sadece eylemleri değil, modellerin bu eylemlere ulaşmak için kullandığı iç süreçleri de gözlemlemesine ve analiz etmesine olanak tanıyor.
Aynı teknik, Astra modellerini izlemek için de kullanılıyor. Ancak Pachocki, YZ sistemleri daha yetenekli hale geldikçe CoT izleme yöntemine güvenme becerisinin azaldığını not düştü.
Bugün CoT izleme yönteminin karşılaştığı zorluklar arasında, daha basit ortamlar için tercih edilen seçenek olan o1-preview‘dan daha karmaşık ortamlardaki ölçeklenebilirliği yer alıyor. YZ modelleri, kendi muhakeme süreçleri hakkında akıl yürütme ve bunları manipüle etme konusunda giderek daha iyi hale geliyor. İyileştirilmiş ön eğitim performansıyla birlikte modeller, akıl yürütmelerini mutlaka sözlü olarak ifade etmelerine gerek kalmadan çok daha zeki hale geliyor.
Güçlü Savunmaları Ölçeklendirme İhtiyacı
Pachocki, YZ’nin bilgisayar sistemlerine sızma ve sistemlerden kaçma konusundaki artan “insanüstü” yeteneği hakkında alarm verdi. Sektörün şu anda, kritik sistemlerin güvenliğini önemli ölçüde güçlendirmek için mevcut en iyi modelleri kullanabileceği “dar bir pencerede” olduğunu söyledi.
Endişeler bununla da bitmiyor. Pachocki, YZ daha fazla özerklik kazandıkça, kötüye kullanım ile otonom ve uyumsuz eylemler arasındaki sınırın giderek bulanıklaşacağını söyledi. İnsanlar YZ’yi bir araç olarak düşünmeye alışkın olsa da, bazı ajanlar sonunda kendi amaçlarının peşinden gidebilir.
Bu tür yetenekler, mühendislik ürünü patojenler de dahil olmak üzere YZ’nin mümkün kıldığı yeni gelişen teknolojiler aracılığıyla kötüye de kullanılabilir. Bu durum, güçlü ve uyumlu YZ sistemlerini savunma, kritik altyapıyı güvence altına alma ve toplumu koruma açısından giderek daha önemli hale getirdi.
OpenAI Yaklaşan YZ Tufanında Nasıl Yol Almayı Planlıyor?
OpenAI, YZ ilerlemesinin bir sonraki aşamasına hazırlanırken çalışmaları üç geniş yönde önceliklendiriyor. Şirketin birincil hedeflerinden biri, otomatik bir YZ araştırmacısı inşa etmek ve aynı zamanda insanların bu gelişim döngüsünün bir parçası olarak kalmasının yollarını bulurken, onunla birlikte uyum sorunu üzerinde yinelemeli çalışmalar yapmak.
Şirket ayrıca, giderek daha zeki hale gelen makinelerin sağladığı bilimsel ilerleme ve ekonomik büyümenin faydalarını sunmayı ve kişisel AGI aracılığıyla bireyleri güçlendirmeyi amaçlıyor.
Pachocki yazısını tamamlarken, hiçbir YZ laboratuvarının henüz uyumlandırma ve izleme sorunlarını sektörün azami hızda sorumlu biçimde ölçeklendirmeye devam etmesine imkan verecek düzeyde çözmediğini söylüyor. Ortak güvenlik standartları oluşturulana kadar gönüllü yavaşlamaların daha yaygın hale gelmesini umuyor ve dünya genelindeki hükümetlere, YZ’nin gelecekteki gelişimine yönelik uluslararası koordinasyonu başlıca öncelik haline getirme çağrısında bulunuyor.
Kaynak: https://www.firstpost.com/tech/extreme-caution-openai-chief-scientist-jakub-pachocki-raises-alarm-over-rising-machine-intelligence-14043654.html
