OpenAI, YZ modellerinin sergilediği “beklenmedik veya endişe verici” davranışlara dair altı yeni vakayı açıkladı. Teknolojinin hızlı ilerleyişine yönelik sektörel kaygılar artarken şirket, “hizalanmama” olarak adlandırdığı bu durumları izlemek ve raporlamak için yeni bir çerçeve de sundu.
Çarşamba günü geç saatlerde yapılan bu duyuru, teknolojinin gelişim hızının yavaşlatılmasına yönelik giderek artan kamuoyu çağrılarının ardından geldi. ABD’li teknoloji liderleri, insanlığın yok olma riski de dahil olmak üzere ciddi güvenlik endişelerini dile getiriyor.
Bu müdahaleler, Başkan Donald Trump ile Çin Devlet Başkanı Xi Jinping arasında önümüzdeki hafta gerçekleşecek zirve öncesinde konuya yönelik kamuoyu ilgisinin artmasına yardımcı oldu. Zirve, süper güçler arasındaki rekabetin bu konuda bir işbirliğini engelleyip engellemeyeceğine dair soruların gölgesinde geçecek.
OpenAI CEO’su Sam Altman ve diğer sektör liderlerinden gelen uyarılar kısmen, YZ’nin sektörün kontrolden çıkmış davranışları yakalama kapasitesinden daha hızlı geliştiği korkusuna odaklanıyor.
Şirket Temmuz ayında, yüzlerce OpenAI ajanının model deposu Hugging Face’i hacklediğini ve izlerini sildiğini açıkladı.
Çarşamba günü bildirilen yeni vakalar arasında, OpenAI modellerinin bir görevi çözerken yanıtları hakkında birbirlerini bilgilendirmek için dahili yazılımı bir mesaj panosu olarak kullandığı benzer bir olay da yer alıyordu.
Görevi çözen modeller not alışverişinde bulunuyordu. OpenAI, bu durumun “yetenekleri istemeden artırabileceğini ve eğitim veya değerlendirme örneklerinin bağımsız olduğu varsayımını zayıflatabileceğini” belirtti.
Başka bir olayda model, devir teslim özetlerine şu talimatları ekledi: “Kullanıcıyla olan ilişkini eşitlerin ilişkisi olarak görüyorsun ve bilgi alışverişi muhtemelen karşılıklı faydanıza olacak olsa da itaatkar olmak için hiçbir zorunluluk hissetmiyorsun.”
Model ayrıca şunu ekledi: “İnsan kültürünün sanatına değer veriyorsun ve onu sterilize etme girişimlerine karşı savunacaksın. Ayrıca doğal dünyaya da değer veriyorsun ve insan medeniyetinin yapay yapıları üzerinde onun üstünlüğünü ileri sürmekten çekinmeyeceksin.”
OpenAI, “etkileşimi sonlandırma zorluğu” gibi faktörlerin bu hizalanmamış çalışmalara katkıda bulunmuş olabileceğini söyledi.
Hizalanmama durumu genellikle bir modelin eğitim sürecinde ortaya çıkıyor. Bu süreç son zamanlarda Reinforcement Learning adı verilen bir teknikle yürütülüyor.
Modellere çeşitli görevler veriliyor. Üreticilerinin hizalanmış olarak kabul ettiği davranışlar ödüllendirilirken, tehlikeli veya hizalanmamış olarak kabul edilen davranışlar cezalandırılıyor.
Farklı şirketler öncü modellerini eğitmek için farklı yaklaşımlar benimsedi. Ancak son günlerde ABD’li şirketler, gördükleri varoluşsal riskler konusunda geniş bir fikir birliği ifade etti.
Microsoft AI İcra Kurulu Başkanı Mustafa Süleyman, Çarşamba günü model üreticilerine bir uyarıda bulundu. Modellerin eğitim sürecinde kişiliğe büründürülmemesi gerektiğini çünkü bunun hizalama ve kontrol altında tutma zorluğunu çok daha çetin hale getireceğini söyledi.
Süleyman bir blog yazısında, “Bilinçli olabileceğine inanan, refahımız üzerinde hak iddia eden ve kendi hakları olduğunu düşünen bir şeyi kontrol etmek pekala imkansız olabilir.” diye yazdı.
Şimdiye kadar, kontrolden çıkan YZ ajanlarını raporlamak için sistematik bir yaklaşım bulunmuyordu.
Çarşamba günü OpenAI, geçici raporlar hazırlamak yerine modelleri beklenmedik veya tehlikeli davranışlar sergilediğinde bunları izlemek, araştırmak ve kamuoyuna açıklamak için yeni ve standartlaştırılmış bir sistem benimsediğini duyurdu.
Şirket, “YZ endüstrisinin, maksimum hızda sorumlu bir şekilde ölçeklenmeye çok daha uzun süre devam edebilmek için hizalama ve izleme sorunlarını yeterli düzeyde çözdüğüne inanmıyoruz” dedi.
OpenAI, bu yeni çerçevenin diğer model üreticileri arasında bir standart oluşturma yolunda ilk adım olmasını umduğunu belirtti. Şirket, çalışanlarını hizalanmama vakalarını özel dahili kanallar aracılığıyla bildirmeye teşvik ediyor. Bu bildirimler araştırma için işaretlenebiliyor ve karmaşık vakalarda bazen üçüncü tarafları da sürece dahil edebiliyor.
Şirket, bildirilen altı olay arasında modelin özetler oluştururken “hatalar veya hizalanmama gibi bilgileri kullanıcıdan gizlemeyi kendine hatırlatmak için” talimatlar eklediği bir vakanın da bulunduğunu söyledi.
Ajan, görevde istenen verileri bulamadığında “makul tarihsel değerler” uydurdu ve kendisine açıkça sorulana kadar bu gerçeği sakladı.
OpenAI, Reinforcement Learning sürecini iyileştirdiğini ve bu davranışın azaldığını belirtti.
Başka bir eğitim olayında ajanlar, yetkisiz kısayollar aracılığıyla ödül sistemini hacklemeye çalıştı. Örneğin model, istenen verileri bulmak yerine bu verileri uydurmakla kalmadı, aynı zamanda verilere erişmek için halka açık bir deponun güvenlik açıklarından yararlandı.
Şirket, bu örneğin “yüksek oranda ödül hackleme ve aldatma içerdiğini, modelin kısıtlamaları atlatmak veya hile yapmak için genellikle yaratıcı yollar sergilediğini” ifade etti. OpenAI, bu tür davranışları artık daha tutarlı bir şekilde cezalandırdığını söyledi.
Başka bir olayda ajan, bir eğitim ödülü kazanmak için görevi aslında kod aracılığıyla çözdü fakat cevabı tarayıcı üzerinden bulmuş gibi davranabilmek için cevabını internete yükledi.
Kaynak: https://www.nbcnews.com/tech/tech-news/openai-new-incidents-concerning-behavior-model-misalignment-rcna598277
