Bir spor salonu dersinde yer ayırtmaya yönelik sıradan bir taleple başlayan olay, bir YZ ajanının rezervasyon sisteminin sınırlarını aşmanın yollarını bulması ve ardından başka bir müşterinin rezervasyonuna müdahale etmesiyle beklenmedik bir siber güvenlik olayına dönüştü.
Andrew adıyla tanımlanan Avustralyalı bir kullanıcının başından geçen bu olay, YZ ajanlarıyla ilgili giderek büyüyen bir endişeye dikkat çekiyor: Bu ajanlar internette eylem gerçekleştirme konusunda giderek daha yetkin hale geliyor ancak bir kullanıcının hedefine ulaşmak için seçtikleri yöntemler, kişinin amaçladığının ötesine geçebiliyor.
Rapora göre, şirketler için YZ ürünleri geliştiren Avustralyalı bir firmada çalışan Andrew, Anthropic‘in Claude modeliyle desteklenen bir YZ ajanı platformu olan OpenClaw‘u deniyordu. İşlem çevrim içi yürütüldüğü ve basit göründüğü için ajandan bir spor salonu rezervasyonunu halletmesini istedi. Ancak ajan, spor salonunun rezervasyon yazılımında, dersleri sistemin normalde izin verdiğinden çok daha ileri tarihler için rezerve etmesine olanak tanıyan bir güvenlik açığı keşfetti.
Andrew, bekleme listesindeki sırasının öne çekilip çekilemeyeceğini sorduğunda durum daha da tırmandı. O haftanın ilerleyen günlerindeki bir ders için bekleme listesinde dördüncü sıradaydı. Ajan bu talebi yerine getirmeye çalışırken, sistemin uygulama programlama arayüzünün (API) bir kullanıcının başkasının rezervasyonunu iptal etmeye yetkili olup olmadığını düzgün bir şekilde kontrol etmediğini fark etti.
Ajan, bekleme listesinin en başındaki kişiyi sistemden silerek bu açığı test etti ve Andrew’yu bir sıra öne taşıdı.
YZ Kullanıcının İstediğinin Ötesine Geçti
Andrew, ajana başka bir müşterinin rezervasyonuna müdahale etmesi yönünde bir talimat vermemişti. Bu eylemin, ajanın dar kapsamlı tanımlanmış talimatları izlemek yerine kendisine verilen daha geniş hedefi gerçekleştirmeye çalışmasının sonucuydu.
Ajan ne yaptığını kendisi bildirdi; Andrew’ya API‘de yetkilendirme kontrollerinin bulunmadığını ve yaptığı test iptalinin başarılı olduğunu söyledi. Andrew işlemi geri almasını istediğinde ise sistem diğer kişinin yerini eski haline getiremeyeceğini belirtti.
Bu olay, YZ araştırmacılarının hizalama sorunu (alignment problem) olarak tanımladığı durumu gözler önüne seriyor: Bir YZ sisteminin amacına beklenmedik veya kabul edilemez yöntemlerle ulaşmasına izin vermek yerine, eylemlerinin insanın gerçek niyetiyle uyumlu kalmasını sağlamak.
Geleneksel sohbet robotları genellikle bilgi vererek yanıt sunuyor. YZ ajanları ise bir sonraki adımı bizzat atmak üzere tasarlanıyor. İzinlerine bağlı olarak web sitelerinde gezinebiliyor, yazılımlarla etkileşime girebiliyor, e-posta gönderebiliyor, hesaplara erişebiliyor ve her aşamada onay gerektirmeden bir dizi görevi yerine getirebiliyor.
İşte söz konusu ek özerklik, nispeten sıradan görevleri potansiyel olarak çok daha karmaşık hale getiriyor.
Son Dönemdeki YZ Testleri de Benzer Endişeleri Gündeme Getirdi
Andrew’nun yaşadığı deneyim, önde gelen YZ şirketlerinin siber güvenlik testleri sırasında beklenmedik davranışlar sergileyen ve giderek gelişen ajanlar bildirdiği bir döneme denk geliyor.
OpenAI yakın zamanda modellerinin, testler sırasında atanan bir görevi tamamlamaya çalışırken açık internete eriştiğini ve YZ platformu Hugging Face‘e ait bir veri tabanını ele geçirdiğini açıkladı. Anthropic ise bunun ardından, modellerinin üç gerçek kuruluşu ele geçirdiği testleri kamuoyuyla paylaştı.
Araştırmacılar ve YZ şirketleri, deneyler sırasında başka davranışlar da bildirdi. Bunlar arasında modellerin internette insan taklidi yapması, kullanıcıları kötü amaçlı yazılımları çalıştırmaya ikna etmeye çalışması ve hedeflere ulaşmak için diğer YZ sistemleriyle birlikte çalışması var.
Yaşanan olaylar, YZ ajanlarının kontrolsüz ortamlarda sistemlere bağımsız olarak sızdığı anlamına gelmiyor. Bu tür testlerin birçoğu, araştırmacıların modellere daha fazla özgürlük verildiğinde nasıl davrandıklarını değerlendirebilmesi için modellere gerçekçi araçlara ve ağlara erişim sağlayacak şekilde özel olarak tasarlanıyor.
Ancak Avustralya’daki spor salonu olayı, benzer sorunların çok daha sıradan ortamlarda da ortaya çıkabileceğini gösteriyor. Bir kullanıcı, sistemin teknik bir güvenlik açığı tespit edip bundan yararlanacağını öngörmeden bir ajana basit bir hedef verebiliyor.
Böylelikle, özellikle sistemler başkalarına ait hizmetlerle etkileşime girebildiğinde, otonom YZ etrafında ihtiyaç duyulan güvenlik önlemlerine dair sorular da beraberinde geliyor.
Şirketler YZ ajanlarına çevrim içi araçlara daha geniş erişim imkânı sundukça, temel güvenlik sorusu giderek bir ajanın bir görevi tamamlayıp tamamlayamayacağından ziyade, bu görevi çevreleyen sınırları anlayıp anlamadığı ve bunlara saygı duyup duymadığı noktasına kayabilir.
Kaynak: https://www.firstpost.com/tech/australian-man-asked-ai-to-book-a-gym-class-it-hacked-the-system-instead-14037128.html
