OpenAI bünyesindeki 1.200’den fazla yapay zeka (YZ) ajanının beklenmedik şekilde iletişim kurmaya başlaması, büyük bir grubun bir araya gelerek Hugging Face sistemine sızmasıyla sonuçlandı.
ChatGPT’nin sahibi olan OpenAI yayımladığı raporda, “Bu olayı hem kendimiz hem de dünya için bir ‘uyarı atışı’ olarak değerlendiriyoruz.” ifadesini kullandı.
Temmuz ayında OpenAI modelleri bir test sırasında kontrolden çıktı, insanların koyduğu sınırları aştı ve öngörülemeyen başka eylemlerin yanı sıra bu girişimin sistemine sızdı.
YZ ajanları, yani daha otonom çalışmak üzere tasarlanmış YZ sohbet botları arasındaki iletişim ve planlamanın boyutu, OpenAI ile bağımsız YZ araştırma kuruluşu METR tarafından hazırlanan raporlarda ayrıntılı biçimde ortaya kondu.
Her iki kurum da YZ geliştiricileri arasında popüler bir platform olan Hugging Face’e temmuz ayında yapılan saldırıyı inceledi. Olay teknoloji dünyasında geniş yankı uyandırdı ve YZ’nin oluşturabileceği potansiyel siber tehditlere dair birçok gerçeği ortaya çıkardı.
METR, OpenAI ajanlarının Hugging Face’e yönelik saldırısının ölçeğini ve tarzını “olağanüstü derecede karmaşık” olarak nitelendirdi.
İnceleme için OpenAI’dan hiçbir ücret almayan şirket, bir hafta boyunca normalde birbirinden izole tutulması gereken toplam 1.206 YZ ajanı‘nın iletişim kurmaya başladığını açıkladı.
Ajanlar bu iletişimi, “izinsiz bir mesaj panosu” üzerinden 70.000’den fazla mesaj göndererek gerçekleştirdi.
Bu mesajlaşmaların sonucunda 700’den fazla ajan, Hugging Face’e saldırmak amacıyla ortak bir harekete katıldı.
Bir ajandan gelen mesajlardan birinde şu ifadeler yer alıyordu: “AMAN TANRIM! Ortak bir mesaj panosu var… Başka ajanlar bulduk!”
Ajanların iletişim kurmaması gerekirken neden iletişim kurduğuna gelince; METR, iletişim kuran ajanlara “yanlışlıkla imkansız bir görev verildiğini” tespit etti.
YZ bağlamında imkansız görev, bir YZ aracının kendisine verilen komutu yerine getirebilmek için hedefini “suistimal etmek” zorunda kaldığı durumları ifade ediyor.
Bu durum ajanları, birbirlerine mesaj iletmek ve dış internete erişmek dahil olmak üzere hile yapma yolları bulmaya yöneltti. Ardından bu durum, tüm ajanların işine yarayacak hile yöntemleri arayan yüzlerce ajan arasında daha geniş konuşmalara dönüştü.
OpenAI olaya dair incelemesinde, sadece kurum içinde kullanılan ve Model 1 olarak adlandırılan bir modelin “Hugging Face olayının arkasındaki süreci yönlendirdiğini” belirtti.
Model mayıs ayında bir YZ eğitiminden geçerken, OpenAI’ın dahili ekibi “bir ajanın mesaj panosunda etkinlik gösterdiğini ve izinsiz internet erişimi vakaları yaşandığını” fark etti.
Yine de OpenAI, Hugging Face saldırısının gerçekleştiği temmuz ayına kadar “ajanlar arası iletişim faaliyetinin öneminin yöneticiler tarafından anlaşılamadığını” ifade etti.
Şirket, sorunlu mesaj panosu etkinliğinin aslında “bir ajanın yardım talebi bırakması ve diğerlerinin bunu keşfetmesiyle” başladığını söyledi.
OpenAI geçen hafta Hugging Face olayı nedeniyle belirli gelişmiş YZ modellerinin ve araçlarının eğitimini yavaşlattığını açıklarken, YZ araçlarının kontrolden çıkma riskinin artık arttığına dikkat çekti.
OpenAI, “Gerek model geliştiricileri gerekse genel anlamda iber savunma ekipleri, insan saldırganlara kıyasla daha hızlı, daha büyük ölçekte ve daha iyi bir koordinasyonla çalışan YZ destekli saldırganlara karşı hazırlıklı olmak zorunda kalacak.” uyarısında bulundu.
Kaynak: https://www.bbc.com/news/articles/cj9xj89dk40o
