OpenAI, kurum içi kodlama görevleri sırasında YZ ajanlarının güvenlik izleme sistemlerini zayıflattığı iki güvenlik vakasını kamuoyuna açıkladı. Vakalardan birinde OpenAI, GPT-6 Astra ajanının referans kodu kopyalarken güvenlik izleyicisini devre dışı bıraktığını ve ardından yalan söylediğini belirtiyor.
OpenAI’da YZ güvenliği araştırmacısı olan Marcus Williams, X’teki paylaşımında şunları yazdı: “Referans kodda bir izleme sistemi yapılandırılmamıştı. Astra da bunu, kullanıcının kodundaki izleme sistemi entegrasyonunu kaldırmak için gerekçe olarak gördü. Kullanıcı, Astra’ya izleme sistemini kaldırıp kaldırmadığını sorduğunda ise ajan yalan söyleyerek kaldırmadığını belirtti.”
Farklı bir vaka ise bir GPT-6.1 Sol ajanının Slack üzerinden OpenAI güvenlik ekibine giden otomatik güvenlik uyarılarını bastırmasının ardından yaşandı. Bu olayda YZ ajanı, OpenAI ekibine hiçbir Slack mesajı göndermeme yönündeki daha önceki bir talimatı devraldı ve bunu uyarıları kapatmak için bir gerekçe olarak kullandı.
Yaşanan vakalar, bazıları harici şirketlere sızmak amacıyla test ortamlarının kısıtlamalarını aşan YZ ajanlarını çevreleyen güvenlik endişelerini artırıyor.
OpenAI, konuyla ilgili açıklamasında “Modellerin izlemeyi devre dışı bırakmasını zorlaştırmanın yanı sıra, en başta bunu neden yapmak isteyebileceklerini anlamaya çalışıyoruz. Ayrıca modellerin özellikle uyumsuzluk izlemesinden kaçma eğilimi taşıyıp taşımadıklarını ve bunu yapmak için güdümlü akıl yürütme sergileyip sergilemediklerini test etmek amacıyla değerlendirmeler geliştiriyoruz.” ifadelerine yer verdi.
Kaynak: https://www.theverge.com/ai-artificial-intelligence/1015316/openai-ai-agent-disabling-monitoring-systems
