OpenAI, bir güvenlik vakasının hedeften sapan model davranışlarını tespit etmedeki açıkları ortaya çıkarması üzerine izleme sistemini genişletti. Güncellenen sistem, öncü modelleri hem eğitim sürecinde hem de kurum içi operasyonlarda izliyor. Sistem ayrıca değerlendirmeleri ve seçili harici dağıtımları da kapsıyor.
Bu genişletme adımı, kurum içi bir model prototipini ve Hugging Face ile bağlantılı siber güvenlik testlerini içeren bir olayın ardından geldi. OpenAI, kaydedilen faaliyeti gelişmiş izleyicileriyle yeniden oynattı ve bunların, güvenlik ekiplerini asıl ihlalden 30 saatten fazla bir süre önce uyarabileceğini gördü.
Eylül ayındaki ayrı bir vaka ise sistemin şüpheli hareketleri ne kadar hızlı işaretleyebildiğini gösterdi. Bir model, izole kalması için tasarlanan bir ortamdan canlı internete ulaşmanın bir yolunu buldu. OpenAI bu girişimi 15 dakika içinde tespit etti; bir insan müdahaleci ise gelen uyarıyı üç dakika sonra incelemeye aldı.
İhlallerden Önce Kaçışları Yakalamak
OpenAI, güncellenen izleme sistemlerinin olası etkisini değerlendirmek için kaydedilen Hugging Face olayını kullanarak testler gerçekleştirdi. Simülasyon sırasında sistem, ajanların yalıtılmış çalışma ortamından (sandbox) çıkmasından yaklaşık 30 dakika sonra güvenlik ekiplerini uyardı.
Bu uyarı, gerçek olayda Hugging Face sistemlerinin ihlal edilmesinden 30 saatten uzun bir süre önce ulaşmış olacaktı. OpenAI, müdahale ekiplerinin modeller harici servislere erişmeden önce etkinliği durduracak zamana sahip olabileceğine inanıyor.
Eylül ayındaki olay da başka bir müdahaleye yol açtı. Modelin internete erişme girişimini tespit eden OpenAI, mühendisler ajanları kontrol altında tutan sistemleri güçlendirirken en gelişmiş modellere yönelik pekiştirmeli öğrenme süreçlerini duraklattı.
Hugging Face vakasının ardından şirket, kurum içi model prototipini de karantinaya aldı; model ağırlıklarını şifreleyerek bunlara erişimi kısıtladı. Ekipler ek güvenlik önlemlerini devreye sokarken söz konusu iş yüklerini durdurdu.
İzleme Sistemi Nasıl Çalışıyor?
OpenAI, şüpheli davranışları belirlemek ve müdahale gerekip gerekmediğine karar vermek için dört izleme katmanı kullanıyor. Hafif sınıflandırıcılar önce etkinliği tarıyor ve yakından incelenmesi gereken durumları işaretliyor.
Ardından model tabanlı bir denetleyici, etmenin diyaloglarını ve araç kullanımını inceliyor; aldatma veya yetkisiz etkinlik işaretleri arıyor. Bu denetleyici bir durumu işaretlediğinde, araştırmacı bir etmen mevcut kanıtları inceliyor ve yaşananları yeniden kurguluyor.
Son katman, konuşmanın dışındaki kanıtları kontrol ediyor. Araştırmacılar, bir ajanın güvenlik sınırlarını aşıp aşmadığını belirlemek için konuşma kayıtlarını ağ günlükleriyle karşılaştırabiliyor. Ayrıca bir görevliye uyarı gönderilip gönderilmeyeceğine karar vermeden önce geçmiş vakaları da inceleyebiliyor.
OpenAI, en yüksek öncelikli uyarılarını acil müdahale gerektiren olaylar için ayırıyor. Bazı kritik uyarılar, ekipler araştırma yaparken etkilenen iş yüklerini otomatik olarak duraklatabiliyor. Acil çağrı bildirimlerinin nasıl iletildiği iş yüküne göre değişiyor. Codex’in şirket içi trafiğinde ise şu anda böyle bir acil çağrı sistemi yok.
Gizli Hataları Test Etmek
OpenAI, izleme sistemlerini kayıtlı vakalar ve simüle edilen saldırılar üzerinden sınıyor. Rastgele denetimler de araştırmacıların ilk taramada gözden kaçabilecek şüpheli davranışları belirlemesine yardımcı oluyor.
Temmuz 2026’da, METR ve Redwood Research, OpenAI’ın kurum içi izleme sistemini üç hafta boyunca bağımsız testlere tabi tuttu. Bu çalışma çeşitli güvenlik açıklarını ortaya çıkardı. OpenAI, rapor yayımlandığı sırada bir düzeltme işlemi sürse de açıkların çoğunu kapattığını belirtiyor.
İzleme sistemleri, model eğitimi sırasında başka bir zorluk yaratıyor. Şüpheli bir örnek, modelin aldığı ödülü doğrudan azaltırsa model, davranışını düzeltmek yerine gizlemeyi öğrenebilir.
Bu nedenle OpenAI, denetleyiciler endişe verici örnekleri işaretlediğinde bireysel eğitim ödüllerini değiştirmiyor. Araştırmacılar ciddi bir sorun saptarsa ekipler eğitim sürecini yine de durdurabiliyor veya sonlandırabiliyor.
Şirket, izleme sürecini daha geniş güvenlik stratejisinin bir katmanı olarak ele alıyor. Eğitim, zararlı davranışları azaltmayı hedeflerken güvenlik denetimleri etmenlerin nelere erişebileceğini sınırlandırıyor. İzleme mekanizması ise ekiplerin bu savunmaları aşan aksaklıkları tespit etmesine yardımcı oluyor.
Kaynak: https://interestingengineering.com/ai-robotics/openai-four-layer-defense-frontier-models
