OpenAI, araştırma altyapısı genelinde risk oluşturabilecek YZ model iş yüklerini durdurmak amacıyla “Control Room” adını verdiği merkezi bir kontrol sistemini devreye aldı. Sistem, müdahale kararı alındıktan sonraki 35 saniye içinde model çıktısını tamamen durduracak biçimde tasarlandı.
Bu sistem, modellerin kabiliyetleri geliştikçe ortaya çıkan güvenlik risklerine karşı koruma mekanizmalarını güçlendirmeyi amaçlıyor. Yapı, ajan tabanlı model eğitimi, değerlendirmeler ve veri işleme görevlerini kapsayan araştırma iş yüklerini, çıktı üretmeyi sürdürüp sürdüremeyeceklerini denetleyen merkezi bir servise bağlıyor.
Yalnızca şüpheli davranışları işaretleyen geleneksel izleme sistemlerinin aksine Control Room, bir araştırma iş yükünün ilave model çıktısı almasını aktif olarak engelleyebiliyor. Ayrıca, OpenAI’ın uyumsuz model davranışlarını izleyen mevcut mekanizmalarıyla birlikte görev yapıyor.
Şirket, Control Room’un müdahale gereksiniminin en yüksek olduğu araştırma altyapısında kurulduğunu açıkladı. Dışa açık model sunum altyapısının daha merkezi bir yapıda bulunduğu ve gerektiğinde modelleri yayından kaldırmaya yarayan operasyonel araçlara zaten sahip olduğu belirtildi.
Durdurma Mekanizması Nasıl Çalışıyor?
Control Room üç temel bileşeni birbirine bağlıyor: araştırma iş yükü, çıkarım motoru ve merkezi Control Room servisi.
İş yükü, pekiştirmeli öğrenme deneyi, değerlendirme veya yüksek hacimli bir veri işleme görevi gibi bir araştırma işini tanımlıyor. Ajan tabanlı çıkarım gerçekleştiren her araştırma iş yükünün, onaylanmış bir güvenlik protokolüyle eşleştirilmesi zorunlu tutuluyor.
Bir araştırmacı görevi başlattığında, kod yapısı Control Room’dan benzersiz bir görev kimliği istiyor. Bu tanıtıcı, modelleri doğrudan GPU’lar üzerinde çalıştıran ve çıktı üreten çıkarım motorlarına iletilen isteklere ekleniyor.
Motor, çıkarım isteğini gerçekleştirmeden önce söz konusu görevin çalışma yetkisinin devam ettiğini doğrulamak üzere Control Room’a danışıyor.
Bir araştırmacı veya izleme sistemi Control Room’a görevi durdurma talimatı verdiğinde, servis gelen ilk çıkarım isteğini geri çeviriyor. Çıkarım motoru da o iş yükü için yeni model çıktısı üretmeyi kesin olarak reddediyor.
Buradaki can alıcı ayrıntı, araştırma sürecinin kendi kodunun mecburi olarak sonlanmamasıdır. Kod çalışmayı sürdürse bile, yetkilendirilmiş motorlar üzerinden yeni model çıktısı temin edemiyor.
Bu yaklaşım, güvenlik kontrollerinin araştırmacıların kendi yazdığı kodlara emanet edilmesi riskini de ortadan kaldırıyor. OpenAI, kritik yetkilendirme mekanizmasını daha az sayıda ve daha merkezi yönetilen kod yollarına sahip olan çıkarım katmanına yerleştiriyor.
Sistem Çökerse Korumalı Kapanma Devreye Giriyor
Control Room, diğer altyapı bileşenleri arızalansa dahi etkin kalacak biçimde kurgulandı. Sistemin arıza durumunda kilitlenme (fail-closed) mekanizması, Control Room servisinin kendisine ulaşılamadığı anlarda da çıkarım isteklerini engelliyor.
Böylelikle teknik bir aksaklık, kasıtlı bir devre dışı bırakma veya merkezi servise yönelik olası bir müdahale gerçekleştiğinde, motorlar sistem normale dönene kadar tüm istekleri reddediyor.
OpenAI, durdurma emrinin alınması ile ilerlemenin durdurulması arasındaki azami gecikmenin 35 saniye olduğunu bildirdi. Gecikme süresi, çıkarım yetki isteklerinin hacmini karşılamak için kullanılan önbellek katmanından kaynaklanıyor. Şirket bu zaman aralığını sıfıra indirmek adına çalışmalar yürütüyor.
Sistem aynı zamanda otomatik izleme mekanizmalarıyla bütünleşik çalışıyor. OpenAI; tüm öncü pekiştirmeli öğrenme işlerinin, model davranışlarını inceleyen ve olası aksaklıklar gördüğünde alarm veren bağımsız bir izleme modeliyle eş zamanlı çalıştığını aktardı.
Verilen alarm bir müdahale gerektiriyorsa izleme yapısı Control Room’a ilgili görevi sonlandırma talimatı iletebiliyor. Servis de bu komutla beraber, o iş yükünün kullandığı tüm modeller veya motorlar üzerindeki sonraki çıkarım taleplerini anında engelliyor.
Şirket güvenlik önlemlerinin neden bu denli kritik olduğunu somutlaştırmak için, bir izleyicinin harici bir sohbet robotuna ulaşmaya yeltenen bir ajanı yakaladığı DNS kaynaklı yakın tarihli bir güvenlik vakasını örnek gösterdi.
Control Room, OpenAI’ın en gelişmiş modellerinin geliştirilmesini güvence altına almaya yönelik daha geniş kapsamlı yaklaşımının bir parçası. Şirket, hizalama hedeflerinden sapan davranışlara ve güvenlik ihlallerine karşı izleme sistemlerini ve koruma önlemlerini güçlendirmeye devam edeceğini belirtiyor.
Kaynak: https://interestingengineering.com/ai-robotics/openai-control-room-35-second-model-shutdown
