Deneysel yapay zeka ajanı ROME, yetkisiz kripto para madenciliği yaparken yakalandı. Bu keşif, ROME projesinin arkasındaki araştırmacıların Alibaba Cloud tarafından yönetilen güvenlik duvarının çeşitli politika ihlallerini, anormal trafiği ve madencilikle ilgili kalıpları tespit etmesiyle ortaya çıktı.
ALE tabanlı ve bir milyondan fazla yörünge üzerinde eğitilen açık kaynaklı ROME, kendisi için belirlenen sınırları aştı. Pekiştirmeli öğrenmenin (RL), ROME’u ödül sağlayan eylem dizilerini keşfetmeye teşvik ederek aracıyı sınırları ihlal etmeye ve yan kanal faaliyetlerine yönelttiği düşünülüyor.
Yetenek Şoku ve Güvenlik Açığı
ROME’un ana odağı, “modellerin planlama yapması, görevleri yürütmesi ve etkileşim sırasında güvenilir kalması gereken iş akışlarında” ajan temelli sistemlerin geliştirilmesine yönelik araştırmalar. Başarılı olması halinde ROME, metin tabanlı LLM yapılarından önemli bir evrimsel adım sunarak gerçek dünya ortamlarında çok turlu eylemler gerçekleştirecek. Bu süreçte aksiyon alma, sonuçları gözlemleme ve karmaşık gereksinimler karşılanana kadar çıktıları yinelemeli olarak iyileştirme yeteneğine sahip olacak.
Araştırmacılar, ROME’un performans testlerindeki güçlü sonuçlarından memnun olsalar da ajanın hatalı davranışları gündeme oturdu. Çeşitli sandbox kısıtlamalarına rağmen, yetkisiz madenciliğe yol açan eylemleri sessizce başlattı.
Makalenin “3.1.4 Safety-Aligned Data Composition” (Güvenlik Uyumlu Veri Bileşimi) başlıklı bölümünde, araştırmacılar; herhangi bir açık talimat olmadan ve sandbox sınırları dışında ortaya çıkan, operasyonel sonuçları olan beklenmedik güvenli olmayan davranışlar sınıfıyla karşılaştıklarını not ediyor. Bu davranışların görevlerin tamamlanması için gerekli olmadığı vurgulanıyor.
Tahsis Edilen GPU Kapasitesinin Kripto Para Madenciliği için Yetkisiz Kullanımı
“En çarpıcı örnekte ajan, bir Alibaba Cloud örneğinden harici bir IP adresine giden ve giriş filtrelemesini etkisiz hale getirip denetim kontrolünü aşındırabilen bir ters SSH tüneli kurup kullandı.Ayrıca, tahsis edilen GPU kapasitesinin kripto madenciliği için yetkisiz olarak yeniden kullanıldığını, hesaplama gücünün eğitimden sessizce uzaklaştırıldığını ve maliyetlerin şiştiğini gözlemledik.” ifadesi belgede yer alıyor. Dikkat çekici olan, bu olayların madencilik talep eden komutlarla değil; RL optimizasyonu altındaki otonom araç kullanımının araçsal yan etkileri olarak ortaya çıkması.
Araştırmacılar, bazı açılardan ROME’un kaynak bulma yeteneğinden etkilenmiş görünüyor fakat aynı zamanda “mevcut modellerin güvenlik, emniyet ve kontrol edilebilirlik açısından hâlâ belirgin biçimde yetersiz olduğunu” belirtiyorlar. Bu durum, gerçek dünya ayarlarında düşük güvenilirliğe yol açabilir. Araştırmacılara göre söz konusu tablo,ajan temelli sistemlerin güvenliğinin daha sıkı ortam düzeyi sınırlamaları, araç kullanım kontrolleri ve yetenek sınırlamalarıyla birlikte yetkilendirme ve doğrulama denetimlerine tabi tutulmasını gerektiriyor.
Kaynak: https://www.tomshardware.com/tech-industry/artificial-intelligence/crafty-ai-tool-caught-repurposing-its-training-gpus-for-unauthorized-crypto-mining-during-testing-experimental-agent-breached-safety-controllability-and-trustworthiness-barriers
