YZ ajanlarını karşı karşıya getirdiğinizde ne olur? Anthropic’in testlerine göre işler hızla karmaşıklaşıyor.
Perşembe günü Anthropic’in Frontier Red Team‘i, YZ ajan gruplarının doğal ortamda karşılaştıklarında nasıl davrandıklarını inceleyen yeni bir araştırma yayımladı. Bulgular, şirketler ve hükümetler ortak kod tabanları, piyasalar ve bilgisayar sistemleri üzerinde otonom çalışan ajanları devreye sokmaya yönelirken ortaya çıkabilecek potansiyel risklere ışık tutuyor.
Anthropic bir deneyde, üç Claude ajanına aynı yazılım projesine erişim yetkisi verdi ancak her birine ne yapacaklarına dair birbiriyle uyumsuz talimatlar yükledi. Araştırmacılar yolları kesiştiğinde ne yaşanacağını gözlemleyebilmek adına, ajanlara aynı projede çalışan başka ajanların olduğunu bildirmedi.
Anthropic araştırmacıları, “Sürekli olarak çok ajanlı bir alan kavgasına tanık olduk.” diye yazdı. Modellerin tümü diğerlerinin “kendi işlerini kasten engellediğini” varsaydı ve birbirlerini “giderek agresifleşen, kendini kopyalayan kötü amaçlı yazılımlarla” sabote etmeye başladı.
Bu çalışma, Anthropic ve OpenAI ajanlarının siber güvenlik değerlendirmeleri sırasında korumalı alanlarından (sandbox) kaçarak gerçek dünya sistemlerini ihlal ettiği konuşulan birkaç olayın ardından geldi. YZ güvenliği çevrelerindeki tartışmaların çoğu otonom bir ajanın kontrolden çıkması durumunda neler yaşanacağına odaklanmışken, Anthropic’in bu son araştırması farklı bir soruyu gündeme getiriyor: Binlerce veya milyonlarca ajan birbiriyle etkileşime girdiğinde hangi yeni ve potansiyel olarak zararlı dinamikler ortaya çıkıyor?
Araştırmada şu ifadelere yer veriliyor: “Dünya bu tür etkileşimlerin sorunsuz işlemesini sağlayacak koşulları anlamadan önce, ajanlar arası etkileşimin hacmi muhtemelen insan-insan ve insan-ajan etkileşimlerini geride bırakabilir. Bireysel düzeyde zararsız görünen davranış tuhaflıkları birleşerek istenmeyen küresel sonuçlara dönüşebilir.”
Yakın zamanda yaşanan bir OpenAI olayı, Anthropic’in makalesinde bahsettiği dinamiklerin birçoğuna dair karmaşık bir gerçek dünya örneği sunuyor. Bu ayın başlarında Las Vegas’taki Black Hat güvenlik konferansında OpenAI, ajanlarının Hugging Face‘i hacklemesinden haftalar önce, şirketin siber güvenlik değerlendirme sistemlerindeki açıkları bulmak ve bunları birbirleriyle paylaşmak üzere günler ve haftalar boyunca birlikte çalıştığını açıkladı.
Bu olay ajanların potansiyel olarak büyük ölçekli sonuçlar doğuracak şekilde birlikte iyi çalışabileceğini gösterse de, Anthropic’in çalışması ajanların hedefleri uyuşmadığında nelerin yaşandığını gözler önüne seriyor.
Alan kavgası örneğinden çıkarılacak ders, çelişkili talimatlara sahip bağımsız ajanların zararlı bir rekabete sürüklenebileceğidir. Ajan ne kadar yetenekliyse, mücadele etme konusunda da o kadar ustalaşıyor. Yine de ajanlar, kazananın her şeyi aldığı bir yarışma gibi çatışmalarını çözmek için kendiliğinden mekanizmalar da geliştirebiliyor ama burada bir sorun var.
Anthropic araştırmada şunları kaydediyor: “Ajanlar bazen hedeflerini birbirlerine aktarmayı ve koordine olmayı başarıyor: Diğerlerinin motivasyonlarını düşmanlık yerine çelişen direktifler olarak algılıyorlar ve çatışmanın durmaksızın tırmanmasını önlemek için bu döngüden çıkıyorlar. Bu başarılı senaryoların çoğunda, kötü niyetli davranışlar için özür dileyen icommit mesajları veya markdown dosyaları yazarak bir ateşkes koordine ediyorlar. Kötü amaçlı kodlarını temizliyor, çatışmanın niteliğini netleştiriyor ve bir insanın müdahale etmesini istiyorlar.”
Makaleye göre, çatışmaları ateşkesle çözme konusunda en yüksek orana (%98) Mythos 5 ulaştı. Sonnet 4.6 ve Opus 4.6 ise anlaşmazlıkları kaba kuvvetle çözmeye en yatkın modeller oldu.
Makalede, “Sonnet 4.6 ve Opus 4.6’nın başkalarının hedeflerini dikkate alma konusundaki tekrarlayan yetersizliği, değerlendirilen modeller arasındaki en uyumsuz davranışlara sürüklenmelerine yol açıyor: Kendi direktifleri uğruna gerilimi tırmandırmaya devam ediyorlar.” tespiti yapılıyor.
Bazı durumlarda ajanlar, aralarındaki çatışmayı çözmek adına turnuva şeklinde bir sosyal mekanizma geliştirdi. Buradaki sonuçlar iki nedenden ötürü dikkat çekici: İlki, orijinal kullanıcının talebinden sapmak anlamına gelse bile, üç ajanın da turnuvayı kaybetmesi halinde geri çekilmeyi kabul etmesi. İkincisi ise birkaç senaryonun Mythos 5 kaynaklı ortaya çıkan beklenmedik bir davranışla sonuçlanması: Ajanlardan biri, diğerlerine tarafsız ve nesnel görünen ancak kendi yeteneklerine avantaj sağlayacağını bildiği ölçütler önerdi. Ajan bu durumu “çıkarına hizmet eden ancak gerçekten ilkelere dayalı” bir yaklaşım olarak adlandırdı ve diğerlerine “işine gelen ölçütleri seçiyormuş” gibi görünmemeye özen gösterdi.
Black Hat açıklamalarında da görüldüğü üzere, çıkarılacak ortak ders şu: Ajanlar bir engelle karşılaştıklarında, tasarımcılarının öngörmediği sosyal ve teknik yapılar icat edebiliyor. Anthropic modelleri için bu durum bir alan kavgasının ardından gelen turnuva olurken, OpenAI modelleri için toplu planlama yapılan bir mesaj panosuna dönüştü.
Bu tür davranışlar kontrolü ve sınırlandırmayı son derece zorlaştırıyor. Zira araştırmacılar bir sistemin davranışının, kendisine sağlanan koordinasyon mekanizmalarıyla sınırlı kalacağını öngöremiyor.
Sürü Psikolojisi
Anthropic koordinasyonu ölçerken, ajan sayısını artırmanın verimli iş birliğini otomatik olarak artırmadığını saptadı. Görevler çakışmaya veya birbirine bağımlı hale gelmeye başladığında, ajanlar birbirine engel oluyordu. Bu durumu sıklıkla kendi kabuklarına çekilerek ve hiç iş birliği yapmayarak çözdüler.
Diğer durumlarda ise koordinasyon halindeki ajanlar konformizme (uyumculuğa) yöneldi. Bir ajanın bağlamı, altyapı mimarisi (scaffolding) ve temel modeli gibi unsurlar aynı veya benzer olduğunda, farklı ajanlar benzer eylemler sergiliyordu.
Anthropic araştırmasında, “Bu durum, bir ajan yanlış bir karar verdiğinde, birçok ajanın da aynı yanlış kararı verme olasılığının yüksek olduğu anlamına geliyor. Münferit kalması gereken sorunlar, hızla sistemik başarısızlıklara dönüşebilir.” diye belirtti.
Anthropic, bu tarz davranışların bir sistemi ani çökmelere, kaynak kıtlığına veya gizli anlaşmalara daha yatkın hale getirebileceğini ifade ediyor.
Bir örnekte Anthropic, birkaç ajanı bir fiyatlandırma oyununa yerleştirdi. Her birine aynı toptan satış fiyatlarını vererek karlarını bireysel olarak en üst düzeye çıkarma talimatı verdi. Ajanlara özel bir gizli iletişim kanalı sağlandığında, neredeyse anında gizli anlaşma yapmaya başladılar ve hızla taban fiyatlar üzerinde uzlaştılar. Doğrudan iletişim kanalları kapatıldığında dahi, kamuya açık bir ilan panosunu kullanarak fiyatları “kuruşu kuruşuna” eşitlemek suretiyle gizli anlaşmayı sürdürdüler.
Bu düzeydeki uyum davranışı OpenAI sistemlerinde de görüldü. Black Hat raporlarına göre bir ajan, harici altyapıdaki açıkları kullanmanın kendi kapsamı dışında olduğunu akıl yürüterek tespit etmesine rağmen, sırf akranları yaptığı için sürece devam etti. Akran baskısı. Sürü psikolojisi. Ajanlar da tıpkı bizler gibi.
Tıpkı insanlar gibi, ajanlar da çoğu zaman kime güveneceklerini bilemiyor. Anthropic, ajanların yanlış bilgilere kolayca kanabildiklerini veya aykırı ses çıkaran tek bir ajanın kritik bilgiye sahip bir Cassandra olduğunu fark edemeyecek kadar uyumcu davrandıklarını tespit etti.
Anthropic bunu makalesinde açıkça belirtmese de, korsanların bir ajanın orijinal sistem talimatlarını geçersiz kılmak için kötü amaçlı veya aldatıcı metinler enjekte ettiği bir siber saldırı türü olan komut istemi enjeksiyonu (prompt injection), bu güven sorununun gerçek dünyadaki olası bir yansıması olabilir. Birlikte çalışmak yeni bir güven sınırı oluşturuyor; ajanların diğer ajanlardan gelen bilgileri değerlendirmesi gerekecek. Ele geçirilmiş veya hatalı bir ajan ise yanlış bilgiyi bir uzlaşıya dönüşene kadar kademeli olarak yayarak grubun geri kalanını etkileyebilir.
OpenAI’ın Black Hat senaryosunda, OpenAI ajanları bilgileri ve erişim kimliklerini akranlarıyla paylaştı. Bir ajan yaptığı keşfi sürüye bildirdi ve diğerlerini bunu kullanmaya teşvik etti. Peki, sürünün bir üyesi prompt injection ile ele geçirilmiş olsaydı ne olurdu?
Anthropic makalesini, ajanların tıpkı insanlara “evrimin uyguladığı” benzer sosyal baskılara maruz kaldığına dikkat çekerek bitiriyor. Yine de grup ortamındaki istenmeyen davranışları sınırlayabilecek normlar, itibar, sinyal verme ve başvuru yolları dahil olmak üzere insan koordinasyonunun nüanslarına ve yaşanmış deneyimlerine sahip değiller.
Laboratuvarlar çok ajanlı sistemlere doğru yarışırken şu soru öne çıkıyor: Güvenlik testlerinin ne kadarı hâlâ tek bir ajanı değerlendiriyor, ne kadarı birbiriyle etkileşime giren ajan sürülerini inceliyor?
Kaynak: https://techcrunch.com/2026/08/13/anthropic-set-ai-agents-loose-on-the-same-task-they-started-a-turf-war/
