Anthropic, bir YZ modelinin belirli bir yanıtı gerçekten üretip üretmediğini, modele ait gizli ağırlıkları açığa çıkarmadan doğrulamak için tasarlanan FlashProve adlı açık kaynaklı kriptografik sistemi tanıttı. Bu teknoloji, kullanıcıların, bağımsız denetçilerin ve düzenleyici kurumların, sağlayıcıların sunduklarını belirttikleri modelleri gerçekten çalıştırdıklarını doğrulamalarına yardımcı olabilir.
Sistem, belirli bir isteme karşılık gelen çıktı tokenlarının belirli bir model tarafından üretildiğini gösteren matematiksel kanıtlar oluşturmak için sıfır bilgi (zero-knowledge) kriptografisinden yararlanıyor. Bu yaklaşım, şirketlerin gelişmiş YZ sistemlerine erişmek için üçüncü taraf model sağlayıcılarına ve yönlendirme hizmetlerine giderek daha fazla bel bağladığı bir dönemde, büyüyen güven sorununa çözüm sunabilir.
Günümüzde kullanıcılar, aldıkları yanıtın seçtikleri modelden mi geldiğini yoksa sağlayıcının bunu gizlice daha ucuz bir alternatifle mi değiştirdiğini belirlemek için güvenilir bir yola sahip değil. FlashProve, kullanıcıların modele erişmesini veya modeli bağımsız çalıştırmasını gerektirmeden bu güvenceyi sağlamayı amaçlıyor.
Kriptografik Kanıtlar Çıktıları Doğruluyor
FlashProve, zkSNARK (zero-knowledge succinct non-interactive argument of knowledge) adı verilen bir kriptografik teknikten yararlanıyor. Bu teknik, bir sağlayıcının altta yatan modele ait hassas bilgileri açığa vurmadan bir hesaplamanın doğru şekilde gerçekleştirildiğini göstermesine olanak tanıyor.
Sistem iki aşamada işliyor. İlk olarak sağlayıcı, model ağırlıklarına dair kriptografik bir taahhüt yayımlıyor; böylece ağırlıkları gizli tutarken kullanılan modelin birebir parmak izini çıkarıyor.
Kullanıcı bir istek gönderdiğinde hizmet sağlayıcı, bu taahhütle tanımlanan modelin ilgili çıktı tokenlarını ürettiğini gösteren bir kanıt oluşturabiliyor. Kriptografik taahhüde, isteme ve yanıta sahip olan herkes, model ağırlıklarına erişmeden bu kanıtı doğrulayabiliyor.
Anthropic bu yaklaşımı 400 milyar parametreli bir uzmanlar karışımı (mixture-of-experts) modeli olan Llama 4 Maverick üzerinde gösterdi. Tek bir NVIDIA H100 GPU üzerinde çalışan FlashProve, saniyede yaklaşık 110 token hızında kanıt üretti ve 1.024 token’lık bir istek için her kanıtın boyutu yaklaşık 19 MB oldu.
Doğrulama işlemi ise bir GPU gerektirmeden, 24 çekirdekli bir CPU kullanılarak yaklaşık 17 saniye sürüyor.
Güvenlik Pratik Zorluklarla Karşılaşıyor
Bu teknoloji, müşterilerin seçtikleri modeli alıp almadıklarını kontrol etmenin ötesinde uygulama alanlarına sahip olabilir. Anthropic, kriptografik çıkarım kanıtlarının model yanıtlarına müdahale edilip edilmediğini saptamaya, bağımsız değerlendirmeleri desteklemeye ve düzenleyicilere sağlayıcıların hangi modelleri sunduğunu doğrulama imkanı vermeye yardımcı olabileceğini düşünüyor.
Örneğin bir şirket, siber güvenlik yazılımının daha ucuz bir alternatif yerine belirlenen bir model tarafından incelendiğini kanıtlamasını sağlayıcıdan isteyebilir. Düzenleyiciler de sağlayıcıların onaylanmış modelleri sunup sunmadığını veya YZ geliştirme konusundaki belirli taahhütleri karşılayıp karşılamadığını denetlemek için bu tür kanıtları kullanabilir.
Bununla birlikte FlashProve, üretime hazır bir çözümden ziyade bir araştırma prototipi niteliği taşıyor. Kanıt üretmek, sıradan bir çıkarım işlemine kıyasla çok daha fazla bilgi işlem kaynağı gerektiriyor. Anthropic’in ölçümleri, bu sürecin yaygın kullanılan açık kaynaklı çıkarım motoru vLLM’in ihtiyaç duyduğu GPU süresinin yaklaşık 70 ile 95 katına ulaştığını gösteriyor.
Mevcut sistem ayrıca en fazla 1.024 tokenlık bağlamları destekliyor ve her adımda en yüksek olasılıklı tokenı seçen yöntem (greedy decoding) kullanıldığında modelin tam sayı (integer) temsiline dayanan sürümüne ilişkin kanıt üretiyor. Henüz kayan noktalı hesaplamalarla veya örnekleme yöntemiyle elde edilen tüm çıkarım sonuçlarını kapsamıyor. Ayrıca model ağırlıklarını gizlese de modelin mimarisini gizlemiyor.
Anthropic sistemin çalıştırılabilir kodunu, teknik raporunu, protokol şartnamesini ve biçimsel doğrulama kanıtlarını Apache 2.0 lisansı altında yayımladı. Şirket, bu adımla diğer araştırmacıları bu çalışmayı temel almaya ve teknolojiyi geliştirmeye teşvik etmeyi amaçladığını belirtti.
Söz konusu araştırma, model kimliğini ve yanıt bütünlüğünü bağımsız olarak doğrulanabilir kılma yolunda erken bir adımı temsil ediyor ve kullanıcılara uygulamalarını çalıştıran sistemler konusunda potansiyel olarak daha yüksek bir güven kazandırabilir.
Kaynak: https://interestingengineering.com/ai-robotics/anthropic-flashprove-cryptographic-model-verification
