OpenAI, AB kurallarına uyum sağlamak amacıyla ChatGPT metinlerine görünmez filigranlar ekliyor. Anthropic’ten farklı olarak şirket, dünya genelindeki API müşterilerinin bu özelliği kapatmasına izin verecek.
Aktarılanlara göre AB Yapay Zeka Yasası, YZ sağlayıcılarının üretilen metinleri makine tarafından okunabilir bir formatta etiketlemesini şart koşuyor. OpenAI’ın buna yanıtı ise modelin kelime seçimlerine görünmez bir istatistiksel sinyal yerleştiren textGrain teknolojisi oldu. Sistem, Google’ın açık kaynaklı teknolojisini kullanan Claude’un SynthID filigranına oldukça benzer bir yapıda.
OpenAI, önümüzdeki haftalarda Avrupa Birliği’ndeki ChatGPT ve Codex kullanıcıları için filigran özelliğini devreye alacağını açıkladı. Anthropic’in Claude için uyguladığı ve kullanıcıların modellere nasıl eriştiğine bakılmaksızın küresel düzeyde zorunlu tuttuğu filigran politikasının aksine, OpenAI’ın API filigranı dünya genelinde isteğe bağlı (opt-in) olacak. OpenAI’ın API filigranı, önümüzdeki haftalarda Microsoft Azure gibi bulut ortakları üzerinden de sunulacak.
Metin Üzerinde Yapılan Düzenlemeler Tespit Oranlarını Ciddi Oranda Düşürüyor
OpenAI, textGrain teknolojisinin dahili testlerde Google’ın metinler için geliştirdiği SynthID dahil diğer yaklaşımları yakaladığını veya geride bıraktığı iddiasında. Şirket ayrıca başkalarının da üzerine geliştirmeler yapabilmesi için bu teknolojiyi açık kaynak olarak yayımlamayı planlıyor.
Tespit oranları büyük ölçüde metin uzunluğuna ve konusuna bağlı olarak değişiyor. Tespit aracı %1 hedef yanlış pozitif oranına ayarlandığında, psikoloji hakkındaki 400 tokenlık pasajlarda filigranları yaklaşık %95 oranında tespit etti. Metin uzunluğu 200 tokena düştüğünde ise bu oran yaklaşık %80’e geriledi.
OpenAI, modelin kelime seçme özgürlüğünün daha az olduğu matematik içeriklerinde tespit oranlarının “belirgin şekilde daha düşük” kaldığını söylüyor. Sonuçlar yine de içeriğe bağlı olabilse de daha uzun pasajlar istatistiksel sinyali güçlendirip tespiti iyileştirebilir. Ancak OpenAI bu varsayımı test edecek herhangi bir veri sunmuyor.
Metni düzenlemek de filigranın tespit edilmesini zorlaştırıyor. OpenAI, kelimelerin yalnızca %10’unun eş anlamlılarıyla değiştirilmesinin 400 tokenlık pasajlar için tespit oranını yaklaşık %92’den %66’ya düşürdüğünü ifade ediyor. Kelimelerin dörtte birini değiştirmek ise tespiti %17’ye kadar düşürerek filigranın atlatılmasını kolaylaştırıyor. Bu zayıflık OpenAI’ın lehine de işleyebilir. Nitekim ChatGPT kullanımlarının tespit edilmesini istemeyen kullanıcılar, filigranların kaldırılması zorlaştığı takdirde açık ağırlıklı modellere yönelebilir.
Yayımlanan teknik bir rapor, textGrain teknolojisinin nasıl çalıştığını derinlemesine açıklıyor. Anthropic, sisteminin değişikliklere karşı dayanıklı olduğunu belirtse de Claude’un filigranı için henüz bir tespit oranı yayımlamadı.
OpenAI, öncü modeli Astra üzerinde yaptığı testlere dayanarak filigran eklemenin çıktı kalitesine zarar vermediğini savunuyor. Şirket, GPQA Diamond, BrowseComp ve DeepSWE’nin de aralarında bulunduğu sekiz farklı değerlendirme testinde filigran açık veya kapalıyken belirgin bir performans farkı gözlemlenmediğini bildiriyor. Ancak sonuçlar filigranın yazım kalitesini etkileyip etkilemediğini net bir şekilde ortaya koymuyor. Bu durum eleştirmenlerin Claude’un filigranı hakkında da sorguladığı konulardan biri.
OpenAI ayrıca tespit edilen bir filigranın, metne ne kadar insan yaratıcılığının veya düzenlemesinin dahil edildiğine dair hiçbir şey ortaya koymadığını vurguluyor. Filigran, mülkiyet belirlemiyor, sorumluluk atamıyor, kullanıcıyı kimliklendirmiyor veya metnin doğru olup olmadığını göstermiyor; aynı şekilde filigranın tespit edilememesi de metni bir insanın yazdığını kanıtlamıyor. Metin çok kısa olabilir, düzenlenmiş veya çevrilmiş olabilir ya da tespit sisteminin desteklemediği bir model tarafından üretilmiş olabilir.
OpenAI Tespit Aracına Erişimi Şimdilik Sınırlandıracak
textGrain tespit aracına başlangıçta yalnızca seçilen araştırmacılar ve uzman kuruluşlar erişebilecek. Bu kişiler başvuru formu aracılığıyla talepte bulunabilecek. OpenAI, AB’nin Uygulama Esasları (Code of Practice) kapsamında erişimi durum bazında değerlendirerek sunacak. Anthropic de kendi tespit API’sinde benzer bir yaklaşım izliyor.
Araç yalnızca bir OpenAI filigranı tespit edip etmediğini bildirecek; kullanıcıların kimliğini açığa çıkarmayacak, istemlerini (prompt) veya konuşmalarını göstermeyecek.
OpenAI, tespit aracının filigransız metinleri hatalı işaretleyebilmesi veya filigranları gözden kaçırabilmesi nedeniyle erişimi sınırlandırıyor. Şirket, “sonuçların sorumlu bir şekilde yorumlanabileceğine inandıklarında” erişimi genişletmeyi planlıyor fakat bunun ne zaman gerçekleşeceğine dair bir tarih yok.
openai.com/verify ve Content Provenance API dahil olmak üzere görsel ve ses doğrulamaya yönelik mevcut araçlar kamuya açık kalmaya devam ediyor.
Kaynak: https://the-decoder.com/openai-will-watermark-chatgpt-text-in-the-eu-but-makes-it-optional-for-api-users-worldwide/
