Character AI, gençler için sınırlamalar getirdi, yeni güvenlik araçlarını duyurdu.

Character AI, davacıların şirketi bir gencin intiharına katkıda bulunmak ve 9 yaşındaki bir çocuğu “hiperseksüelleştirilmiş içeriğe” maruz bırakmak ve 17 yaşındaki bir kullanıcıyı kendine zarar vermeye teşvik etmekle suçladığı en az iki davayla karşı karşıya.

Devam eden bu davalar ve yaygın kullanıcı eleştirilerinin ortasında, Google destekli şirket bugün yeni genç güvenlik araçlarını duyurdu: gençler için ayrı bir model, hassas konularda giriş ve çıkış engelleri, kullanıcıları sürekli kullanım konusunda uyaran bir bildirim ve kullanıcıları AI karakterlerinin gerçek insanlar olmadığı konusunda bilgilendiren daha belirgin feragatnameler.

Platform, kullanıcıların farklı yapay zeka karakterleri yaratmalarına ve onlarla aramalar ve mesajlar üzerinden konuşmalarına olanak tanıyor. Hizmeti aylık 20 milyondan fazla kullanıcı kullanıyor.

Bugün açıklanan en önemli değişikliklerden biri, 18 yaş altı kullanıcılar için şiddet ve romantizm gibi belirli konulara verdiği yanıtları azaltacak yeni bir model. Şirket, yeni modelin gençlerin uygunsuz yanıtlar alma olasılığını azaltacağını söyledi. Character AI, hassas içeriği engellemek için hem giriş hem de çıkış tarafında - özellikle gençler için - yeni sınıflandırıcılar geliştirdiğini söyledi. Uygulamanın sınıflandırıcıları, şartlarını ihlal eden girdi dilini tespit ettiğinde, algoritmanın belirli bir karakterle yapılan konuşmayı filtrelediğini belirtti.

Şirket ayrıca kullanıcıların bir botun yanıtlarını düzenlemesini de kısıtlıyor. Bir bottan gelen bir yanıtı düzenlerseniz, bot bunu fark ediyor ve sonraki yanıtları bu düzenlemeleri göz önünde bulundurarak oluşturuyor.

Bu içerik değişikliklerine ek olarak, girişim kendine zarar verme ve intiharla ilgili dili tespit etmenin yollarını geliştirmek için de çalışıyor. Bazı durumlarda uygulama, Ulusal İntiharı Önleme Yaşam Hattı hakkında bilgi içeren bir açılır pencere görüntüleyebilir.

Character AI ayrıca, bir kullanıcı uygulamayla 60 dakika boyunca etkileşime girdiğinde görünecek bir zaman aşımı bildirimi yayınlıyor. Gelecekte şirket, yetişkin kullanıcıların bildirimle bazı zaman sınırlarını değiştirmelerine izin verecek. Son birkaç yıl içinde TikTok, Instagram ve YouTube gibi sosyal medya platformları da ekran süresi kontrol özelliklerini uygulamaya koydu.

Analiz firması Sensor Tower'ın verilerine göre, ortalama Character AI uygulaması kullanıcısı bu yıl boyunca uygulamada günde 98 dakika geçirdi ve bu süre 60 dakikalık bildirim sınırının çok üzerinde. Bir karşılaştırma yapmak gerekirse, bu etkileşim seviyesi TikTok (95 dakika/gün) ile aynı seviyede ve YouTube (80 dakika/gün), Talkie and Chai (63 dakika/gün) ve Replika'dan (28 dakika/gün) daha yüksek.

Kullanıcılar ayrıca konuşmalarında yeni feragatnameler görecekler. İnsanlar genellikle “psikolog”, “terapist”, “doktor” ya da diğer benzer meslekleri içeren karakterler yaratıyor. Şirket artık kullanıcıların profesyonel tavsiye için bu karakterlere güvenmemesi gerektiğini belirten bir dil gösterecek.

Önümüzdeki aylarda Character AI, platformda geçirilen zaman ve çocukların en çok hangi karakterlerle konuştuğu hakkında bilgi sağlayacak ilk ebeveyn kontrolleri setini piyasaya sürecek.

‍