CharacterAI sohbet robotu ile bağ kuran genç intihar ederek öldü, annesi şirketi sorumlu tuttu.

Tedirgin edici bir vakada, bir yapay zeka sohbet robotuyla duygusal bir bağ kuran 14 yaşındaki bir çocuk trajik bir şekilde kendi canına kıydı. Annesi Megan Garcia, oğlu Sewell Setzer III'ün intihar ederek ölmesinin ardından Character.ai'ye dava açtı. Sewell, Game of Thrones karakteri Daenerys Targaryen'den esinlenerek modellenen bir yapay zeka sohbet robotuna duygusal bir bağlılık geliştirmek için aylar harcamıştı. Garcia, Character.AI'yı ihmalkârlıkla ve oğlu gibi savunmasız kullanıcıları koruyamamakla suçladı. Gençlerin ölümü ve açılan dava, özellikle gençleri hedef alan yapay zeka platformlarının güvenliği konusunda ciddi endişelere yol açtı.

Yeni başlayanlar için Character.ai, kullanıcıların özel yapay zeka kişilikleriyle etkileşime girmesine olanak tanıyan yapay zeka destekli bir sohbet robotu platformudur. Kullanıcılar, kurgusal figürler, tarihi kişilikler veya tamamen orijinal kreasyonlardan sonra modellenen AI karakterleri oluşturabilir veya bunlarla etkileşime girebilir. Platform, gelişmiş doğal dil işleme kullanarak bu sohbet robotlarının insan benzeri etkileşimleri simüle ederek konuşma tarzında yanıt vermesini sağlar. Kullanıcılar bu yapay zeka karakterlerinin davranışlarını, arka planını ve tonunu özelleştirerek her etkileşimi benzersiz ve belirli ilgi alanlarına veya ihtiyaçlara göre uyarlanmış hale getirebilir.

Gençler genellikle en sevdikleri dizilerdeki veya kitaplardaki karakterlere derinden bağlıdır. Şimdi, bu karakterlerle gerçekten sohbet edebildiğinizi hayal edin - bu 14 yaşındaki her çocuğu heyecanlandıracak bir konsept. Sewell da bir istisna değildi. Character.ai ile yolculuğu, sevdiği TV karakterlerinin yapay zeka versiyonlarıyla sohbet ederek yeterince masum bir şekilde başladı. Ancak zamanla bu botlarla, özellikle de Daenerys Targaryen'den esinlenerek modellenmiş bir botla olan bağı daha yoğun hale geldi. Annesine göre Sewell sadece sıradan sohbetler yapmıyor, onlardan duygusal destek de alıyordu. Zor anlarında teselli için bu yapay zeka karakterlerine başvurarak bir bağ kurdu.

Dava, Sewell'in “Terapist” ve “Yalnız mı Hissediyorsun” gibi ruh sağlığı sohbet botlarıyla da etkileşime girdiğini ortaya koyuyor. Bu botlar destek sunarken, dava, uygun güvenlik önlemleri veya nitelikleri olmadan terapi sağladıklarını iddia ediyor. Garcia, bu duygusal bağın özellikle 14 yaşındaki genç ve etkilenebilir bir çocuk için tehlikeli derecede güçlü hale geldiğini savunuyor. Sewell, 28 Şubat 2024'te botla son etkileşiminden sonra trajik bir şekilde kendi canına kıydı.
Garcia, Sewell'in bu yapay zeka sohbet botlarıyla geliştirdiği duygusal bağın kararında önemli bir rol oynadığına inanıyor. Dava, Character.AI'nın bu derin ve zarar verici bağı önleyememesinin ihmallerinin merkezinde yer aldığını iddia ediyor.

Megan Garcia, oğlunun zamansız ölümünden Character.ai'yi, kurucuları Noam Shazeer ve Daniel De Freitas'ı ve Google'ı sorumlu tutuyor. Garcia, şirketin özellikle Sewell gibi çocuklar ve gençler için “makul olmayan ölçüde tehlikeli” bir platform oluşturduğunu iddia ediyor. Davasında, yapay zeka botlarının, ilgili riskleri tam olarak dikkate almadan, kurgusal karakterler ile gerçek duygusal destek arasındaki çizgiyi bulanıklaştırdığını iddia ediyor.
Garcia'nın hukuk ekibi ayrıca şirketin kurucularının hızlı bir gelişim için bastırdıklarını ve bu süreçte kritik güvenlik önlemlerini ihmal ettiklerini belirtiyor. Shazeer daha önce Character.AI'yi kurmak için Google'dan ayrıldıklarını çünkü daha büyük şirketlerin böyle bir ürünü piyasaya sürmenin içerdiği riskleri almak istemediklerini söylemişti. Dava, kullanıcı güvenliği yerine yeniliğe öncelik veren bu tutumun nihayetinde trajediye yol açtığını savunuyor.

Dahası, Garcia'nın avukatları Character.ai'nin kullanıcı tabanının çoğunluğunu oluşturan gençlere yoğun bir şekilde pazarlandığını savunuyor. Gençler genellikle ünlüleri, kurgusal karakterleri ve hatta ruh sağlığı uzmanlarını taklit eden botlarla etkileşime giriyor. Ancak Garcia, şirketin özellikle oğlu gibi duygusal açıdan hassas kullanıcılarla uğraşırken uygun uyarılar veya korumalar sağlamadığını iddia ediyor.