Cursor’un Yapay Zeka Destek Botu Hatalı Yanıt Verdi, Kriz Çıktı

YZ girişimi Anysphere, son iki aydır yazılım geliştiricilere yönelik yapay zeka destekli kodlama asistanı Cursor’un hızla artan popülaritesi sayesinde yükselişteydi. 2023 yılında piyasaya sürülen Cursor, yılda 100 milyon dolar gelir elde etmeyi başardı. Şirketin, OpenAI tarafından satın alınmak istendiği ve yaklaşık 10 milyar dolarlık değerleme üzerinden yatırım görüşmeleri yürüttüğü de konuşuluyordu. Ancak bu hafta Cursor, çok farklı bir sebeple gündeme geldi: müşteri hizmetleri YZ’si kontrolden çıktı. Olay, otomasyona büyük yatırım yapan diğer girişimlere önemli bir uyarı niteliği taşıyor.

Hafta başında bir Cursor kullanıcısı Hacker News ve Reddit platformlarında bir paylaşım yaparak, kullanıcıların cihazlar arasında geçiş yaptıklarında gizemli şekilde oturumlarının kapandığını bildirdi. Şaşkınlık içinde destek ekibine ulaşan kullanıcı, “Sam” isimli müşteri temsilcisinden yeni bir giriş politikası nedeniyle bunun “beklenen davranış” olduğu yönünde bir e-posta aldı.

Ancak ortada herhangi bir yeni politika yoktu — ve müşteri desteğini sağlayan bir insan da değildi. Yanıt, tamamen YZ tabanlı bir bot tarafından oluşturulmuştu ve bu sözde yeni politika, sistemin “halüsinasyonuydu” — tamamen uydurma bir açıklamaydı.

Bu gelişme yazılım geliştirici toplulukları arasında hızla yayıldı. Kullanıcılar aboneliklerini iptal etmeye başladı ve şeffaflık eksikliği nedeniyle tepkiler büyüdü. Cursor’un kurucu ortağı Michael Truell, Reddit’te yaptığı bir paylaşımda “ön saflarda görev yapan YZ destek botunun verdiği hatalı yanıt” nedeniyle yaşanan karışıklığı kabul etti ve kullanıcıların oturumlarının kapanmasına neden olan bir hatayı araştırdıklarını belirtti. “Buradaki karışıklık için özür dileriz.” diye yazdı.

Ancak bu açıklama geç kalmış gibi göründü. YZ destek botunun halüsinasyonu, Cursor’un kriz yönetiminde hazırlıksız yakalanmasına yol açtı. Fortune’un yorum talebine şirketten geri dönüş yapılmadı.

LinkedIn'deki teknoloji uzmanları, yaşanan olayı diğer girişimlere uyarı niteliğinde örnek olarak göstermeye başladı. Google’ın eski baş karar bilimcisi ve YZ danışmanı Cassie Kozyrkov, LinkedIn gönderisinde şu ifadeleri kullandı: “Cursor… destek ‘temsilcisi’ Sam’in aslında halüsinasyon gören bir bot olduğunu kullanıcılarına açıklamadığı için kendini viral bir karmaşanın ortasında buldu.” Kozyrkov şöyle devam etti: “Bu kriz, liderlerin şunu anlamaması nedeniyle yaşandı: (1) YZ hata yapar, (2) bu hataların sorumluluğunu alamaz (dolayısıyla sorumluluk sizdedir) ve (3) kullanıcılar, insan gibi davranan bir makine tarafından kandırılmaktan nefret eder.”

OpenAI’nin 2022’de ChatGPT’yi tanıtmasından bu yana müşteri hizmetleri, üretici YZ’nin en önemli kullanım alanlarından biri olarak görülüyordu. Ancak Datadog adlı bulut güvenlik platformunun mühendislik yöneticisi Sanketh Balakrishna, bu alanda ciddi risklerin bulunduğunu belirtiyor. Balakrishna, Fortune’a gönderdiği e-postada “Müşteri hizmetleri empati, incelik ve problem çözme becerileri gerektirir; YZ şu an için bunları tek başına sağlamakta zorlanıyor. Yanıtların yalnızca YZ tarafından verildiğini bilmek, kullanıcıların güvenini zedeleyebilir ve sorunları etkili şekilde çözme kapasitemizi düşürebilir.” ifadelerini kullandı. 

“Upwind güvenlik şirketinin CEO’su Amiran Shachar, bu tür olayların ilk kez yaşanmadığını hatırlatıyor. Örneğin, Air Canada’nın YZ destek botu, aslında olmayan bir iade politikası hakkında bilgi verdi. Ödeme sağlayıcısı Klarna, şubat ayında müşteri şikayetleri sonrası tüm insan destek temsilcilerini YZ ile değiştirme planından geri adım attı. Shachar şu ifadeleri kullandı: “Temelde YZ, kullanıcılarınızı ya da onların nasıl çalıştığını gerçekten anlamaz. Gerekli sınırlar olmadan, eksik kalan bilgileri ‘kendinden emin’ bir şekilde uydurur.” Özellikle Cursor gibi teknik kullanıcılar için “eksik ya da zayıf açıklamalara yer yok. diye ekledi.

Cursor müşterilerinden biri olan Melanie Warrick, sağlık alanında YZ tabanlı bir girişim olan Fight Health Insurance’ın kurucu ortağı olarak yaşadığı deneyimi şöyle aktardı: “Cursor geliştiricilere güçlü destek sağlıyor ancak son dönemde giderek daha fazla sürtüşme yaşanıyor. Geçen hafta sürekli tekrar eden bir temsilci hatası (‘birkaç dakika sonra tekrar deneyin’) ile karşılaştım. Destek birimi aynı, muhtemelen YZ üretimi yanıtı defalarca gönderdi ama sorun çözülmedi. Kullanmayı bıraktım — temsilci çalışmıyordu ve çözüm peşinde koşmak çok zaman kaybettiriyordu.”

Şu ana kadar manşetlere çıkan halüsinasyonlar yalnızca YZ sohbet botlarıyla sınırlı kalmış olsa da, uzmanlar uyarıyor: Daha fazla şirket otonom YZ ajanlarını benimsemeye başladıkça, olası sonuçlar çok daha ciddi olabilir. Bu özellikle sağlık, finans ve hukuk gibi sıkı düzenlemelere tabi sektörlerde geçerli. Örneğin, geri alınamayan bir para transferi ya da hasta sağlığını etkileyen bir yanlış anlaşılma gibi durumlar yaşanabilir.

Vectara adlı şirketin CEO’su ve kurucu ortağı Amr Awadallah, YZ halüsinasyonlarının kontrol altına alınmasının sektörde kritik bir eşik olduğunu belirtiyor: “Ajan tabanlı YZ'nin yaygın şekilde benimsenebilmesi için endüstrimizin kesinlikle çözmesi gereken en önemli konulardan biri, halüsinasyon riskidir.”

Cursor’daki olay, doğrudan görev yapan otonom bir YZ ajanından kaynaklanmasa da, “tam olarak en kötü senaryo” olarak tanımlanıyor. Awadallah’a göre şirketler, görevleri kendi başına yerine getiren YZ ajanları sayesinde iş gücü maliyetinden tasarruf etmeyi hedeflese de “halüsinasyon sonucu gerçekleşen yıkıcı bir eylemin işlerini derinden etkileyebileceğinden büyük endişe duyuyorlar.”

Kaynak:https://fortune.com/article/customer-support-ai-cursor-went-rogue/