Çin’in Chuzhou kentinde yaşayan yaşlı bir çiftçi, bir yıl önce kullanmaya başladığından bu yana yapay zekanın (YZ) tavsiyelerine uyuyordu ancak aylar süren etkileşimin ardından sistem geçenlerde tüm ekininin kurumasına yol açan felaket bir tavsiye verdi. Tayvanlı haber kuruluşu CTWANT‘ın aktardığına göre, 67 yaşındaki Wu başlangıçta YZ uygulamasına güvenmiyordu fakat uygulamanın faydalı olduğu kanıtlanınca fikrini değiştirdi. Ne yazık ki bu hata felaketle sonuçlandı ve yaklaşık 100 dönüm susam fidesinin doğrudan kurumasına yol açtı.
Wu, YZ’den yabani ot ve zararlı kontrolü konusunda tavsiye istedi. Sistem bunun üzerine “Yüz Dönüm Susam Ot Kontrolü + Zararlı Kontrolü” başlıklı bir reçete hazırladı; yabani otları öldürmek için “yüksek verimli flupirimetalin” ile “flusülfasülfaeter” kullanılmasını ve bunun “tiametoksazin” ile “metil tuzu” karışımıyla birleştirilmesini önerdi. Çiftçi, bilgileri ziraat teknisyenlerine doğrulatmadan (hatta internetten kontrol bile etmeden) YZ’nin tavsiyesine harfi harfine uydu.
Hemen Ertesi Gün
YZ’nin hatasının sonucu hızla ortaya çıktı. Hemen ertesi gün yabani otlar ve susam fideleri topluca kurudu. Wu bir video röportajında, “İlacı sıktığınızda, ertesi gün fideler hayatta kalamıyor. Hem otlar hem de fideler ölüyor, hatta fideler çok daha hızlı kuruyor.” dedi.
YZ’ye bunun neden yaşandığını sorduğunda, sistem sorunun arkasında “flusülfasülfaeter” kimyasalının bulunabileceğini belirtti. Tarım uzmanları, bu kimyasalın öncelikle soya fasulyesi tarlalarındaki geniş yapraklı yabani otlara karşı kullanıldığını ifade etti. ABD Tarım Bakanlığı (USDA), susamı geniş yapraklı bir bitki olarak sınıflandırıyor. Bu da susamın bu herbisitten kolayca etkileneceği anlamına geliyor. Ayrıca söz konusu kimyasal, yalnızca etkilenen bölgelere hedefli püskürtme yapılmak üzere tasarlandığından tüm tarlaya uygulanmaması gerekiyor. Çiftçi, YZ’nin yanıtlarını uygulamanın riskleri konusunda kendisini uyarmadığını iddia etti ancak sohbet sayfasında “YZ tarafından üretilen içerikler hatalı olabilir, lütfen doğrulayın” şeklinde bir uyarı yer alıyordu.
YZ güçlü bir araç olsa da geçmişte kötü tavsiyeler verme ve yanlış kararlar alma konusunda kabarık bir sicile sahip. Daha birkaç gün önce bir yazılımcı, rutin bir yedekleme prosedürü sırasında sistem bir yazım hatasıyla karşılaşınca tüm profil dizininin silinmesiyle karşı karşıya kaldı. Meta‘nın YZ Hizalama direktörü bile bu durumun kurbanı oldu; YZ ajanının tüm gelen kutusunu kazara temizlemesini engellemek için ajanın görevini manuel olarak sonlandırmak zorunda kaldı. Bu nedenle kullanıcıların, YZ’yi her kullandıklarında sınırlarının farkında olmaları büyük önem taşıyor.
Yaşanan olay, bir YZ hatasının gerçek dünyada somut ve fiziksel bir sonuç doğurduğunu bildirdiğimiz ilk vakalardan biri niteliğinde. Araca güvendiği için kişiyi tamamen suçlayamayız; sonuçta başlangıçta şüpheyle yaklaşmıştı, yani sistem zamanla çiftçinin güvenini kazanan sonuçlar üretti. Ancak bir YZ çıktısının son zamanlarda güvenilir olması, onun tamamen güvenilir olduğu anlamına gelmiyor. Ne de olsa mevcut Büyük Dil Modelleri (LLM) birer tahmin motorundan başka bir şey değil. Özellikle doğruluk ve gerçeklik açısından tamamen filtrelenmemiş kamuya açık bir bilgi tabanı üzerinde eğitildilerse, her kullanımda doğru yanıt vereceklerini garanti edemezsiniz.
Kaynak: https://www.tomshardware.com/tech-industry/artificial-intelligence/chinese-farmer-kills-25-acres-of-crops-after-following-ai-generated-weed-and-pest-control-advice-farmer-trusted-pesticide-recipe-after-months-of-successful-advice
