Georgia State Üniversitesi Andrew Young Kamu Politikası Araştırmaları Okulu Kamu Yönetimi ve Politikası Bölümü’nde yardımcı doçent olan Andrew Heiss, güz döneminin sonuna gelindiğinde öğrencilerinin ödevlerini değerlendirirken endişe verici bir durum fark etmişti.
Günümüz eğitimcileri için artık rutin hale geldiği üzere Heiss, ödevlerdeki atıfların gerçek kaynaklara dayanıp dayanmadığını ve bir yapay zeka (YZ) sohbet robotu tarafından üretilen sahte referanslar olup olmadığını titizlikle kontrol ediyordu. Tahmin edilebileceği üzere, ödevlerinde hile yapmak amacıyla üretken yapay zeka kullanan bazı öğrencilerini yakaladı. Botlar sadece metin yazmakla kalmıyor, iddiaları desteklemek için uydurma kanıtlar sunabiliyor ve bulguları daha önce yayımlandığı iddia edilen makalelere atfedebiliyordu ancak modelin yanlış hukuki emsaller sunması nedeniyle YZ ile dilekçe hazırlarken yakalanan avukatlarda görüldüğü gibi, öğrenciler de aslında var olmayan akademik makale ve dergilere işaret eden, kulağa son derece mantıklı gelen dipnotlarla karşı karşıya kalmıştı.
Söz konusu durum tek başına alışılmadık değildi fakat Heiss ödevleri incelediği sırada YZ tarafından üretilen atıfların artık profesyonel bilim dünyasını da istila ettiğini anladı. Google Akademik üzerinden sahte bir kaynağın peşine her düştüğünde, düzinelerce yayımlanmış makalenin aynı uydurma çalışmaların ve dergilerin hafifçe değiştirilmiş versiyonlarına dayandığını gördü.
Heiss, Rolling Stone’a verdiği demeçte, otizm teşhisini bir YZ modeliyle iyileştirmeyi tartışan ama içinde anlamsız bir infografik barındıran ve ayın başlarında geri çekilen makaleyi hatırlattı. Heiss, “Fakat söz konusu uydurma dergi sorunu biraz daha farklı.” şeklinde ekledi.
Bunun sebebi, var olmayan araştırma materyallerine atıfta bulunan ve geri çekilmeyen makalelerin bizzat diğer çalışmalarda kaynak gösterilmesiyle sahte atıfların adeta “aklanıyor” olması. Bahsedilen gelişme, öğrencilerin ve akademisyenlerin (ve yardım istedikleri büyük dil modellerinin) kaynakların doğruluğunu onaylamadan onları güvenilir olarak tanımlamasına yol açıyor. Sahte atıflar bir makaleden diğerine sorgulanmadan tekrarlandıkça, meşruiyet illüzyonu daha da güçleniyor.
Sahte kaynaklar araştırma kütüphanecileri için de bir kabusa dönüştü. Tahminlere göre kütüphaneciler, ChatGPT veya Google Gemini’nin atıfta bulunduğu var olmayan kayıtlar için yapılan taleplere yanıt verirken çalışma saatlerinin %15’ini boşa harcıyor.
Heiss ayrıca, YZ tarafından üretilen notların yaşayan akademisyenlerin isimlerini ve mevcut literatüre çok benzeyen başlıkları içermesi nedeniyle okuyucu için son derece ikna edici olabildiğini fark etti. Bazı vakalarda atıf kendisini gerçek bir yazara götürse de makalenin başlığının ve derginin tamamen uydurma olduğunu gördü. Anlatılan sahte başlıklar, yazarın geçmişte yayımladığı çalışmalara ve ilgili konuyu kapsayan gerçek dergilere çarpıcı bir benzerlik gösteriyordu.
Büyük dil modelleri yaygınlaştığından beri akademisyenler, sahte içeriklerin bilgi alanını istila ederek verilere olan hakimiyetimizi tehdit ettiği konusunda uyarılarda bulunuyor. Psikolog ve bilişsel bilimci Iris van Rooij, akademik kaynaklar arasındaki YZ “çöpünün” ortaya çıkışının, “bilginin yok edilişi” anlamına geldiğini savundu. Temmuz ayında van Rooij ve meslektaşları, üniversiteleri eleştirel düşünceyi, uzmanlığı ve bilimsel dürüstlüğü korumak için pazarlama stratejilerine karşı direnmeye çağıran bir açık mektup imzaladı. Yazarlar, okulların öğretim üyelerini YZ kullanmaya zorladığını iddia ederek, teknolojinin eğitimde gerçekten yararlı bir rolü olup olmadığına dair daha titiz bir analiz talep etti.
Yazılım mühendisi ve teknoloji uzmanı Anthony Moser, sohbet robotlarının eğitim kurumlarının içini nasıl boşaltabileceğini önceden görenler arasındaydı. Moser, 2023 yılında Bluesky’da paylaştığı bir gönderide “Bir yerlerde ChatGPT ile müfredat hazırlayan ve var olmayan kitaplardan okuma ödevi veren bir eğitmen hayal ediyorum ancak öğrenciler durumu fark etmiyor çünkü onlar da ChatGPT’den kitabı özetlemesini veya makaleyi yazmasını istiyorlar.” diye yazmıştı. Moser, ilgili gönderisini paylaştığında üzerine şu yorumu ekledi: “Bunun gerçek olmasının daha uzun sürmesini dilerdim.”
Moser, büyük dil modellerinin hayali yayınlar “uydurmasının” dünyayı kavrayışımıza yönelik tehdidini yanlış anladığımızı söylüyor çünkü ona göre uydurma terimi, gerçeğin normal ve doğru algılanışından farklı bir durumu ifade ediyor. Oysa sohbet robotlarının her zaman uydurduğunu belirten Moser, “Yaşanan durum bir arıza değil. Tahminleyici bir model metin tahmin eder; belki doğrudur, belki değildir ama süreç her iki durumda da aynıdır. Başka bir deyişle: Büyük dil modelleri yapısal olarak gerçeğe kayıtsızdır.” ifadelerini kullanıyor.
Moser, büyük dil modellerinin bilgi ekosistemini temelinden kirlettiğini ekleyerek, sahte atıfların özensiz araştırmalarda ortaya çıktığını ve oradan diğer makalelere sızarak yayıldığını belirtiyor. Söz konusu içeriği uzun ömürlü zararlı kimyasallara benzeten Moser, “İzini sürmek ve kaçınmaya çalışsanız bile filtrelemek zordur.” diyor.
Moser, yaşanan sorunu, itirazların görmezden gelindiği bilinçli seçimlerin tamamen öngörülebilir bir sonucu olarak nitelendiriyor fakat yapay zeka tüm suçun tek sahibi değil. Moser, “Kötü araştırma yeni bir şey değil.” diyerek soruna dikkat çekiyor. Moser’a göre büyük dil modelleri problemi çarpıcı biçimde büyütmüş olsa da akademik dünyada zaten yoğun bir yayın yapma baskısı bulunuyordu. Yükseköğretimin, atıflar ve hibelerle ölçülen “bilgi şeklindeki nesneler” üretme üzerine organize olması nedeniyle, halihazırda şüpheli veya sahte veriler kullanan pek çok kötü makale mevcuttu.
California Üniversitesi San Diego’da felsefe profesörü olan Craig Callender de değerlendirmeye katılarak, var olmayan dergilerin meşruiyet kazanmasının mevcut eğilimlerin mantıklı bir sonucu olduğunu gözlemliyor. Callender, zaten kâr amacıyla sahte makaleleri kabul eden veya taraflı içerikleri yayımlayan dergilerin bulunduğunu açıklıyor: “Bilimsel yayıncılıktaki ‘bataklık’ büyüyor. Mevcut uygulamalar, meşru olmayan dergileri veya makaleleri meşru gösteriyor. Dolayısıyla var olmayan dergilere geçiş aşaması dehşet verici olsa da pek şaşırtıcı değil.”
Callender, sürece YZ dahil olduğunda söz konusu bataklığın hızla genişlediğini belirtiyor. “Örneğin, tüm bunlar yapay zeka destekli Google aramalarıyla neredeyse geri dönülemez bir hal alıyor. Aramalar, dezenformasyonu pekiştirdikleri gibi, ilgili dergilerin gerçekten var olduğu algısını da güçlendirecektir.” şeklinde bir tespitte bulunuyor.
Yaşanan her şey, araştırmacıların sınırlı bir ayıklama kapasitesiyle adeta bir çöp çığının altında kaldıkları hissine kapılmalarına neden oluyor. Heiss, “Özellikle sahte içeriğin kazara kamuya açık araştırma veri tabanlarına yerleşmesi, tüm öğretim üyeleri için evrensel düzeyde cesaret kırıcı. İddiaların nereden kaynaklandığını görmek için atıf zincirini geriye doğru izlemek çok zor.” diyor.
Elbette pek çok kişi kaynakların doğruluğunu araştırmayı denemiyor bile. Sahte içeriklerin bu kadar yayılmasının temel nedeni de tam olarak buradan kaynaklanıyor. YZ teknolojisinin eleştirel olmayan şekilde direkt benimsenmesi, tam da onun gelişen zararlarına karşı en tetikte olmamız gereken anda bizi daha saf inanışlı hale getirmiş görünüyor. Belki de şu anda birileri, bu olgunun gerçek bir çalışması üzerinde ter döküyordur.
Kaynak: https://www.rollingstone.com/culture/culture-features/ai-chatbot-journal-research-fake-citations-1235485484/
