MIT araştırmacıları yapay zeka modellerinde otomatik yorumlanabilirliği geliştiriyor.

Yapay zeka modelleri giderek daha yaygın hale geldikçe ve sağlık, finans, eğitim, ulaşım ve eğlence gibi çeşitli sektörlere entegre edildikçe, bunların perde arkasında nasıl çalıştığını anlamak kritik öneme sahiptir. Yapay zeka modellerinin altında yatan mekanizmaları yorumlamak, bunları güvenlik ve önyargılar açısından denetlememizi sağlar ve zekanın arkasındaki bilime dair anlayışımızı derinleştirme potansiyeline sahip.

İnsan beynini, belirli bir nesneyi algılamadaki rollerini incelemek için her bir nöronunu manipüle ederek doğrudan araştırabildiğimizi hayal edin. Böyle bir deney insan beyninde aşırı derecede istilacı olsa da, başka bir tür sinir ağında daha uygulanabilirdir: yapay olan. Ancak, insan beynine benzer şekilde, milyonlarca nöron içeren yapay modeller elle incelenemeyecek kadar büyük ve karmaşıktır, bu da ölçekte yorumlanabilirliği çok zorlu bir görev haline getirir.

Bu sorunu ele almak için MIT Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı (CSAIL) araştırmacıları, görüntülerin farklı özelliklerini değerlendiren yapay görme modellerini yorumlamak için otomatik bir yaklaşım benimsemeye karar verdiler. Diğer yapay zeka sistemleri üzerinde deney yapmak için araçlarla donatılmış bir görme-dil modeli omurgası kullanarak çeşitli sinir ağı yorumlanabilirlik görevlerini otomatikleştiren bir sistem olan “MAIA”yı (Çok Modlu Otomatik Yorumlanabilirlik Aracısı) geliştirdiler.

“Amacımız, yorumlanabilirlik deneylerini otonom olarak yürütebilen bir yapay zeka araştırmacısı yaratmak. Mevcut otomatik yorumlanabilirlik yöntemleri, verileri tek seferde etiketlemek veya görselleştirmekten ibaret. Öte yandan MAIA, hipotezler üretebilir, bunları test etmek için deneyler tasarlayabilir ve yinelemeli analiz yoluyla anlayışını geliştirebilir,” diyor CSAIL'de MIT elektrik mühendisliği ve bilgisayar bilimi (EECS) doktora sonrası araştırmacısı ve araştırma hakkında yeni bir makalenin ortak yazarı Tamar Rott Shaham . “Önceden eğitilmiş bir görme-dil modelini bir yorumlanabilirlik araçları kütüphanesiyle birleştirerek, çok modlu yöntemimiz, belirli modeller üzerinde hedeflenen deneyler oluşturup çalıştırarak kullanıcı sorgularına yanıt verebilir ve kapsamlı bir yanıt sağlayana kadar yaklaşımını sürekli olarak geliştirebilir.”

Otomatik ajanın üç temel görevi yerine getirdiği gösterilmiştir: Görme modelleri içindeki ayrı bileşenleri etiketler ve bunları etkinleştiren görsel kavramları açıklar, alakasız özellikleri kaldırarak görüntü sınıflandırıcılarını temizler ve çıktılarındaki olası adalet sorunlarını ortaya çıkarmaya yardımcı olmak için yapay zeka sistemlerindeki gizli önyargıları arar. CSAIL'de araştırma bilimcisi ve araştırmanın eş başkanı olan Sarah Schwettmann PhD '21, "Ancak MAIA gibi bir sistemin temel avantajlarından biri esnekliğidir," diyor. "MAIA'nın yararlılığını birkaç belirli görevde gösterdik, ancak sistem geniş muhakeme yeteneklerine sahip bir temel modelden oluşturulduğu için kullanıcılardan gelen birçok farklı türde yorumlanabilirlik sorgusunu yanıtlayabilir ve bunları araştırmak için anında deneyler tasarlayabilir."

Bir örnek görevde, bir insan kullanıcı MAIA'dan bir görme modelinin içindeki belirli bir nöronun tespit etmekten sorumlu olduğu kavramları tanımlamasını ister. Bu soruyu araştırmak için MAIA önce nöronu maksimum düzeyde aktive eden ImageNet veri kümesinden "veri kümesi örnekleri" alan bir araç kullanır. Bu örnek nöron için, bu görüntüler resmi kıyafetli insanları ve çenelerinin ve boyunlarının yakın çekimlerini gösterir. MAIA nöronun aktivitesini neyin yönlendirdiğine dair çeşitli hipotezler oluşturur: yüz ifadeleri, çeneler veya kravatlar. MAIA daha sonra araçlarını kullanarak sentetik görüntüler üreterek ve düzenleyerek her bir hipotezi ayrı ayrı test etmek için deneyler tasarlar; bir deneyde, insan yüzünün görüntüsüne bir papyon eklemek nöronun tepkisini artırır. Rott Shaham, "Bu yaklaşım, nöronun aktivitesinin belirli nedenini gerçek bir bilimsel deney gibi belirlememizi sağlar" diyor.

MAIA'nın nöron davranışlarına ilişkin açıklamaları iki temel şekilde değerlendirilir. İlk olarak, bilinen temel gerçek davranışları olan sentetik sistemler MAIA'nın yorumlarının doğruluğunu değerlendirmek için kullanılır. İkinci olarak, temel gerçek açıklamaları olmayan eğitilmiş AI sistemleri içindeki "gerçek" nöronlar için yazarlar, MAIA'nın açıklamalarının görünmeyen verilerdeki nöron davranışını ne kadar iyi tahmin ettiğini ölçen yeni bir otomatik değerlendirme protokolü tasarlar.

CSAIL liderliğindeki yöntem, ResNet, CLIP ve görme dönüştürücü DINO gibi çeşitli görme modellerinde bireysel nöronları tanımlayan temel yöntemlerden daha iyi performans gösterdi. MAIA ayrıca bilinen temel gerçek açıklamaları olan sentetik nöronların yeni veri kümesinde de iyi performans gösterdi. Hem gerçek hem de sentetik sistemler için açıklamalar genellikle insan uzmanların yazdığı açıklamalarla aynı seviyedeydi.

Rott Shaham, "Laboratuvarımız için doğal bir sonraki adımın yapay sistemlerin ötesine geçmek ve benzer deneyleri insan algısına uygulamak olduğunu düşünüyorum," diyor. "Bunu test etmek geleneksel olarak uyarıcıları elle tasarlamayı ve test etmeyi gerektiriyordu, bu da emek yoğun bir iş. Aracımızla bu süreci ölçeklendirebilir, aynı anda çok sayıda uyarıcı tasarlayıp test edebiliriz. Bu ayrıca insan görsel algısını yapay sistemlerle karşılaştırmamızı da sağlayabilir."

"İnsanlar için sinir ağlarını anlamak zordur çünkü her biri karmaşık davranış kalıplarına sahip yüz binlerce nörona sahiptirler. MAIA, bu nöronları otomatik olarak analiz edebilen ve damıtılmış bulguları sindirilebilir bir şekilde insanlara geri bildirebilen AI ajanları geliştirerek bu sorunu aşmaya yardımcı olur," diyor araştırmaya dahil olmayan Kaliforniya Üniversitesi Berkeley'deki yardımcı doçent Jacob Steinhardt. "Bu yöntemleri ölçeklendirmek, AI sistemlerini anlamak ve güvenli bir şekilde denetlemek için en önemli yollardan biri olabilir."

Rott Shaham ve Schwettmann'a makalede beş CSAIL üyesi eşlik ediyor: lisans öğrencisi Franklin Wang; yeni MIT öğrencisi Achyuta Rajaram; EECS doktora öğrencisi Evan Hernandez SM '22; ve EECS profesörleri Jacob Andreas ve Antonio Torralba. Çalışmaları kısmen MIT-IBM Watson AI Lab, Open Philanthropy, Hyundai Motor Co., Army Research Laboratory, Intel, National Science Foundation, Zuckerman STEM Leadership Program ve Viterbi Fellowship tarafından desteklendi. Araştırmacıların bulguları bu hafta Uluslararası Makine Öğrenmesi Konferansı'nda sunulacak.