MIT araştırmacıları, robotların belleklerinde saklanan hatalı nesne tanımlarını tespit edip düzeltmelerine yardımcı olan yeni bir bellek sistemi geliştirdi. “UQ-DAAAM” adı verilen bu sistem, bir robotun tanımladığı nesneye dair ne kadar emin olması gerektiğini saptamak için aynı nesnenin farklı bakış açılarından elde edilen birden çok tanımını değerlendiriyor. Sistem ardından belirsizliği azaltmak amacıyla ek bakış açıları seçiyor ve gözlemleri birleştirerek daha doğru bir nesne tanımı ortaya koyuyor. Düzeltilen bu bilgi robotun belleğine kaydediliyor. Böylece robotun çevrede gezinme ve karmaşık görevleri yerine getirme becerisini potansiyel olarak artırıyor.
Robotlar Belleklerini Düzeltiyor
MIT araştırmacıları, robotların belleklerinde kayıtlı güvenilmez nesne tanımlarını tespit etmelerine, değerlendirmelerine ve düzeltmelerine olanak tanıyan yeni bir YZ sistemi geliştirdi.
UQ-DAAAM (Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment) teknolojisi, robotların çevrelerindeki nesneleri tanıma ve hatırlama kabiliyetlerini geliştirmek için bilgisayarla görme, dil modelleri ve belirsizlik nicelemesini bir araya getiriyor.
Sistem, temellerini daha önce geliştirilen DAAAM adlı robot bellek altyapısına dayandırıyor. DAAAM, robotun üzerindeki kameraların yakaladığı nesnelere dair ayrıntılı tanımlar üretmek için bir görme-dil modeli (VLM) kullanıyor. Bu tanımlar çevrenin üç boyutlu, harita tabanlı bir temsilinde saklanıyor; böylece robot soruları yanıtlarken veya görevleri icra ederken nesneler hakkındaki bilgilere erişebiliyor.
Ancak özgün sistem, nesnelerin kısmen göründüğü, uzakta kaldığı ya da bulanık veya yetersiz aydınlatılmış görüntülerde yakalandığı durumlarda kısıtlar taşıyor. Bu koşullarda görme-dil modeli hatalı tanımlar üretebiliyor. Örneğin bir çatıdaki gri bacayı sincap zannedebiliyor. Bu hataları giderecek bir mekanizma bulunmadığında ise yanlış bilgi robotun belleğinde kalabiliyor ve sonraki kararları olumsuz etkileyebiliyor.
UQ-DAAAM, görme-dil modelinin ürettiği tanımlardaki belirsizliği ölçen bir yöntem sunarak bu sorunu çözüyor. Bir robot ortamda hareket ederken kameraları sürekli görüntü yakalıyor ve genellikle aynı nesneleri birden çok bakış açısından kaydediyor. Yeni sistem, mevcut tanımın güvenilir olup olmadığını belirlemek için bu ek gözlemlerden yararlanıyor.
Araştırmacıların aktardığına göre sistem; ilk olarak hatalı tanımlanmış olabilecek bir nesneyi tarif ederken modelin ürettiği kelimelere duyduğu güveni değerlendiriyor. Ardından bu tanımı, aynı nesnenin farklı açılardan çekilmiş görüntülerinden üretilen açıklamalarla karşılaştırarak tutarlılığı ölçüyor.
Sistem bu iki ölçümü, nesneyi kavrama düzeyine dair güveni temsil eden tek bir belirsizlik puanında birleştiriyor. Puan önceden belirlenen eşiği aştığında, UQ-DAAAM bu tanımı potansiyel olarak güvenilmez kabul ediyor ve bir iyileştirme süreci başlatıyor.
Nesne Tanımayı Geliştiriyor
Sistem, kaydedilen bütün görüntüleri analiz etmek yerine belirsizliği azaltabilecek ek görüntüleme açılarını seçmek için kural tabanlı bir yöntem kullanıyor. Örneğin, robot bir bacayı başka bir nesneyle karıştırırsa bacadan yükselen dumanın göründüğü bir görüntüyü seçerek yapıyı daha doğru tanımlayabiliyor.
Araştırmacılar, bu seçim yönteminin görme-dil modelini tekrar tekrar çalıştırmadan yararlı görüntüleri tespit edebildiğini matematiksel olarak kanıtladı. Bu yaklaşım hesaplama gereksinimlerini azaltarak sistemin sınırlı işlemci kaynaklarına sahip hareketli bir robot üzerinde çalışmasına imkân veriyor.
Ek görüntüler seçildikten sonra bir büyük dil modeli (LLM), bu görüntülerin tanımlarını birleştirerek gözden geçirilmiş tek bir açıklama oluşturuyor. Sistem, nesnenin daha güvenilir bir temsilini üretmek için daha yeni olan ve daha az belirsizlik içeren tanımlara daha fazla ağırlık veriyor. Düzeltilen tanım, ileride başvurulmak üzere robotun belleğine kaydediliyor.
Yapılan testlerde iyileştirme süreci, nesne başına yalnızca iki ek açıklamaya ihtiyaç duyarak robotun çevresindeki nesnelerin yaklaşık yüzde 92’sindeki belirsizlikleri giderdi. Ayrıca nesne tanımlama doğruluğunu mevcut en gelişmiş yöntemlere kıyasla yüzde 5 artırdı.
Araştırmacılar ayrıca UQ-DAAAM’in nesneler, bu nesnelerin konumları ve robotun onlarla en son ne zaman karşılaştığına dair sorulara verilen yanıtların doğruluğunu artırdığını saptadı.
Ekip şimdi bu teknolojiyi mobil robotik manipülatörler de dahil olmak üzere farklı robot platformlarına uyarlamayı planlıyor. Ayrıca sistemin yüksek belirsizlik içeren alanları tespit edip daha iyi gözlemler toplamak amacıyla robotları bu noktaları yeniden ziyaret etmeye yönlendirip yönlendiremeyeceğini araştırıyor.
Kaynak: https://interestingengineering.com/ai-robotics/mit-robot-erase-and-rewrite-bad-memories
