Deepmind araştırmacıları Adrien Baranes ve Rob Marchant, “Tipik bir YZ aracı kendi penceresinde yaşadığı için kullanıcılar dünyalarını ona taşımak zorunda kalıyor. Biz bunun tam tersini istiyoruz.” diyor. Hassas komutlara bel bağlamak yerine, Gemini destekli bir imleç, odaklandığı noktanın etrafındaki görsel ve semantik bağlamı yakalamayı hedefliyor. Kullanıcılar böylece ses ve jestlerle desteklenen “Bunu düzelt” veya “Şunu şuraya taşı” gibi kısa komutlarla çalışabiliyor.
Deepmind’a göre pikseller; yerler, tarihler veya nesneler gibi yapılandırılmış varlıklara dönüşüyor. El yazısıyla alınmış bir not etkileşimli bir yapılacaklar listesine, duraklatılmış bir video karesi ise bir rezervasyon bağlantısına evriliyor. Bu ilkeler, kullanıcıların bir web sayfasının belirli bölümlerini seçip doğrudan soru sorabildiği Chrome’daki Gemini’a şimdiden entegre ediliyor. Yakında çıkacak olan Googlebook cihazında bu özellik “Magic Pointer” adıyla sunulacak.
Daha karmaşık görevler hala kesin tanımlamalar gerektirdiği için bu yöntem prompt mühendisliğinin yerini almayacak. Diğer araçlar, ayrıntılı promptlar için görsel referans noktası görevi gören ekran görüntülerine veya görsel ve video editörlerindeki kırmızı oklar gibi elle çizilmiş işaretlere dayanıyor. DeepMind’ın yaklaşımı ise çoğunlukla bağlamı modele aktarmak için gereken çabayı azaltarak kısa, sohbet benzeri günlük etkileşimleri daha akıcı hale getiriyor.
Kaynak: https://the-decoder.com/from-prompt-to-pointer-engineering-deepmind-tries-to-reinvent-the-mouse-cursor-for-the-ai-era/
