OpenAI, YZ modellerinin çocuk bakımı hizmeti bulma, kişisel finans yönetimi ve resmi evrak işlemlerini tamamlama dahil günlük görevlerde insanlara ne kadar yardımcı olduğunu ölçmek üzere tasarlanan yeni kıyaslama ölçütü LifeVal‘ı tanıttı.
Duyurulan değerlendirme ölçütü, YZ sistemlerinin akademik bilgilerini veya geleneksel kıyaslama testlerindeki performanslarını sınamaktan ziyade, öncelikli olarak pratik destek sağlama yeteneklerini ölçmeyi amaçlıyor.
OpenAI, geçtiğimiz bir yıl boyunca modellerindeki gelişimi izlemek ve ilerletmek için LifeVal’ı kullandığını açıkladı. Değerlendirme, ev bütçesi hazırlama, yemek tariflerini uyarlama, market siparişi verme ve antrenman planlama gibi insanların düzenli karşılaştığı görevlere odaklanıyor.
OpenAI, LifeVal’i geliştirmek için ilk olarak iki veri setini inceledi: American Time Use Survey ve Multinational Time Use Study. Bu araştırmalar, insanların zamanlarını hangi faaliyetlere ayırdığını, bu faaliyetlerin demografik gruplara göre nasıl farklılaştığını ve YZ desteğinin hangi alanlarda faydalı olabileceğini belirlemesine yardımcı oldu.
American Time Use Survey, ABD’deki insanların ücretli çalışma, çocuk bakımı, gönüllülük ve sosyalleşme gibi aktivitelere zamanını nasıl ayırdığını kaydediyor. Multinational Time Use Study ise ulusal ölçekte rastgele örneklenen 100’ü aşkın anketten elde edilen 1 milyondan fazla günlük kaydını standart bir formatta bir araya getiriyor.
İkinci veri seti, araştırmacıların 30 ülkede ve 55 yılı kapsayan bir dönemde insanların iş, serbest zaman ve diğer aktiviteler arasında zamanlarını nasıl paylaştırdığını incelemesine olanak tanıyor.
OpenAI ardından bu veri setlerini, 3.995 katılımcının yer aldığı ve demografik olarak temsil gücü yüksek yeni bir anketle takviye etti. Katılımcılara kişisel bir YZ asistanından en çok nerelerde yardım almak istedikleri ve hangi günlük görevleri üstlenmesini istedikleri soruldu.
Gelen yanıtlar, bakım sağlama, sağlık, eğitim, ev idaresi, kişisel finans, alışveriş ve kamu hizmetlerine erişim gibi ölçütün odak alanlarını şekillendirdi.
LifeVal kapsamında değerlendirilen görevler arasında çocuk bakımı hizmeti bulma, bütçe hazırlama, tarifleri belirli gereksinimlere uyarlama, market ürünleri sipariş etme ve egzersiz programları düzenleme yer alıyor.
OpenAI’a göre bu değerlendirme ölçütü, YZ modellerinin insanların karar alma süreçlerinde, sorumluluklarını yönetmelerinde ve günlük yaşamlarında önemli yer tutan görevleri tamamlamalarında ne kadar yardımcı olabildiğini ölçmeyi amaçlıyor.
Duyuru ayrıca, soruları yanıtlamak ile bir kişinin gereksinimlerini karşılayan pratik yardım sunmak arasındaki farkın altını çiziyor.
Bununla birlikte, bu tür değerlendirmelerdeki performans, bir modelin gerçek dünyadaki her durumu ne kadar güvenilir şekilde ele alacağını bağımsız olarak kanıtlamıyor. OpenAI’ın duyurusu, LifeVal ile bağlantılı herhangi bir ürün için çıkış takvimi sunmadığı gibi, kıyaslama ölçütünün tanımı haricinde ek bir performans verisi de açıklamadı.
Kaynak: https://www.firstpost.com/tech/openai-introduces-a-new-tool-to-test-how-well-ai-handles-everyday-tasks-here-is-how-it-works-14057310.html
