NVIDIA'nın yeni yapay zeka modeli Fugatto, metin komutlarından ses oluşturabiliyor.

NVIDIA, “ses için bir İsviçre çakısı” olarak tanımladığı yeni bir deneysel üretken yapay zeka modelini piyasaya sürdü. Foundational Generative Audio Transformer Opus 1 ya da Fugatto adı verilen model, metin komutlarından komutlar alabiliyor ve bunları ses oluşturmak ya da mevcut müzik, ses ve ses dosyalarını değiştirmek için kullanabiliyor. Dünyanın dört bir yanından gelen yapay zeka araştırmacılarından oluşan bir ekip tarafından tasarlandı ve NVIDIA bunun modelin “çok aksanlı ve çok dilli yeteneklerini daha güçlü hale getirdiğini” söylüyor.

Projenin arkasındaki araştırmacılardan biri ve NVIDIA'da uygulamalı ses araştırmaları yöneticisi olan Rafael Valle, “İnsanların yaptığı gibi sesi anlayan ve üreten bir model oluşturmak istedik” dedi. Şirket, duyurusunda Fugatto'nun kullanılabileceği bazı olası gerçek dünya senaryolarını listeledi. Müzik yapımcılarının bu teknolojiyi kullanarak bir şarkı fikri için hızlıca bir prototip oluşturabilecekleri ve daha sonra farklı tarzlar, sesler ve enstrümanlar denemek için kolayca düzenleyebilecekleri belirtildi.

İnsanlar bunu dil öğrenme araçları için kendi seçtikleri sesle materyaller üretmek için kullanabilir. Video oyunu geliştiricileri de oyuncuların seçimlerine ve eylemlerine bağlı olarak oyundaki değişikliklere uyacak şekilde önceden kaydedilmiş varlıkların varyasyonlarını oluşturmak için kullanabilir. Ayrıca araştırmacılar, modelin bazı ince ayarlarla ön eğitiminin bir parçası olmayan görevleri de yerine getirebileceğini keşfetti. Model, ayrı ayrı eğitildiği talimatları birleştirebiliyor; örneğin belirli bir aksanla öfkeli bir konuşma ya da fırtına sırasında öten kuşların sesini üretebiliyor. Model, zaman içinde değişen sesler de üretebilir, örneğin bir yağmur fırtınasının karada ilerlerken çıkardığı ses gibi.

NVIDIA, Fugatto'ya halkın erişimine izin verip vermeyeceğini söylemedi, ancak model, metin istemlerinden sesler oluşturabilen ilk üretken yapay zeka teknolojisi değil. Meta daha önce metin açıklamalarından sesler oluşturabilen açık kaynaklı bir yapay zeka kiti yayınlamıştı. Google'ın MusicLM adında, insanların şirketin AI Test Kitchen web sitesi aracılığıyla erişebileceği kendi metinden müziğe yapay zekası var.

‍