Temmuz ayında OpenAI, yeni GPT-Live modelinden güç alan ChatGPT Voice için büyük bir güncelleme yayımladı. Yanıt vermek için kullanıcıların konuşmasını bitirmesini bekleyen geleneksel YZ ses asistanlarının aksine, GPT-Live aynı anda dinleyip konuşabiliyor. Böylelikle sohbetlerin çok daha doğal bir şekilde akmasını sağlıyor.
OpenAI şimdi aynı teknolojiyi, GPT-Live-1’i API üzerinden kullanıma sunarak geliştiricilere açıyor. Model; müşteri desteği, rezervasyonlar, dil öğrenimi, sağlık hizmetleri ve diğer iş akışları gibi alanlarda sesli ajanlar için kullanılabiliyor.
OpenAI’ın halihazırda doğal ses etkileşimlerini, canlı çeviriyi ve düşük gecikmeli sesten metne dönüştürme işlemlerini destekleyen çeşitli Realtime modelleri bulunuyor ancak GPT-Live-1 ile OpenAI’ın mevcut Realtime modelleri arasındaki en büyük fark, işin nasıl paylaşıldığında yatıyor. GPT-Live-1, dinleme, konuşma, duraksamalar, araya girmeler ve ek yardıma ne zaman ihtiyaç duyulacağına karar verme dahil olmak üzere doğrudan konuşmanın kendisini yönetiyor. Daha karmaşık akıl yürütme ve araç çağrıları ise sonrasında ayrı ve güçlü bir arka uç (backend) modeline devredilebiliyor.
Örneğin geliştiriciler, planlama ve sipariş güncellemeleri gibi basit görevler için GPT-Live-1’i daha uygun fiyatlı bir modelle eşleştirebilirken, daha karmaşık akıl yürütme gerektiren talepleri GPT-6 Astra‘ya bırakabiliyor. Ayrıca GPT-Live-1’i üçüncü taraf modellere, ajan altyapılarına veya kendi hizmetlerine de bağlayabiliyorlar. Buradaki en önemli avantaj, devredilen bu görevler arka planda çalışırken müşterilerin sesli sohbete kesintisiz devam edebilmesi.
OpenAI, GPT-Live-1’deki birkaç geliştirmeyi şöyle sıraladı:
- Gelen ve giden sesin birlikte işlenmesi sayesinde araya girmelerin (söz kesmelerin) daha iyi yönetilmesi.
- Sistem komutları aracılığıyla ton, konuşma hızı ve sohbet tarzı üzerinde daha fazla kontrol.
- Kullanıcıların sözünü gereksiz yere kesmeden, sessizlik ve arka plan gürültüsünün daha iyi idare edilmesi.
- Daha uzun sohbetler sırasında bağlamın daha iyi korunması.
- Telefon entegrasyonları sayesinde telefon tabanlı sesli ajan desteği.
- ASR (Otomatik Konuşma Tanıma) dökümlerinin ve yanıt metinlerinin yerleşik olarak sunulması, güçlü alfanümerik kavrama ve anahtar kelime yönlendirme desteği.
OpenAI, GPT-Live-1’in Full Duplex Bench testindeki performansını GPT-Realtime-2.1’e kıyasla 30 puan artırdığını iddia ediyor. Şirket, sistem orta düzeyde akıl yürütme eforuyla GPT-6 Astra ile eşleştirildiğinde, uçtan uca sesli ajan performansını ölçen bir test olan Tau3‘te ilk sıraya yerleştiğini söyledi.
Bu yeni ses modeliyle birlikte OpenAI, daha fazla aksan, lehçe ve dil barındıran bir dizi yeni gerçek zamanlı sesi de duyurdu. Yeni yelpazede Quartz, Ripple, Vesper, Willow, Stone, Gleam, Meridian, Bossa, Tempo, Beacon, Delta ve Cinder yer alıyor.
GPT-Live-1, ön uç (front-end) ses katmanı için dakikası 0.05 dolar olarak OpenAI API üzerinden kullanıma sunuldu. Geliştiricilerin, GPT-Live-1’e bağladıkları her türlü arka uç modeli ve araç için ayrıca ödeme yapması gerekecek.
Kaynak: https://www.neowin.net/news/openai-brings-chatgpts-gpt-live-1-voice-model-to-developers-for-005-per-minute/
