Groq, büyük dil modelleri ile yıldırım hızında sorgulama yapmanızı sağlayacak arama motorunu tanıttı.

Groq artık doğrudan web sitesinde önde gelen büyük dil modelleri (LLM'ler) ile yıldırım hızında sorgular yapmanıza ve diğer görevleri gerçekleştirmenize olanak tanıyor.

Şirket bu özelliği geçen hafta sessizce tanıttı. Sonuçlar şirketin daha önce gösterdiğinden çok daha hızlı ve akıllı. Sorgularınızı yazmanıza izin veriyor, ancak sorguları sesli komutlarla konuşmanıza da izin veriyor.

Groq'un site motoru varsayılan olarak Meta'nın açık kaynaklı Llama3-8b-8192 LLM'sini kullanıyor. Ayrıca daha büyük Llama3-70b, bazı Gemma (Google) ve Mistral modelleri arasından seçim yapmanıza olanak tanır ve yakında diğer modelleri de destekleyecektir.

Bu deneyim, hem geliştiricilere hem de geliştirici olmayanlara bir LLM chatbot'un ne kadar hızlı ve esnek olabileceğini göstermesi açısından önemli. Groq'un CEO'su Jonathan Ross, insanlar Groq'un hızlı motorunda LLM'leri kullanmanın ne kadar kolay olduğunu gördüklerinde LLM kullanımının daha da artacağını söylüyor. Örneğin demo, bu hızda başka hangi görevlerin kolayca yapılabileceğine dair ipuçları veriyor; örneğin iş ilanları veya makaleler oluşturmak ve bunları anında değiştirmek gibi.

Bir örnekte, yarın başlayacak olan üretken yapay zeka hakkındaki VB Transform etkinliğimizin gündemini eleştirmesini istedim. Daha net kategorizasyon, daha ayrıntılı oturum açıklamaları ve daha iyi konuşmacı profilleri önermek de dahil olmak üzere geri bildirim sağlamakta neredeyse anında başarılı oldu. Dizilimi daha çeşitli hale getirmek için harika konuşmacı önerileri istediğimde, önerdiğim gibi bir tablo biçiminde bağlı oldukları kuruluşlarla birlikte hemen bir liste oluşturdu. Tabloyu anında değiştirebiliyor, örneğin iletişim bilgileri için bir sütun ekleyebiliyordum.

İkinci bir alıştırmada, organize olmama yardımcı olması için gelecek haftaki konuşma seanslarımın bir tablosunu oluşturmasını istedim. Sadece istediğim tabloları oluşturmakla kalmadı, aynı zamanda yazım düzeltmeleri de dahil olmak üzere hızlı bir şekilde kolayca değişiklik yapmama izin verdi. Ayrıca fikrimi değiştirebilir ve istemeyi unuttuğum şeyler için ekstra sütunlar oluşturmasını isteyebilirdim. Farklı dillere de çevirebiliyor. Bazen bir düzeltme yapması için birkaç kez sormam gerekti, ancak bu tür hatalar genellikle LLM düzeyinde, işlem düzeyinde değil. Bu kesinlikle LLM'lerin bu tür bir hızda çalışırken yapabilecekleri şeylerin haber setlerine işaret ediyor.

Groq, yapay zeka görevlerini rakiplerinden çok daha hızlı ve uygun maliyetli bir şekilde yerine getirebileceğini vaat ettiği için dikkatleri üzerine çekti ve bunun, kısmen LPU'nun doğrusal olarak çalışması nedeniyle bu tür görevlerde GPU'lardan çok daha verimli olan dil işleme birimi (LPU) sayesinde mümkün olduğunu söyledi. GPU'lar model eğitimi için önemli olsa da, yapay zeka uygulamaları gerçekten kullanıldığında - "çıkarım" modelin gerçekleştirdiği eylemleri ifade eder - daha az gecikmeyle daha fazla verimlilik gerektirirler.

Ross, VentureBeat'e verdiği demeçte Groq'un şimdiye kadar LLM iş yüklerine güç sağlamak için ücretsiz hizmet sunduğunu ve şu anda 282.000'den fazla geliştiriciden büyük bir alım aldığını söyledi. Groq hizmetini 16 hafta önce başlattı.

Groq motoruna sorgularınızı yazabileceğiniz gibi, artık bir mikrofon simgesine bastıktan sonra sorgularınızı konuşarak da yazabilirsiniz. Groq, sesinizi metne çevirmek için OpenAI'nin en son açık kaynaklı otomatik konuşma tanıma ve konuşma çeviri modeli olan Whisper Large V3 modelini kullanır. Bu metin daha sonra LLM için istem olarak eklenir.

Groq, teknolojisinin en kötü ihtimalle bir GPU'nun gücünün yaklaşık üçte birini kullandığını, ancak iş yüklerinin çoğunun gücün onda biri kadar azını kullandığını söylüyor. LLM iş yüklerinin ölçeklenmeyi asla bırakmayacağı ve enerji talebinin büyümeye devam edeceği bir dünyada, Groq'un verimliliği GPU'nun hakim olduğu hesaplama ortamı için bir zorluk teşkil ediyor.