The Information‘ın konuyu yakından bilen iki kişiye dayandırarak yayınladığı habere göre Google, Gemini modelinin mimarisinin bir bölümünü doğrudan silisyuma kazıyacak “Frozen v2” kod adlı bir sunucu çipi geliştiriyor. Projedeki mühendisler, çipin Google‘ın en yeni nesil TPU‘larına kıyasla güç birimi başına 6 ile 10 kat daha fazla token işleyebileceğini ve çipin en erken 2028’de kullanıma sunulmasının hedeflendiğini öngörüyor. İki kaynak, projenin kısmen Google Cloud‘un dış müşterilerden gelen anlaşmaları geri çevirmesine yol açacak kadar ciddi bir YZ işlem gücü kıtlığına yanıt olarak başlatıldığını ifade ediyor.
Tıpkı bir GPU gibi TPU da üzerine yüklenen her modeli çalıştırıyor. Bu nedenle donanım, çalıştırdığı her model için çalışma anında zaman alan kararlar vermek zorunda kalıyor. Frozen v2 ise Gemini için bu kararların bir kısmını doğrudan transistör seviyesinde sabitleyerek çipin attığı adım sayısını ve sorgu başına aktardığı veri miktarını azaltıyor. Kaynaklardan biri, bu durumun yanıt gecikmesini yeni uygulamalara imkan tanıyacak kadar düşürebileceğini belirtiyor.
Google DeepMind baş bilim insanı Jeff Dean liderliğinde yürütülen ilk Frozen tasarımı daha da ileri giderek Gemini‘ın model ağırlıklarını doğrudan çipin içine gömmeyi hedefliyordu. Habere göre Google, tek bir model sürümüne bağlı kalacak bir silisyumun kullanım ömrü çok kısa olacağı için bu teklifi rafa kaldırdı. Frozen v2 ise bunun yerine mimariyi sabitliyor ve ağırlıkları güncellenebilir bırakıyor. Böylece çip, Google bu modelleri aynı temel mimari üzerine inşa ettiği sürece farklı Gemini sürümlerinde de kullanılabilir kalıyor. Modelin ne kadarının sabitleneceğine henüz karar verilmedi.
Google, Frozen v2‘yi TPU hacimlerinde üretmeyi planlamıyor ve bu nesli model tasarımları oturdukça daha özelleşmiş silisyumlar için bir deneme adımı olarak görüyor. Çip, nisan ayındaki Cloud Next etkinliğinde duyurulan sekizinci nesille birlikte eğitim ve çıkarım olarak iki ayrı seriye bölünen TPU hattının yerini almak yerine onun yanında görev yapacak. Çip için hedeflenen 2028 yılı, aynı zamanda Google’ın Intel’den 3 milyondan fazla TPU için paketleme kapasitesi ayırttığının bildirildiği yıla denk geliyor.
Modelin doğrudan donanıma sabitlendiği çıkarım çiplerinin örnekleri zaten bulunuyor. Quiet Capital ve Fidelity‘nin de aralarında yer aldığı yatırımcılardan 200 milyon dolardan fazla fon toplayan Toronto merkezli girişim Taalas, şubat ayında HC1 çipini tanıttı. Çip, TSMC‘nin N6 sürecinde üretilen 815 milimetrekarelik bir silisyum kalıbına kalıcı olarak gömülmüş Llama 3.1 8B modelini barındırıyor. Şirket, paket üzerinde hiçbir HBM belleği olmadan kullanıcı başına saniyede 17.000 token hıza ulaştığını iddia ediyor. Nvidia ise aralık ayında çıkarım çipi tasarımcısı Groq’un teknolojisini lisanslamak için 20 milyar dolarlık bir anlaşma yaptı.
Google projeyi henüz resmi olarak doğrulamadı. Bir şirket sözcüsü The Information’a her projenin üretim aşamasına geçmediğini söyledi ve “Bu titiz araştırma süreci, donanımdan yazılıma tüm teknoloji katmanlarını kapsayan yaklaşımımızın merkezinde yer alıyor.” dedi.
Kaynak: https://www.tomshardware.com/tech-industry/google-reportedly-developing-frozen-v2-chip-with-geminis-architecture-etched-into-the-silicon
