Deepseek, şirket içi çıkarım altyapısı DeepInfer’ı Apache License 2.0 altında açık kaynak yaptı. Çıkarım (inference), eğitilmiş bir yapay zeka (YZ) modelinin gelen istekleri işleyerek yanıt üretmesi sürecini ifade ediyor. DeepInfer ise Deepseek’in V4.1-Flash modelinin büyük ölçekte ve hızlı biçimde yanıt üretmesini sağlayan yazılım altyapısı olarak kullanılıyor.
Bu altyapı, optimize edilmiş işlem çekirdekleri, birden fazla çip arasında dağıtık işleme ve daha hızlı metin üretme teknikleriyle vLLM altyapısını temel alıyor. Gelecekteki Deepseek modellerinin kodları da açık kaynak olarak yayımlanacak. Deepseek ayrıca, yerel barındırılan sistemlerin de aynı şekilde çalışmasını sağlamak amacıyla resmi Deepseek API’sinin token işleme sürecini birebir kopyalayan deepseek-recipe aracını kullanıma sunuyor.
Deepseek’in modelleri zaten son derece ucuz. DeepInfer, bu modelleri daha da ucuza çalıştırmak için son boşluğu kapatıyor. Şirket X üzerinden yaptığı açıklamada, amacın “topluluğun işlem maliyetlerini düşürmesine, enerji kullanımını azaltmasına ve YZ’yi daha erişilebilir kılmasına yardımcı olmak” olduğunu belirtti. Ancak bu sürüm, OpenAI ve Anthropic gibi Batılı sağlayıcılar üzerindeki fiyat baskısını da artırıyor. Çin ile ABD arasındaki YZ yarışı göz önüne alındığında, söz konusu hamlenin siyasi bir motivasyonu da olabilir. Batılı YZ şirketlerinin büyüme hedeflerini tutturamaması ise ABD ekonomisi ve diğer ülkelerin ekonomileri için bir risk oluşturuyor.
Kaynak: https://the-decoder.com/deepseek-open-sources-the-inference-engine-that-powers-its-fastest-and-cheapest-ai-model/
