DeepSeek apre le fonti di DeepInfer: il motore dietro i suoi 155 trilioni di token giornalieri

DeepSeek svela DeepInfer

DeepSeek ha rilasciato DeepInfer, il framework di inferenza ad alte prestazioni che alimenta i suoi servizi di produzione su larga scala, come progetto open source con licenza Apache 2.0. L'annuncio, fatto il 21 ottobre 2026, offre a sviluppatori e aziende uno sguardo raro sullo stack software che serve la straordinaria cifra di 155 trilioni di token al giorno su un singolo cluster.

Il framework, che ha già accumulato oltre 10.800 stelle su GitHub, non è una demo ridotta: include le funzionalità principali che DeepSeek utilizza in produzione, sebbene con alcuni componenti chiave trattenuti. Questo rilascio segna un passo significativo nella strategia di DeepSeek di condividere la propria infrastruttura mantenendo al contempo un vantaggio competitivo.

Cos'è esattamente DeepInfer?

DeepInfer è un motore di inferenza, il livello software che esegue modelli AI addestrati, elabora le richieste in arrivo e genera risposte. La sua efficienza determina direttamente i costi di calcolo e il consumo energetico per i servizi AI. Gli ingegneri di DeepSeek hanno costruito DeepInfer principalmente su vLLM, traendo ispirazione da SGLang e TensorRT-LLM, ma lo hanno pesantemente personalizzato con ottimizzazioni proprietarie.

Al momento del lancio, DeepInfer supporta DeepSeek-V4.1-Flash, l'ultimo modello dell'azienda, con il codice per i modelli futuri che si prevede sarà inserito nel repository. Il framework funziona su GPU NVIDIA SM100 e NPU Huawei Ascend 950, riflettendo la strategia dual-platform di DeepSeek.

Caratteristiche principali: kernel ottimizzati e DSpark

Il framework include diversi kernel ottimizzati che DeepSeek ha già reso open source, tra cui FlashMLA, DeepGEMM, DeepEP e TileKernels. Questi sono completati da kernel TileLang personalizzati per l'esecuzione del modello. Il risultato è un runtime altamente ottimizzato sia per le fasi di prefill che di decode.

Una delle caratteristiche di spicco è DSpark, la decodifica speculativa con pianificazione della confidenza di DeepSeek. Questa tecnica utilizza token bozza per accelerare la decodifica, con stime di confidenza che determinano quando verificare le previsioni. Gli sviluppatori possono controllare la lunghezza massima della bozza tramite la variabile d'ambiente DEEPINFER_USE_NEXTN_DECODE, con un valore predefinito di 5 token.

Altre caratteristiche degne di nota includono:

• Parallelismo: Attention DP / balanced CP, più MoE EP con bilanciamento del carico EPLB
• SWA bounded replay: riduce il lavoro di prefill del decoder riproducendo solo un suffisso limitato del contesto
• Pianificazione asincrona: sovrappone la pianificazione batch della CPU con l'esecuzione del dispositivo, abilitata per impostazione predefinita
• Inferenza invariante rispetto al batch: garantisce risultati identici tra diverse composizioni batch (solo NVIDIA)
• Campionamento deterministico: output riproducibili con seed fissi (solo NVIDIA)
• Output strutturati: vincola la generazione a grammatiche regex, schema JSON o EBNF

Cosa manca? Le parti proprietarie

DeepInfer non è un servizio di inferenza completo pronto all'uso. DeepSeek nota esplicitamente che il rilascio esclude:

• Un sistema di cache KV per la gestione delle cache chiave-valore su larga scala
• Disaggregazione VE/Prefill/Decode (sebbene la maggior parte delle funzionalità del motore richieste sia implementata)
• Bilanciamento del carico tra repliche data-parallel per prefill e decode

Questi componenti sono critici per il servizio multi-tenant di livello produttivo. Trattenendoli, DeepSeek mantiene un vantaggio competitivo nelle proprie offerte cloud, fornendo comunque una base preziosa per gli sviluppatori.

Approfondimenti sulla produzione e prestazioni

Il rilascio include benchmark delle prestazioni misurati su 4 GPU SM100 per il prefill e 64 GPU SM100 per il decode, ciascuno all'interno di un singolo dominio di scalabilità. L'azienda riporta un fatturato di US$38 per ora-GPU a prezzi di valle, offrendo uno sguardo sull'economia dell'inferenza AI su larga scala.

In produzione, DeepSeek esegue il decode con parallelismo degli esperti (EP) da 64 a 128 all'interno di un supernodo, mentre il prefill utilizza l'EP più piccolo consentito dalla memoria, tipicamente EP2 a EP8. Questa configurazione asimmetrica ottimizza la produttività e la latenza.

Anche open source: deepseek-recipe

Insieme a DeepInfer, DeepSeek ha rilasciato deepseek-recipe, un componente di codifica e decodifica dei token di livello produttivo. Converte tra i protocolli API LLM mainstream e le sequenze di token del modello, garantendo che i fornitori di API di terze parti possano replicare il comportamento esatto dell'API ufficiale di DeepSeek. Questa mossa semplifica la distribuzione di servizi compatibili.

Perché è importante

L'apertura delle fonti di DeepInfer è una mossa strategica. Condividendo il proprio stack di inferenza, DeepSeek consente all'ecosistema più ampio di ottimizzare i propri modelli, aumentando potenzialmente l'adozione. Allo stesso tempo, l'azienda mantiene proprietarie le sue capacità di servizio più avanzate, proteggendo i propri interessi commerciali.

La mossa mette anche sotto pressione concorrenti come vLLM e SGLang, che fungono da standard di settore per l'inferenza open source. Le prestazioni comprovate in produzione di DeepInfer e il rapido ritmo di rilascio di DeepSeek potrebbero renderlo una scelta preferita per la distribuzione di modelli DeepSeek in particolare.

Per iniziare

Per utilizzare DeepInfer, gli sviluppatori hanno bisogno di Linux, GCC 13+, Python 3.12 e CUDA 13 (NVIDIA) o CANN 9.2 (Ascend). Il framework è compilato dal sorgente e il checkpoint predefinito deepseek-ai/DeepSeek-V4.1-Flash-1017 viene scaricato da Hugging Face al primo avvio. Un semplice python examples/offline_inference.py ti fa iniziare.

DeepSeek si è impegnata a rendere open source il codice di inferenza per i modelli futuri in questo repository, segnalando che DeepInfer si evolverà insieme ai suoi rilasci di modelli. Per ora, è uno strumento potente per chiunque voglia eseguire DeepSeek-V4.1-Flash su larga scala con ottimizzazioni all'avanguardia.