Bonsai 27B: primo modello AI da 27 miliardi di parametri eseguito su smartphone

Una nuova pietra miliare per l'AI su dispositivo

PrismML ha lanciato ufficialmente Bonsai 27B, un modello AI da 27 miliardi di parametri in grado di funzionare direttamente su uno smartphone, una novità assoluta per modelli di queste dimensioni. La startup, nata dal Caltech e sostenuta da Khosla Ventures, Cerberus e Google, afferma che il modello conserva dal 90% al 95% dell'intelligenza a piena precisione occupando solo 3,9 GB di memoria. Questa svolta potrebbe cambiare radicalmente il modo in cui gli sviluppatori distribuiscono carichi di lavoro AI agentici, passando da architetture dipendenti dal cloud a esecuzione completamente locale.

L'annuncio, fatto il 14 luglio 2026, arriva mentre circolano notizie secondo cui Apple ha avuto incontri con PrismML per una potenziale integrazione. Secondo un rapporto di The Information, Apple sta esplorando modi per utilizzare la tecnologia per funzionalità AI sul dispositivo. Coincidenza vuole che la beta pubblica di iOS 27, rilasciata lo stesso giorno, includa una nuova dettatura migliorata a livello di sistema e voci Siri personalizzabili basate su un modello di classe 27B, ampiamente ritenuto essere Bonsai 27B, disponibile su iPhone 17 Pro, iPhone 17 Pro Max e iPhone Air.

Come funziona Bonsai 27B

Bonsai 27B si basa sul modello open source Qwen 3.6 27B di Alibaba. PrismML lo comprime in due varianti utilizzando una quantizzazione estrema. Il Bonsai 27B ternario utilizza pesi ternari ({-1, 0, +1}) con scaling di gruppo FP16, raggiungendo 1,71 bit effettivi per peso e una dimensione totale di 5,9 GB. Il Bonsai 27B a 1 bit utilizza pesi binari ({-1, +1}) con 1,125 bit effettivi per peso, riducendo l'ingombro a soli 3,9 GB, abbastanza piccolo da rientrare nei limiti di memoria di un iPhone 17 Pro, che offre circa 6 GB di memoria utilizzabile per le app dopo il sovraccarico di sistema.

Entrambe le varianti eseguono l'intero modello end-to-end a precisione ridotta, inclusi embedding, attenzione, MLP e testa LM, senza vie di fuga a precisione più elevata. Supportano un contesto completo di 262K token, visione multimodale (tramite una torre di visione compatta a 4 bit), decodifica speculativa per la velocità e sono rilasciate sotto licenza Apache 2.0.

Prestazioni e risultati dei benchmark

In una suite di 15 benchmark che coprono conoscenza, ragionamento, matematica, coding, seguimento di istruzioni, chiamata a strumenti e visione, il Bonsai 27B ternario conserva il 95% della baseline Qwen 3.6 27B a piena precisione, mentre la variante a 1 bit conserva il 90%. Ancora più importante, il modello eccelle in aree critiche per carichi di lavoro agentici: i punteggi di matematica e coding sono quasi invariati, e le prestazioni di chiamata a strumenti rimangono entro pochi punti dalla piena precisione.

Per contesto, una versione quantizzata standard a 4 bit dello stesso modello base richiederebbe circa 18 GB e otterrebbe punteggi inferiori rispetto al Bonsai 27B a 1 bit. La densità di intelligenza del modello, una metrica introdotta da PrismML, è di 0,53 per GB, che è oltre 10 volte superiore alla baseline a piena precisione e circa 2,7 volte superiore alla migliore alternativa a bassa precisione disponibile.

L'interesse di Apple e l'integrazione in iOS 27

Il segnalato interesse di Apple per PrismML si allinea con la sua spinta più ampia verso l'AI su dispositivo. La beta pubblica di iOS 27, rilasciata il 14 luglio, include due nuove funzionalità che sfruttano un modello di classe 27B: un'esperienza di dettatura migliorata a livello di sistema, più accurata e sensibile al contesto, e la possibilità di personalizzare la voce di Siri con diversi livelli di ritmo ed espressività. Queste funzionalità sono esclusive di iPhone 17 Pro, iPhone 17 Pro Max e iPhone Air, dispositivi dotati del motore neurale e della larghezza di banda di memoria necessari.

Sebbene Apple non abbia confermato ufficialmente l'uso di Bonsai 27B, la tempistica e i requisiti tecnici suggeriscono fortemente una partnership. Apple ha una storia di acquisizioni di startup AI, inclusa l'acquisto da 2 miliardi di dollari di Q.ai, e la tecnologia di PrismML potrebbe essere la chiave per sbloccare modelli su dispositivo più potenti senza dipendere da server cloud.

Perché questo è importante per l'AI agentica

Il passaggio da modelli a risposta singola a carichi di lavoro agentici sostenuti e multi-step, in cui un assistente AI effettua centinaia di chiamate a strumenti, elabora documenti e interagisce con software, crea nuove esigenze. L'esecuzione solo cloud introduce latenza, costi per token e rischi per la privacy, poiché ogni risultato intermedio e dato utente attraversa la rete. L'esecuzione locale elimina questi vincoli, consentendo agenti persistenti sul dispositivo che funzionano offline e mantengono i dati privati.

Bonsai 27B raggiunge fino a 163 token al secondo in modalità 1 bit e 134 tok/s in modalità ternaria su una NVIDIA GeForce RTX 5090. Su un Apple M5 Max, raggiunge rispettivamente fino a 87 tok/s e 58 tok/s. Queste prestazioni, combinate con il ridotto ingombro, rendono fattibile l'esecuzione di AI avanzata direttamente su dispositivi consumer, aprendo nuove categorie di applicazioni.

Contesto del settore e confronti

Il lancio arriva mentre altri giganti della tecnologia spingono i confini dell'AI su dispositivo. Google ha recentemente aggiornato il suo sistema di ranking Android Bench per i modelli AI che programmano per Android, con Claude Fable 5 di Anthropic in testa con 84,5 punti. Nel frattempo, i chip AMD Ryzen AI Halo promettono 128 GB di memoria unificata per carichi di lavoro AI locali, ma Bonsai 27B raggiunge capacità comparabili a una frazione del costo hardware.

Per gli sviluppatori, Bonsai 27B offre un percorso pratico per distribuzioni ibride: instradare le attività sensibili alla privacy e non frontier al modello locale e riservare le API cloud per i passaggi più difficili. Ciò potrebbe ridurre drasticamente il costo per attività dei sistemi agentici migliorando al contempo la reattività e la privacy.

Disponibilità e prossimi passi

Bonsai 27B è disponibile oggi sotto licenza Apache 2.0. Funziona nativamente su dispositivi Apple (Mac, iPhone, iPad) tramite MLX e su GPU NVIDIA tramite CUDA, con kernel personalizzati a bassa precisione ottimizzati per la sua architettura di attenzione ibrida. PrismML offre anche un'API gratuita per sviluppatori in anteprima a tempo limitato. Il whitepaper tecnico completo è disponibile su GitHub.

Come osserva PrismML, la metodologia alla base di Bonsai è indipendente dall'architettura e l'azienda sta già lavorando a modelli più grandi e nuove architetture. La frontiera della densità di intelligenza continua a spostarsi verso sinistra e Bonsai 27B rappresenta il suo passo più grande finora verso un'AI avanzata veramente onnipresente.