Dessa di Block: Modello vocale AI addestrato esclusivamente sul parlato

Dessa di Block: un modello conversazionale addestrato solo sul parlato

Block, l'azienda di tecnologia finanziaria guidata da Jack Dorsey, ha presentato Dessa, un nuovo modello di intelligenza artificiale che promette di ridefinire l'interazione vocale tra uomo e AI. Sviluppato da un piccolo laboratorio di ricerca all'interno di Block, Dessa è presentato come il primo AI al mondo in grado di sostenere una conversazione dal vivo realistica dopo essere stato addestrato esclusivamente sul parlato umano. Questo allontanamento dal paradigma testocentrico della maggior parte dei grandi modelli linguistici potrebbe segnare un cambiamento significativo nel modo in cui le macchine comprendono e generano il linguaggio parlato.

L'annuncio, pubblicato sul sito web di Block e in un post su X da Ragavan Thurairatnam, responsabile di Dessa, posiziona il modello come una sfida diretta ai limiti degli attuali assistenti vocali. Questi sistemi in genere convertono il parlato in testo, lo elaborano e poi sintetizzano una risposta parlata, un processo che scarta la ricca informazione emotiva e paralinguistica incorporata nella voce umana. Dessa, al contrario, opera come un vero modello da parlato a parlato, elaborando l'audio direttamente e rispondendo in tempo reale con tempismo, emozione e sfumature naturali.

Audio in ingresso, audio in uscita: una nuova architettura

Dessa è descritto come un modello full-duplex, il che significa che può ascoltare e parlare simultaneamente, proprio come un essere umano in una conversazione. Questo gli permette di interrompere, fare da spalla con suoni come "sì", "capito" o "ooh", e rispondere a segnali come tono, pause e risate. Il modello è stato addestrato da zero solo su conversazioni umane, senza testo né modelli pre-addestrati. Questo approccio, secondo Block, consente a Dessa di sentire e parlare in modo nativo emozioni, sarcasmo, risate, un sospiro di frustrazione o una voce che si incrina per la tristezza, elementi che in genere vanno persi quando il parlato viene appiattito in testo.

Il processo di addestramento è stato computazionalmente intensivo ma efficiente in termini di dati. Block nota che Dessa ha appreso il linguaggio da centinaia di volte meno parole rispetto ai tipici LLM, sebbene abbia dovuto imparare molto più del linguaggio: accenti, respirazione, inflessione e tempismo conversazionale. L'azienda afferma che il modello è stato addestrato su un singolo NVIDIA GB200 NVL72, una configurazione hardware potente ma non senza precedenti. L'inferenza è più veloce del tempo reale e il modello può funzionare localmente su un MacBook Pro M4 Max o superiore, rendendolo accessibile per hardware consumer.

Perché è importante: i limiti dell'AI vocale basata su testo

La motivazione alla base di Dessa è triplice: curiosità, migliore comprensione uomo-AI e sicurezza. Block sostiene che l'attuale AI vocale non solo è artificiosa e fastidiosa, ma anche potenzialmente pericolosa. Ignorando il contenuto emotivo del parlato, questi sistemi possono non riconoscere il disagio o il dolore nella voce di un utente, portando a risposte inappropriate o dannose. Dessa, imparando direttamente dal parlato, mira a colmare questo divario, fornendo un'interazione più empatica e consapevole del contesto.

L'azienda evidenzia anche l'inefficienza dell'addestramento basato su testo. Le parole pronunciate trasportano migliaia di volte più byte delle loro controparti scritte, e i dati vocali sono intrinsecamente variabili: nessuna due pronunce sono identiche. Ciò rende il compito di apprendimento brutale per una macchina, ma il team di Block, composto da ex membri della startup di deep learning di Toronto Dessa, ha navigato con successo questa complessità. Il laboratorio, che riferisce direttamente a Jack Dorsey, costruisce modelli generativi di parlato da oltre otto anni, offrendo loro una prospettiva unica nel campo.

Dimostrazioni e accesso anticipato

Block ha rilasciato diverse registrazioni dal vivo di persone che interagiscono con Dessa, mostrando la sua capacità di ridere a metà frase, regolare il volume quando richiesto e rispondere con empatia dal suono genuino. In una demo, Dessa completa persino la frase di una persona quando questa si blocca su un titolo di film, dimostrando la sua memoria conversazionale e le sue capacità predittive. Un altro clip mostra Dessa che parla con GPT-Live-1, un modello AI di terze parti, con entrambe le voci generate dall'AI.

Queste dimostrazioni sono convincenti, ma sono prodotte da Block e non sono ancora soggette a valutazione indipendente. Per affrontare i potenziali rischi, il laboratorio offre accesso anticipato a un gruppo selezionato di ricercatori sulla sicurezza dell'AI. Questa mossa riconosce la novità del modello e la necessità di un esame esterno per identificare problemi imprevisti. L'invito è uno sforzo deliberato per trovare rischi che il team non ha anticipato, segnando un approccio responsabile all'implementazione di una nuova categoria di AI.

Domande di ricerca e direzioni future

Dessa apre numerose domande di ricerca. Con quanta efficienza i modelli basati solo sul parlato apprendono linguaggio e fatti rispetto ai sistemi basati su testo? Quanto bene possono acquisire nuove lingue? Che tipo di apprendimento nel contesto possono eseguire? Queste sono domande aperte che Block è desideroso di esplorare, e il rilascio di Dessa è inteso a stimolare ulteriori indagini. La capacità del modello di apprendere dal suono grezzo sfida l'assunzione che il testo sia il mezzo più efficiente per l'addestramento dell'AI, portando potenzialmente a sistemi AI più naturali ed efficienti in termini di dati.

Thurairatnam ha definito il rilascio "un momento GPT3 per il parlato", un'affermazione audace che suggerisce che Dessa potrebbe essere una tecnologia fondamentale per una nuova ondata di AI vocale. Sebbene sia troppo presto per sapere se Dessa sarà all'altezza di questa previsione, il suo approccio è innegabilmente innovativo. Dando priorità alla piena ricchezza del parlato umano, Block scommette che l'interfaccia più naturale per l'intelligenza sia, in effetti, la voce umana stessa.

Mentre Dessa passa da progetto di ricerca a strumento più ampiamente accessibile, il suo impatto in campi che vanno dal servizio clienti al supporto per la salute mentale potrebbe essere profondo. La capacità del modello di percepire e rispondere alle emozioni potrebbe rendere le interazioni con l'AI più umane e, soprattutto, più sicure. Per ora, Dessa rimane uno sguardo a un futuro in cui le macchine non solo sentono ciò che diciamo, ma comprendono veramente come lo diciamo.