Scontro AI per Video Musicali: Claude vs GPT nella Regia Autonoma

La Sfida: Regia AI Autonoma

Ci siamo proposti di rispondere a una domanda semplice: i modelli AI all'avanguardia possono dirigere autonomamente un video musicale da zero? Per scoprirlo, abbiamo costruito un harness di chiamate a strumenti che ha dato a Claude Fable 5 e GPT-5.6 Sol la stessa canzone—'Uptown Funk' di Bruno Mars e Mark Ronson—insieme a un budget di $100, ricerca web e accesso locale a ffmpeg. I modelli dovevano ricercare strumenti di generazione video, creare clip, guardare i propri filmati, montarli e produrre un taglio finale.

Ogni modello è stato eseguito a due livelli di budget ($25 e $100), per un totale di quattro esecuzioni. L'intero processo è stato registrato, inclusa ogni chiamata a strumenti, errore e costo di generazione. L'obiettivo era vedere come questi modelli gestiscono compiti creativi aperti e a lungo orizzonte quando lasciati a sé stessi.

L'Impostazione: Strumenti e Vincoli

L'harness forniva sei strumenti: uno strumento di pianificazione per pensare (senza costi), ricerca web per studiare modelli e API, un controllore del budget, strumenti di generazione di immagini e video (le uniche azioni che consumano budget) e una shell locale con ffmpeg/ffprobe per analisi audio e montaggio video. I modelli potevano scegliere qualsiasi modello di generazione da FAL o Replicate e dovevano gestire attentamente il proprio budget.

Una volta che il budget raggiungeva lo zero, la generazione a pagamento si fermava, ma i modelli potevano continuare a montare. Questa impostazione li costringeva a prioritizzare e pianificare le spese, imitando i vincoli di produzione del mondo reale.

I Risultati: Approcci Divergenti

Le quattro esecuzioni hanno prodotto risultati marcatamente diversi. Claude Fable 5 a entrambi i budget si è attenuto a una pipeline text-to-video, utilizzando Wan 2.5 a $25 e Seedance 1.0 Pro a $100. GPT-5.6 Sol è stato più sperimentale: a $25 ha utilizzato un approccio image-to-video, generando keyframe con FLUX schnell e animandoli con Wan 2.2. A $100 ha mescolato tre diversi modelli video—Wan 2.5, Veo 3.1 Lite e Hailuo 2.3 Standard—in una singola esecuzione.

Questa divergenza nella strategia riflette i punti di forza intrinseci di ciascun modello. Claude Fable 5 ha privilegiato coerenza e stabilità, mentre GPT-5.6 Sol ha dato priorità all'esplorazione creativa, anche a costo di un rischio maggiore di fallimento.

Analisi dei Costi e dell'Efficienza

La ripartizione finanziaria rivela differenze significative. L'esecuzione da $100 di Claude Fable 5 ha speso $48.60 per la generazione e $25.05 per i token LLM, per un totale di $73.65. L'esecuzione da $100 di GPT-5.6 Sol ha speso solo $36.57 per la generazione e $3.25 per i token, per un totale di $39.82. Nonostante volumi di token simili, i costi dei token di GPT-5.6 Sol erano drasticamente inferiori—circa l'85% in meno rispetto a quelli di Claude.

Questa disparità di costi è cruciale per sviluppatori e creatori di contenuti. GPT-5.6 Sol offre un output creativo comparabile o migliore a una frazione del costo operativo, rendendolo più accessibile per progetti con budget limitati.

Qualità Creativa e Difetti Tecnici

Nessuno dei video era un capolavoro cinematografico, ma le differenze creative erano significative. GPT-5.6 Sol a $25 si è rivelato il montatore più inventivo, sovrapponendo testo e animando immagini fisse con effetti video—tecniche che nessun'altra esecuzione ha tentato. Il video da $100 di Claude Fable 5 è stato soggettivamente preferito per il suo output coerente, ma mancava del tocco sperimentale dell'approccio di GPT.

I punti deboli comuni includevano incoerenza di personaggi e storia, interpretazioni eccessivamente letterali dei testi (ad esempio, generare un drago per 'make a dragon wanna retire, man') e scarso abbinamento del ritmo tra tagli e musica. In particolare, nessuno dei modelli ha iterato sui propri montaggi o ha rivisto le proprie clip, suggerendo una limitazione fondamentale nell'attuale capacità dell'AI di perfezionare il lavoro creativo.

Utilizzo degli Strumenti e Gestione degli Errori

I modelli di utilizzo degli strumenti hanno rivelato le loro filosofie operative. Claude Fable 5 ha effettuato meno chiamate ma più deliberate, con zero chiamate di generazione fallite nella sua esecuzione da $100. GPT-5.6 Sol ha effettuato più chiamate ma ha riscontrato più errori—61 chiamate fallite a $25 e 10 a $100—anche se si trattava per lo più di problemi di rete transitori.

Nessuno dei due modelli ha toccato Replicate, nonostante fossero disponibili sia le chiavi FAL che Replicate. Ciò suggerisce che i prezzi e la selezione di modelli di FAL erano più attraenti, o che i dati di addestramento dei modelli li hanno orientati verso l'ecosistema FAL.

Implicazioni Più Ampie per la Creatività dell'AI

Questo esperimento evidenzia un divario critico nelle attuali capacità dell'AI: mentre i modelli all'avanguardia possono eseguire compiti complessi e multi-step, faticano con il perfezionamento soggettivo, stilistico e iterativo. La mancanza di auto-revisione e iterazione del montaggio è particolarmente notevole, poiché suggerisce che anche i modelli più avanzati mancano della capacità meta-cognitiva di valutare e migliorare il proprio output.

Tuttavia, il fatto che questi modelli possano produrre autonomamente un video musicale completo—dalla ricerca al taglio finale—è una tappa significativa. Con il continuo miglioramento dei modelli, possiamo aspettarci una migliore coerenza dei personaggi, decisioni creative più sfumate e costi inferiori. Per ora, GPT-5.6 Sol offre il miglior equilibrio tra costo e creatività, mentre Claude Fable 5 fornisce stabilità e coerenza.

Le trascrizioni complete e il codice sono disponibili open source, consentendo agli sviluppatori di replicare ed estendere questi esperimenti. La domanda non è più se l'AI possa creare, ma come possiamo guidarla per creare meglio.