OpenAI Withdraws Three Math Preprints After Sign Error in AI Proofs

L'ambiziosa pubblicazione matematica di OpenAI incontra un intoppo

Il 6 ottobre, OpenAI ha pubblicato 722 preprint in un repository pubblico su GitHub, sostenendo progressi su 372 problemi matematici irrisolti in geometria, informatica e algebra. L'azienda ha presentato questo come uno sforzo per "spingere la frontiera della conoscenza umana". Tuttavia, entro 24 ore, l'azienda ha ritirato tre di quei manoscritti a causa di un errore critico.

Dan Roberts, responsabile della ricerca presso OpenAI, ha annunciato gli aggiornamenti su X (ex Twitter), segnalando sei nuove formalizzazioni in Lean, 19 modifiche e tre ritiri. Il repository ora contiene 719 manoscritti, con circa il 42% dei risultati principali formalmente verificati. Questa rapida correzione sottolinea le sfide delle dimostrazioni matematiche generate dall'AI.

L'errore di segno che ha causato la cascata

La causa principale è stato un errore di segno in una formula all'interno di un manoscritto sull'algebricità delle classi di Weil su varietà abeliane scisse. Nello specifico, un +1 errato è apparso al posto di -1 in un'operazione geometrica. Questo errore apparentemente minore ha invalidato una cancellazione di termini essenziale per la dimostrazione, rompendo la logica dell'argomento.

Poiché i risultati matematici spesso si basano l'uno sull'altro, l'errore si è propagato a cascata. Altri due articoli—uno sulle corrispondenze di Kuga–Satake per superfici K3 e un altro sulla congettura di Hodge razionale per prodotti di superfici K3—dipendevano dal risultato errato. Tutti e tre gli articoli appartenevano alla Repository Outcome Family 032, originariamente intitolata "Risultati di Hodge e Kuga–Satake per tutte le superfici K3 proiettive". La famiglia è stata successivamente rinominata in "La congettura di Hodge razionale per varietà abeliane CM".

Azioni correttive e risposta della comunità

OpenAI ha rivisto altri 14 manoscritti per correggere errori nelle dimostrazioni, chiarire le affermazioni e le ipotesi dei teoremi e correggere una citazione obsoleta. L'azienda ha anche aggiornato le citazioni per altri 13 articoli. Ogni preprint ritirato porta un avviso che spiega il problema, e le versioni originali rimangono accessibili tramite link archiviati per trasparenza.

Alex Townsend, professore associato di matematica alla Cornell University, ha dichiarato che la cascata non è stata sorprendente. "Che un errore si sia propagato a cascata in tre dei manoscritti di OpenAI non è sorprendente", ha detto a Retraction Watch. "Sospetto che verranno trovati altri errori." Il suo scetticismo riflette una preoccupazione più ampia sull'affidabilità delle dimostrazioni generate dall'AI.

Un portavoce di OpenAI ha sottolineato che i ritiri riguardano le dimostrazioni, non le proposizioni matematiche stesse, che potrebbero ancora essere corrette. "Accogliamo con favore il controllo e il feedback della comunità matematica", ha detto il portavoce. "Dove vengono identificati errori, lavoreremo per correggerli prontamente e ritireremo gli articoli se non si trovano soluzioni."

Il quadro generale: l'AI in matematica

Questo incidente evidenzia la natura delicata della verifica matematica, specialmente quando le dimostrazioni sono generate dall'AI. La congettura di Hodge, uno dei Problemi del Millennio, è notoriamente difficile, e questi articoli erano tra i più seguiti. Il ritiro dimostra che anche modelli AI avanzati possono commettere errori sottili che i matematici umani potrebbero cogliere.

OpenAI ha presentato questa pubblicazione come un passo verso l'accelerazione della scoperta matematica. L'azienda ha anche tentato di risolvere circa 3.600 problemi aggiuntivi, ma ha pubblicato solo le dimostrazioni riuscite. Per affrontare le preoccupazioni, OpenAI ha promesso di pagare matematici per studiare i risultati prodotti dall'AI, anche se i dettagli specifici sui finanziamenti rimangono poco chiari.

Tuttavia, persiste un divario significativo: i ricercatori ordinari non possono ancora utilizzare il modello che ha generato questi risultati. Pubblicare articoli generati dall'AI è una cosa; consentire ai matematici di applicare gli stessi strumenti alle proprie domande di ricerca è un'altra. Questa limitazione ha portato alcuni matematici a esortare a interrompere la collaborazione con OpenAI, come riportato da XenoSpectrum.

Perché questo è importante per la ricerca guidata dall'AI

Il ritiro funge da test di stress nel mondo reale per l'AI nella ricerca scientifica. Da un lato, la velocità di correzione—meno di 24 ore—mostra che l'AI può identificare e correggere rapidamente gli errori. Dall'altro lato, solleva domande sui processi iniziali di controllo qualità e sul potenziale di ulteriori errori nascosti nei restanti 719 manoscritti.

Per la più ampia comunità tecnologica e degli investimenti, questo episodio sottolinea l'importanza di una validazione rigorosa nei campi guidati dall'AI. Come ha osservato un'analisi, "Per i trader che valutano i rapporti rischio-rendimento, questo sottolinea l'importanza di una validazione rigorosa nell'investimento value nel settore delle criptovalute e della ricerca guidata dall'AI." Anche se potrebbe essere un'esagerazione, il principio vale: i risultati dell'AI richiedono un esame attento.

OpenAI prevede di continuare ad aggiornare il repository con nuove formalizzazioni e eventuali errata che noterà. L'azienda rimane impegnata a migliorare la chiarezza e la presentazione dei futuri articoli. Per ora, la comunità matematica osserverà attentamente per vedere se emergeranno altri errori e come OpenAI li gestirà.

L'incidente è un promemoria che l'AI, nonostante la sua potenza, non è infallibile. In matematica, dove la precisione è fondamentale, ogni passaggio deve essere verificato. Mentre OpenAI naviga in questa nuova frontiera, l'equilibrio tra velocità e accuratezza sarà cruciale per guadagnare la fiducia della comunità scientifica.