I Benchmark sull'AI Ignorano il 90% delle Ore Lavorative negli USA, Secondo un Nuovo Studio

I Benchmark sull'AI Trascurano la Maggior Parte del Lavoro Reale, Mostra una Nuova Analisi

I benchmark sull'intelligenza artificiale si sono moltiplicati, ma una nuova analisi di Mercor indica che scalfiscono appena la superficie dell'economia statunitense. La ricerca, che mappa 29 benchmark leader sull'AI rispetto al database occupazionale O*NET del Dipartimento del Lavoro, ha scoperto che solo 208 delle 923 occupazioni hanno compiti coperti da almeno cinque prompt di benchmark. Ancora più sorprendente, si stima che il 90% delle ore lavorative americane sia speso in compiti con poca o nessuna rappresentanza nei benchmark.

Questo divario di copertura non è casuale. Lo studio rivela un bias sistematico: i benchmark colpiscono in modo sproporzionato i compiti in occupazioni ad alto salario ed esposte all'AI. Sebbene questa attenzione possa sembrare logica inizialmente, crea significativi punti ciechi per il lavoro di conoscenza di medio livello, i ruoli fisici e la lunga coda dell'economia. Il risultato è un'immagine distorta delle vere capacità e limitazioni economiche dell'AI.

Mappare il Disallineamento tra Benchmark e Lavori

La Benchmark Map di Mercor è costruita sulla tassonomia O*NET, che suddivide la forza lavoro statunitense in 923 occupazioni dettagliate che comprendono 18.797 compiti distinti. Il team ha selezionato 29 benchmark basati su disponibilità pubblica, focus su compiti agentici, realismo economico e difficoltà bilanciata. Un giudice LLM ha poi etichettato ogni prompt di benchmark con i corrispondenti compiti O*NET, validati da esperti umani per i benchmark APEX di Mercor.

I risultati sono netti. Solo il 22% delle occupazioni ha un compito coperto da almeno cinque prompt di benchmark, e sei delle 22 principali famiglie professionali hanno una copertura zero significativa. L'analisi mostra che i compiti classificati come 'esposti all'AI' hanno circa sei volte più probabilità di essere coperti rispetto ad altri. Anche dopo aver controllato per l'esposizione all'AI, le occupazioni con masse salariali più elevate ricevono significativamente più attenzione dai benchmark.

Perché i Lavori ad Alto Salario ed Esposti all'AI Dominano i Benchmark

Il modello è chiaro: i benchmark sono concentrati in aree come l'ingegneria del software e l'analisi finanziaria, mentre la guida di camion e l'operazione di impianti a gas sono virtualmente assenti. Questo è in parte un'allocazione razionale di risorse limitate, ma ha un lato negativo. Ad esempio, i compiti degli avvocati sono pesantemente sottoposti a benchmark, ma i paralegali e gli impiegati di tribunale—che svolgono lavori simili esposti all'AI—sono in gran parte ignorati. Questo crea una visione distorta di dove l'AI può veramente aggiungere valore.

Questo bias si estende all'importanza dei compiti. Anche all'interno della stessa occupazione, i compiti classificati come più importanti hanno 6-10 volte più probabilità di essere coperti rispetto a quelli classificati come meno importanti. Sebbene dare priorità ai compiti chiave abbia senso, significa che i doveri meno critici ma che richiedono tempo vengono trascurati, il che può portare a sopravvalutare l'utilità dell'AI in un dato ruolo.

La Sfida di Misurare le Prestazioni dell'AI per Occupazione

Mercor ha anche esplorato se sia possibile generare punteggi AI accurati a livello occupazionale ponderando i risultati dei benchmark con l'importanza dei compiti O*NET. I loro test iniziali su quattro occupazioni—investment banking, legge, contabilità e ingegneria del software—hanno mostrato che le medie semplici e i punteggi ponderati O*NET erano ampiamente simili. Tuttavia, meno di un terzo dei compiti O*NET rilevanti aveva abbastanza prompt di benchmark da includere nei punteggi ponderati.

Ciò evidenzia diversi ostacoli persistenti. In primo luogo, la potenza statistica è intrinsecamente bassa data l'ampiezza dei lavori statunitensi. In secondo luogo, la difficoltà e la qualità dei benchmark variano enormemente, con alcuni compiti saturati e altri irrisolti. In terzo luogo, la maggior parte dei benchmark misura l'automazione completa, non l'augmentation che caratterizza la maggior parte dell'uso reale dell'AI. Infine, circa il 63% dei lavori coinvolge componenti fisiche che gli attuali benchmark basati su testo non possono affrontare.

Divari di Prestazione nel Mondo Reale Oltre i Benchmark

Il problema della copertura dei benchmark è aggravato dai divari di prestazione all'interno dei compiti coperti. Un benchmark separato, LSCBench, ha testato sei agenti di codifica all'avanguardia su 450 compiti derivati da vulnerabilità del mondo reale. Il miglior agente ha superato il 91,3% dei test funzionali ma solo il 25,1% quando è stata valutata anche la sicurezza. Questo illustra che anche in aree ben coperte dai benchmark, le metriche attuali spesso trascurano dimensioni critiche delle prestazioni lavorative.

L'analisi dell'esposizione all'AI del Pew Research sottolinea ulteriormente la sfumatura. I paralegali si classificano in alto per esposizione a causa del lavoro incentrato sui documenti, ma la difesa in tribunale e la consulenza ai clienti rimangono saldamente compiti umani. Allo stesso modo, i lavori nell'edilizia e nei trasporti si classificano in basso perché richiedono presenza fisica in ambienti imprevedibili. Queste distinzioni vengono perse quando i benchmark si concentrano strettamente su compiti basati su testo e ad alto salario.

Il Divario di Aspettative tra Sviluppatori di AI e Lavoratori

La ricerca di Anthropic evidenzia un divario crescente tra ciò che gli sviluppatori di AI e il pubblico si aspettano. Mentre il 91% del personale di Anthropic prevede che l'AI raggiungerà scoperte a livello Nobel entro il 2030, solo il 39% degli adulti statunitensi è d'accordo. Ancora più significativo, oltre la metà del personale prevede che l'AI gestirà l'80% del loro lavoro entro il 2030, contro solo il 5% dei lavoratori statunitensi. Questo disallineamento potrebbe derivare dal fatto che gli sviluppatori fanno benchmark sui compiti che conoscono bene, mentre i lavoratori vedono le parti disordinate, fisiche e interpersonali dei loro lavori che i benchmark ignorano.

Questo divario di aspettative ha conseguenze pratiche. Le aziende rischiano di investire in AI per compiti che i benchmark suggeriscono essere facili ma che falliscono nei contesti del mondo reale, o, al contrario, potrebbero sottoutilizzare l'AI dove potrebbe veramente aiutare. L'analisi di Mercor suggerisce che fino a quando i benchmark non si diversificheranno per coprire l'intero spettro dell'attività economica, la nostra comprensione del vero impatto dell'AI rimarrà pericolosamente incompleta.

Verso un Ecosistema di Benchmark Più Rappresentativo

Il lavoro di Mercor è un primo passo, e i ricercatori riconoscono i limiti. La loro lista di 29 benchmark non è esaustiva, e i criteri di selezione come il 'realismo economico' sono soggettivi. Tuttavia, il risultato centrale—che il 90% delle ore lavorative è speso in compiti sottoposti a benchmark insufficienti—è un potente invito all'azione per la comunità dell'AI a sviluppare benchmark più diversificati economicamente e realistici.

Mentre l'AI continua a permeare la forza lavoro, la necessità di una mappatura accurata delle capacità diventa critica. I responsabili politici, le imprese e i lavoratori si affidano tutti a queste misurazioni per prendere decisioni informate. Colmare il divario dei benchmark non è solo un esercizio accademico; è essenziale per garantire che l'AI sia implementata dove veramente aiuta e per stabilire aspettative realistiche su cosa l'automazione può e non può raggiungere.