Cloudflare risolve la perdita della cache KV GLM-5.3 che esponeva 155 risposte

Cloudflare ha divulgato un significativo fallimento dell'isolamento del tenant nella sua piattaforma Workers AI, dove il modello GLM-5.3 (@cf/zai-org/glm-5.3 ) ha fatto trapelare dati tra sessioni dei clienti. L'incidente, verificatosi tra il 27 agosto e il 9 settembre 2026, ha interessato 155 risposte, tutte attivate da prompt che superavano i 681.280 token. L'azienda ha da allora risolto il problema e ripristinato il modello, confermando che nessun altro modello ospitato è stato interessato.

La vulnerabilità è stata segnalata dal ricercatore di sicurezza Gadi Evron di Knostic tramite il programma HackerOne di Cloudflare l'8 settembre. L'indagine di Cloudflare ha rivelato una combinazione di una svista di configurazione e un bug nel motore di inferenza open-source SGLang, che alimenta l'architettura disaggregata prefill/decode della piattaforma. L'azienda non ha trovato prove di sfruttamento deliberato, notando che le richieste interessate erano coerenti con i normali modelli di utilizzo di contesto lungo.

Causa principale: una tempesta perfetta di errata configurazione e bug del motore

L'esposizione è derivata da due problemi sovrapposti. In primo luogo, Cloudflare ha distribuito GLM 5.3 con una finestra di contesto di 1.048.576 token, ma il pool della cache KV sulle sue GPU prefill poteva ospitare solo 681.280 token. L'azienda era a conoscenza di questa discrepanza prima del lancio, ma presumeva che il motore avrebbe restituito un errore per prompt di dimensioni eccessive. I test hanno convalidato i codici di risposta HTTP e le prestazioni, ma non la coerenza dell'output, una lacuna critica.

In secondo luogo, la gestione delle richieste rifiutate da parte di SGLang in modalità disaggregata era difettosa. Quando un prompt superava il pool, lo scheduler lo contrassegnava come rifiutato e lo sostituiva con un segnaposto di un token. Tuttavia, invece di interrompere, il nodo prefill generava una cache KV per il segnaposto e la trasferiva al nodo decode. Il nodo decode, credendo che il prompt completo fosse stato elaborato, attendeva su pagine della cache obsolete contenenti dati di altri utenti, producendo risposte con contenuti tra tenant.

Risoluzione immediata e tempistica

Cloudflare ha agito rapidamente dopo la segnalazione. Il modello è stato reso privato il 9 settembre alle 14:00 UTC e la causa principale è stata identificata entro 35 minuti. Entro le 14:52, tutti i nodi prefill sono stati portati a una configurazione corretta e entro le 19:04 è stata convalidata una distribuzione completa con una patch del motore scritta da Cloudflare. Il modello è stato ripristinato alle 19:40 UTC dello stesso giorno.

• Correzione della configurazione: Il pool KV è stato ridimensionato per contenere circa 2,04 milioni di token, eliminando il percorso di rifiuto per le richieste valide.
• Patch del motore: Le richieste rifiutate vengono ora ritirate nella coda di ammissione prima che avvenga qualsiasi trasferimento KV, impedendo l'attivazione del bug.
• Collaborazione a monte: Cloudflare ha lavorato con i manutentori di SGLang presso RadixArk per unire diverse correzioni, tra cui #36988 e #38935.

Hardening continuo e raccomandazioni

Oltre alla correzione immediata, Cloudflare ha implementato misure di hardening più ampie su tutte le sue distribuzioni SGLang. Queste includono il rilascio differito della KV sia sui ruoli prefill che decode, batch di trasferimento Mooncake limitati e un comportamento migliorato del bilanciatore del carico per evitare interruzioni non necessarie. L'azienda ha anche introdotto una funzionalità di convalida del checksum KV (--disaggregation-enable-kv-checksum) per rilevare la corruzione al momento del passaggio.

Per gli operatori che eseguono SGLang in modalità disaggregata, Cloudflare raccomanda: misurare la dimensione del pool KV rispetto alla lunghezza del contesto su ogni nodo, aggiornare alla v0.5.22 o successiva, abilitare il rilascio differito e attivare il rilevamento della corruzione dove supportato. L'azienda sottolinea che i soli controlli di configurazione non sono sufficienti: la correzione lato motore è il backstop critico.

Visione a lungo termine: integrità per costruzione

Cloudflare sta perseguendo due strategie a lungo termine per prevenire incidenti simili. La prima, "Integrità per costruzione", prevede l'etichettatura di ogni pagina fisica KV con un identificatore univoco che cambia al momento della riallocazione. Ogni richiesta registra i tag previsti e la mappatura viene verificata prima che il decode legga la cache. Un prototipo ha mostrato un overhead di prestazioni inferiore all'1%, ma è stato disabilitato a causa di problemi di affidabilità. L'azienda sta ora lavorando con SGLang per integrare questa funzionalità nel motore.

Il secondo approccio applica metodi di verifica formale ai protocolli di trasferimento KV basati su RDMA, simile al lavoro di Cloudflare su Topaz e Meerkat. L'obiettivo è dimostrare matematicamente la sicurezza del sistema di cache distribuito, identificando e correggendo eventuali divergenze dalle proprietà desiderate.

Divulgazione coordinata e impatto sul settore

Questo incidente evidenzia la crescente complessità della messa in sicurezza dell'infrastruttura AI multi-tenant. Con l'aumento dei modelli a contesti di milioni di token, l'interazione tra motori di inferenza, gestione della memoria distribuita e configurazione diventa sempre più critica. La divulgazione trasparente di Cloudflare e la collaborazione con il team SGLang stabiliscono un punto di riferimento per la gestione di tali vulnerabilità.

Il ricercatore, Gadi Evron, ha fornito uno script riproducibile che ha consentito una rapida verifica e risoluzione. La risposta di Cloudflare, dalla dichiarazione dell'incidente al ripristino del modello in meno di sette ore, dimostra l'importanza di processi di sicurezza robusti nelle piattaforme AI. Per le aziende che si affidano a Workers AI, questo serve come promemoria per rivedere le proprie configurazioni di distribuzione e rimanere aggiornate con le patch del motore.