E se l'AI stesse imparando dalle proprie bugie?

Immaginiamo un archivio che, a ogni nuova edizione, venga aggiornato utilizzando quasi esclusivamente copie delle edizioni precedenti. Le copie vengono ordinate, ripulite, riformulate e forse rese più leggibili, ma nessuno torna più ai documenti originali. All'inizio la differenza è impercettibile. Dopo alcune generazioni, però, le informazioni più rare iniziano a scomparire, gli errori si consolidano e l'archivio finisce per descrivere soprattutto se stesso.

È una metafora utile per comprendere uno dei problemi più delicati dell'intelligenza artificiale contemporanea: il model collapse, ovvero il deterioramento dei modelli addestrati in modo ricorsivo sui contenuti prodotti da altri modelli. La questione è ormai tecnica, economica e culturale allo stesso tempo. I dati sintetici promettono di ridurre i costi, superare la scarsità di materiale e proteggere la privacy. Ma, se utilizzati senza una chiara distinzione tra origine, qualità e funzione, possono introdurre nei sistemi una forma di memoria artificiale sempre più distante dal mondo reale.

La domanda centrale è semplice solo in apparenza: se l'intelligenza artificiale del futuro viene addestrata sui contenuti prodotti dall'intelligenza artificiale del presente, quanto del mondo reale rimarrà dentro quei modelli?

La promessa dei dati sintetici

Per comprendere perché i dati sintetici siano diventati così importanti, occorre partire dal problema che intendono risolvere. I modelli moderni richiedono quantità enormi di dati: testi, immagini, registrazioni vocali, codice, documenti tecnici, conversazioni e informazioni strutturate. Raccogliere materiale sufficiente è costoso, richiede tempo e solleva questioni giuridiche ed etiche complesse.

I dati sintetici sembrano offrire una soluzione elegante. Un modello può generare milioni di esempi in pochi giorni, seguendo criteri definiti dagli sviluppatori. È possibile produrre conversazioni per addestrare un assistente, immagini per bilanciare un dataset, documenti clinici artificiali per esercitare un sistema diagnostico o codice per migliorare un modello di programmazione. Nei settori in cui i dati reali sono scarsi, sensibili o difficili da etichettare, questa possibilità è particolarmente attraente.

Il vantaggio non è solo quantitativo. I dati sintetici possono essere progettati per rappresentare casi rari o situazioni difficili da osservare. Un sistema di riconoscimento delle entità nominate, per esempio, può essere addestrato su testi contenenti combinazioni poco frequenti di nomi, organizzazioni, località e riferimenti temporali. Un sistema di sicurezza può essere esposto a scenari che nella realtà si verificano raramente, ma che sarebbe irresponsabile ignorare.

In questi casi, la generazione artificiale non sostituisce necessariamente l'esperienza del mondo: può integrarla. Il problema nasce quando l'integrazione diventa sostituzione e quando il materiale sintetico viene trattato come se avesse lo stesso valore epistemico del materiale osservato direttamente.

Un testo prodotto da un modello può essere corretto, utile e ben scritto. Non significa, però, che contenga una nuova osservazione del mondo. È una distinzione fondamentale: qualità formale, correttezza e novità non sono la stessa cosa.

Che cos'è il model collapse

Nel 2024, uno studio condotto da Ilia Shumailov e colleghi e pubblicato su Nature ha descritto in modo sistematico il fenomeno. Gli autori hanno mostrato che l'addestramento ricorsivo su dati generati da modelli precedenti può causare una progressiva perdita della distribuzione originale dei dati. Il modello non conserva più con la stessa precisione la varietà degli esempi presenti nel mondo, ma tende verso le configurazioni più frequenti e più facilmente riprodotte.

Il risultato è stato definito model collapse. Nel paper, gli autori scrivono che l'apprendimento indiscriminato da dati generati può produrre “irreversible defects”, cioè difetti irreversibili, nei modelli delle generazioni successive. L'espressione non significa che ogni uso di dati sintetici conduca inevitabilmente al collasso. Indica piuttosto il rischio associato a un processo ricorsivo nel quale il modello perde progressivamente il contatto con la distribuzione originale.

Per capire il meccanismo, è utile introdurre un concetto della statistica: le code della distribuzione. La parte centrale di una distribuzione contiene gli esempi più comuni. Le code contengono invece gli eventi rari, le combinazioni insolite e le variazioni meno rappresentate.

Nel linguaggio umano, le code includono dialetti, forme regionali, stili minoritari, errori, metafore inconsuete, punti di vista marginali e modi di esprimersi che compaiono con bassa frequenza ma che fanno parte della realtà linguistica. Nei dati visivi possono corrispondere a oggetti osservati da angolazioni insolite, condizioni di luce particolari o situazioni difficili da classificare. Nei dataset scientifici possono rappresentare anomalie che, proprio perché rare, hanno un valore informativo elevato.

Quando un modello genera nuovi esempi, tende a produrre ciò che ha appreso con maggiore stabilità. Gli esempi più comuni e più vicini al centro della distribuzione vengono riprodotti con relativa facilità. Le code, invece, sono più fragili. Se gli output sintetici diventano la base per il training della generazione successiva, le variazioni rare possono essere attenuate o perdute. La nuova generazione produce a sua volta un insieme ancora più concentrato. Il processo si ripete e la distribuzione si restringe.

A ogni passaggio, il modello può sembrare più ordinato, più coerente, persino più uniforme. Ma quella uniformità può essere il segnale di una perdita di informazione. Un sistema che produce risposte sempre più simili non è necessariamente diventato più intelligente: potrebbe aver dimenticato le possibilità che non sapeva rappresentare bene.

Quando l'errore diventa ereditario

Il problema non riguarda soltanto gli errori evidenti. Una risposta palesemente falsa può essere individuata e corretta. Più insidiosi sono gli errori plausibili: dati leggermente alterati, generalizzazioni non dichiarate, associazioni statistiche che sembrano ragionevoli ma non corrispondono alla realtà.

Un modello addestrato su un errore può imparare a riprodurlo. Un secondo modello, addestrato sui suoi output, può renderlo più frequente. Un terzo modello può interpretare quella frequenza come un'indicazione di affidabilità. Il contenuto non diventa vero perché è stato ripetuto; diventa semplicemente più rappresentato nel dataset.

Questo produce una forma di ereditarietà dell'errore. Ogni generazione non riceve soltanto le informazioni della precedente, ma anche i suoi criteri impliciti di selezione. Il modello precedente decide, attraverso la propria distribuzione, quali formulazioni ripetere, quali dettagli omettere e quali connessioni privilegiare.

La conseguenza è particolarmente grave nei domini in cui le minoranze statistiche contano. Un sistema addestrato su testi sintetici potrebbe conservare il linguaggio più standard e perdere progressivamente espressioni regionali o professionali. Un sistema visivo potrebbe riconoscere con precisione le categorie comuni e fallire proprio sui casi meno frequenti. Un modello clinico potrebbe essere efficace sui profili rappresentati più spesso e meno affidabile per le popolazioni sottorappresentate.

Da questo punto di vista, il model collapse è anche un problema di distribuzione del potere. Chi decide quali dati siano centrali e quali marginali influenza ciò che il modello considera normale, rilevante o degno di essere riprodotto. Se il criterio di selezione è stabilito da modelli precedenti, il processo può diventare autoreferenziale.

Il contributo di Shumailov e le precisazioni successive

Il lavoro di Shumailov non dovrebbe essere interpretato come una dimostrazione dell'inutilità dei dati sintetici. La sua conclusione riguarda soprattutto l'uso indiscriminato e ricorsivo dei dati generati, in particolare quando ogni generazione sostituisce quella precedente e il legame con il dataset originale si indebolisce.

Studi successivi hanno introdotto una distinzione decisiva tra sostituire e accumulare. Matthias Gerstgrasser, Rylan Schaeffer e altri ricercatori hanno analizzato il comportamento dei modelli in scenari differenti. Quando i dati reali vengono eliminati e sostituiti, generazione dopo generazione, da nuovi dati sintetici, il collasso tende a manifestarsi. Quando invece i dati sintetici vengono aggiunti ai dati reali originali, il comportamento può rimanere stabile e l'errore può mantenersi entro un limite finito.

La differenza è sostanziale. Nel primo scenario, il modello diventa la principale fonte del dataset successivo. Nel secondo, i dati sintetici sono soltanto uno strato aggiuntivo sopra una base che conserva ancora il contatto con le osservazioni originarie.

Un lavoro del 2025, pubblicato nei Proceedings of Machine Learning Research con il titolo Collapse or Thrive: Perils and Promises of Synthetic Data in a Self-Consuming World, ha confrontato diversi flussi di addestramento. Gli autori hanno confermato il collasso quando tutti i dati reali venivano rimpiazzati da generazioni successive di dati sintetici. Hanno invece osservato maggiore stabilità quando dati reali e sintetici venivano accumulati insieme. In uno scenario con dataset di dimensione fissa, il deterioramento non scompariva del tutto, ma diventava più lento e graduale.

Questi risultati suggeriscono una conclusione meno spettacolare, ma più utile: il problema non è la presenza dei dati sintetici; è la perdita di provenienza e di controllo sulla loro proporzione.

La letteratura recente non è tuttavia completamente concorde. Alcuni lavori teorici sostengono che il collasso possa persistere quando la frazione di dati sintetici rimane significativa, anche se i dati reali non vengono eliminati. Questa divergenza non è necessariamente una contraddizione: i risultati dipendono dal tipo di modello, dalla distribuzione iniziale, dalla procedura di campionamento, dalla qualità dei dati e dal modo in cui si definisce la stabilità.

Per questo è rischioso trasformare una singola regola in una garanzia. Accumulare dati sintetici accanto a quelli reali è una strategia importante, ma non equivale a una certificazione automatica di qualità.

La critica di Richard Sutton

Il tema è tornato al centro del dibattito anche grazie alle dichiarazioni di Richard Sutton, uno dei fondatori del reinforcement learning e vincitore del Turing Award. Sutton è l'autore di The Bitter Lesson, il saggio del 2019 in cui sosteneva che, nella storia dell'intelligenza artificiale, i metodi capaci di sfruttare più calcolo e più dati abbiano generalmente superato gli approcci basati sull'inserimento manuale della conoscenza umana.

La sua posizione sui dati sintetici è quindi particolarmente interessante. Non proviene da un rifiuto generale della scalabilità o dell'apprendimento automatico, ma da una critica al modo in cui l'industria sta cercando di estendere il paradigma attuale.

In occasione della presentazione di Oak Lab, la società fondata con Khurram Javeed, Sutton ha definito la crescente fiducia nei dati sintetici “a big mistake”, un grande errore. La sua obiezione, come riportato da The New Stack, non è che i dati sintetici siano sempre inutili. Il punto è che non possono risolvere il problema fondamentale dell'accesso alla complessità del mondo.

Questa idea è collegata alla Big World Hypothesis, sviluppata da Sutton e Javeed. Il principio è che il mondo contenga sempre più struttura di quanta qualsiasi modello possa incorporare in anticipo. Ogni simulazione è necessariamente una semplificazione: seleziona alcune variabili, ignora altre, fissa determinate regole e produce un ambiente chiuso.

Una simulazione fisica può essere estremamente accurata in un determinato contesto, ma non coincide con il mondo in cui un agente dovrà agire. Può approssimare il comportamento di un motore, ma sbagliare l'attrito di una superficie. Può modellare un ambiente, ma non anticipare ogni evento imprevisto. Può generare una conversazione plausibile, ma non riprodurre l'interiorità della persona che quella conversazione avrebbe realmente prodotto.

Sutton ha sottolineato proprio quest'ultimo punto: non esiste un modo diretto per produrre dati sintetici equivalenti alle menti degli altri. Un modello può generare il testo plausibile di un'opinione, ma non possiede l'esperienza individuale che ha dato origine a quell'opinione. Può simulare un conflitto, ma non ha vissuto le conseguenze sociali, emotive e materiali di quel conflitto.

La distinzione è importante perché i dati sintetici non sono osservazioni indipendenti. Anche quando contengono dettagli nuovi in superficie, la loro struttura deriva dalle capacità, dai limiti e dalle selezioni del modello che li ha prodotti.

Il mondo non è un dataset già pronto

La tesi di Sutton introduce una questione più ampia: forse il limite non è soltanto la quantità di dati disponibili, ma la natura dei dati che intendiamo raccogliere.

Un dataset è una rappresentazione selezionata del mondo. Stabilisce cosa osservare, cosa annotare, cosa escludere e quali categorie utilizzare. Il mondo, invece, non arriva preorganizzato secondo lo schema di un modello. Le persone cambiano comportamento, inventano nuovi significati, modificano le regole, reagiscono agli incentivi e interferiscono l'una con l'altra.

Questa complessità è particolarmente evidente nei sistemi che operano in ambienti aperti. Un algoritmo che classifica immagini in condizioni controllate può ricevere un dataset sintetico molto accurato. Un agente che deve muoversi in un ambiente reale, interagire con persone e affrontare conseguenze non previste ha bisogno di apprendere anche dagli errori e dagli eventi inattesi.

I dati sintetici possono aiutare a costruire scenari e a testare ipotesi, ma difficilmente possono sostituire l'esperienza diretta in un mondo che continua a produrre eventi nuovi. La simulazione è utile proprio perché consente di isolare alcune variabili. Ma ciò che la rende controllabile è anche ciò che la rende incompleta.

Per questo la critica di Sutton riguarda un'assunzione implicita dell'industria: l'idea che sia sufficiente generare una quantità abbastanza grande di materiale per compensare la scarsità di dati reali. La quantità può ampliare un dataset; non può, da sola, ampliare il mondo che quel dataset rappresenta.

Il rischio di un'intelligenza autoreferenziale

Il model collapse ha una dimensione statistica, ma anche una dimensione culturale. Se i modelli vengono addestrati principalmente su testi prodotti da modelli precedenti, il loro linguaggio può diventare più uniforme. Le stesse metafore possono ricomparire, le stesse strutture argomentative possono diventare dominanti, le stesse omissioni possono passare inosservate.

Non si tratta soltanto di una questione stilistica. Il linguaggio riflette la varietà delle esperienze che lo producono. Quando una comunità perde parole, accenti, forme narrative o prospettive, perde anche strumenti per descrivere il mondo.

Un modello che tende a rispondere sempre nello stesso modo può apparire più affidabile perché riduce le variazioni. Ma la variabilità non è necessariamente rumore. In molti casi è l'espressione di una realtà eterogenea.

La riduzione della diversità può essere descritta come una forma di inbreeding intellettuale. Il termine è stato utilizzato per analogia con la genetica: quando un patrimonio si riproduce all'interno di un gruppo sempre più ristretto, la variabilità diminuisce e alcuni difetti possono diventare più frequenti.

La metafora non deve essere presa alla lettera, ma rende visibile un principio. Ogni sistema che utilizza i propri output come fonte primaria rischia di rafforzare le proprie caratteristiche interne. Ciò che il modello produce spesso viene prodotto ancora più spesso. Ciò che produce male può essere escluso, non corretto. Ciò che non rappresenta può scomparire ulteriormente dal processo di apprendimento.

Il risultato finale non è necessariamente un modello che “mente” in senso intenzionale. L'intelligenza artificiale non ha bisogno di avere intenzioni per allontanarsi dalla verità. È sufficiente che riproduca con grande frequenza contenuti plausibili, ma scollegati da un'esperienza verificabile.

Non tutte le bugie sono uguali

Il titolo di questo articolo parla di “bugie”, ma è importante chiarire il senso dell'espressione. Un modello non mente come una persona che conosce la verità e decide di nasconderla. Produce invece una previsione: una sequenza che, sulla base dei suoi parametri, appare probabile in quel contesto.

La difficoltà nasce quando la previsione viene interpretata come testimonianza. Un testo generato può avere la forma di una spiegazione, di una citazione o di un resoconto, senza essere stato prodotto da un soggetto che abbia osservato ciò che descrive. Se quel testo viene poi riutilizzato come materiale di addestramento, la sua natura di simulazione può andare perduta.

Si crea così una catena di trasformazioni:

1. Una persona osserva un evento e lo descrive.
2. Un modello impara a generare descrizioni simili.
3. Un secondo modello apprende dalle descrizioni generate.
4. Il contenuto sintetico viene trattato come se fosse una nuova testimonianza.
5. Le generazioni successive ricevono una versione filtrata dell'evento originale.

A ogni passaggio può aumentare la distanza tra il fatto e la sua rappresentazione. La forma linguistica rimane, ma l'origine si indebolisce.

Il problema è simile a quello della citazione fuori contesto, moltiplicato su scala industriale. Una frase viene separata dalla sua fonte; poi viene riscritta; la riscrittura viene riassunta; il riassunto viene utilizzato per generare un nuovo testo. Alla fine rimane una formulazione convincente, ma nessuno è più in grado di ricostruire il percorso che l'ha prodotta.

Per questo la provenienza dei dati non è un requisito amministrativo. È una condizione per poter interpretare correttamente ciò che un modello ha imparato.

Le implicazioni per chi costruisce sistemi AI

Per gli sviluppatori, i data engineer e i ricercatori che lavorano con sistemi di machine learning, il problema si traduce in una serie di scelte operative.

La prima riguarda la tracciabilità. Un dataset dovrebbe indicare, quando possibile, l'origine dei documenti, la data di raccolta, il processo di trasformazione e l'eventuale presenza di contenuto generato. Senza queste informazioni, diventa difficile stimare il rischio di contaminazione e distinguere un miglioramento reale da una semplice ripetizione di pattern.

La seconda riguarda la separazione tra dati di addestramento e dati di valutazione. Se anche i benchmark vengono prodotti dagli stessi modelli che si vogliono valutare, il sistema può sembrare più efficace perché viene misurato su un ambiente costruito secondo le proprie caratteristiche. Un benchmark indipendente dovrebbe contenere casi nuovi, difficili, rari e verificabili.

La terza riguarda la conservazione dei dati reali. Quando un corpus viene ripulito o aggiornato, non dovrebbe essere trattato come un materiale indistinto. Le fonti originali, i dati sintetici e i dati revisionati da esperti dovrebbero rimanere distinguibili. Questa separazione consente di capire quale parte del miglioramento provenga da nuove osservazioni e quale dalla rielaborazione di informazioni già esistenti.

La quarta riguarda il controllo della distribuzione. Non è sufficiente misurare la quantità totale di dati sintetici. Occorre verificare quali categorie siano state amplificate, quali siano scomparse e quali errori siano diventati più frequenti. Il problema non è soltanto “quanto” materiale artificiale è stato aggiunto, ma che cosa il materiale artificiale rende più probabile.

Questa attenzione è particolarmente importante nei sistemi NLP e NER. Se un modello viene addestrato su testi sintetici, potrebbe aumentare la precisione sulle entità più comuni e ridurla sui nomi rari, sulle organizzazioni locali, sui riferimenti storici o sulle forme linguistiche meno standard. Un valore medio di accuratezza può nascondere un peggioramento significativo su gruppi specifici.

In altre parole, la valutazione deve includere anche le code della distribuzione. Un modello affidabile non è soltanto quello che funziona bene nei casi frequenti, ma quello che segnala con chiarezza i contesti in cui la propria conoscenza è fragile.

La questione dell'apprendimento continuo

La proposta di Sutton non si limita a criticare la sostituzione dei dati reali con dati sintetici. Indica anche una direzione alternativa: sistemi capaci di apprendere dalla propria esperienza, correggersi e aggiornare il proprio modello del mondo.

Gli attuali modelli linguistici vengono generalmente addestrati in una fase relativamente separata dall'utilizzo. Durante il training, i parametri vengono modificati sulla base dei dati disponibili. Dopo il rilascio, il modello può ricevere nuove informazioni attraverso il contesto, strumenti esterni o procedure di aggiornamento, ma i suoi pesi non cambiano continuamente in risposta all'esperienza ordinaria.

Sutton ha criticato proprio questa separazione. Nelle sue parole, i modelli linguistici contemporanei costituiscono una scoperta straordinaria, ma rappresentano soltanto una parte dell'intelligenza. La stima da lui proposta — circa il 20-25% — è una valutazione personale e non una misura scientifica universalmente accettata. Il suo significato, però, è chiaro: generare e predire linguaggio non equivale ancora a costruire un agente che apprende stabilmente dal mondo.

Un sistema di apprendimento continuo dovrebbe affrontare due difficoltà opposte. La prima è il catastrophic forgetting: quando apprende nuove informazioni, rischia di cancellare o modificare in modo indesiderato ciò che aveva appreso in precedenza. La seconda è l'incapacità di aggiornarsi: se i parametri rimangono invariati, il sistema non può incorporare davvero le conseguenze delle proprie esperienze.

La soluzione non è semplicemente addestrare più spesso il modello. Ogni aggiornamento dovrebbe essere accompagnato da verifica, controllo delle fonti e valutazione dei possibili effetti sulla distribuzione complessiva. Altrimenti l'apprendimento continuo potrebbe trasformarsi in un'altra forma di feedback loop non controllato.

Il ruolo dei verificatori umani e artificiali

Un'altra direzione di ricerca consiste nell'introdurre un verificatore esterno. I dati sintetici potrebbero essere utilizzati solo dopo essere stati controllati da esperti, da strumenti specializzati o da modelli più affidabili.

Questa strategia può migliorare il breve periodo. Un verificatore può eliminare errori evidenti, correggere contraddizioni e selezionare gli esempi più utili. Ma anche il verificatore ha un limite: se è costruito a partire dalle stesse informazioni o dagli stessi modelli, potrebbe trasmettere i medesimi bias.

Il controllo umano resta quindi essenziale, ma non è una soluzione magica. Ha costi elevati, richiede competenze specifiche e non scala facilmente alla velocità con cui vengono prodotti i contenuti sintetici. La verifica automatizzata può ampliare la capacità di controllo, ma deve essere sottoposta a sua volta a valutazioni indipendenti.

Questo è il collo di bottiglia umano evidenziato da Sutton: se per stabilire la qualità dei dati sintetici è necessario un numero crescente di esperti, la generazione automatica non elimina davvero la dipendenza dall'intelligenza umana. La sposta in un'altra fase del processo.

La conseguenza non è necessariamente negativa. Potrebbe significare che la supervisione umana non è un ostacolo temporaneo da rimuovere, ma una componente strutturale dei sistemi che devono operare in contesti ambigui e aperti.

Una crisi anche economica

La questione dei dati sintetici non riguarda soltanto i ricercatori. Ha conseguenze economiche per l'intera industria.

Se i dati reali di qualità diventano più difficili da reperire, possono trasformarsi in una risorsa strategica. Le aziende che possiedono archivi verificati, dati proprietari e interazioni autentiche dispongono di un vantaggio che non può essere replicato semplicemente aumentando la potenza di calcolo.

Questo può incentivare la nascita di mercati per dati certificati, licenze più precise e sistemi di tracciamento della provenienza. Ma può anche concentrare il potere nelle mani di pochi soggetti che controllano le fonti originali.

L'accesso ai dati, inoltre, non è distribuito in modo uniforme. I contenuti prodotti da comunità locali, gruppi minoritari e lingue meno rappresentate rischiano di essere meno disponibili o più difficili da verificare. Se il materiale sintetico prende il loro posto, il modello potrebbe diventare più efficiente nel rappresentare i centri già dominanti e meno capace di descrivere ciò che è periferico.

La scarsità dei dati reali non è quindi solo un problema tecnico. È anche un problema di infrastruttura culturale: chi raccoglie le testimonianze, chi le conserva, chi può utilizzarle e chi decide quali siano abbastanza importanti da entrare nei dataset del futuro?

Il paradosso della qualità

Esiste infine un paradosso. I dati sintetici possono apparire più puliti di quelli reali. Sono grammaticalmente corretti, privi di informazioni personali, organizzati secondo uno schema e spesso privi delle ambiguità che rendono difficile l'addestramento.

Ma proprio le imperfezioni dei dati reali possono contenere informazione. Gli errori, le esitazioni, le contraddizioni e le formulazioni incomplete non sono sempre rumore da rimuovere. A volte mostrano come le persone pensano, imparano, comunicano e reagiscono in condizioni non ideali.

Un dataset eccessivamente pulito rischia di descrivere un mondo che non esiste. Un modello addestrato su quel dataset può funzionare bene in una valutazione controllata e fallire quando incontra la disordinata variabilità della realtà.

Questo non significa che i dati sintetici debbano riprodurre ogni errore casuale. Significa che la qualità non coincide con la regolarità. Un contenuto artificiale può essere più leggibile, ma meno rappresentativo. Può essere più coerente, ma meno informativo. Può essere più facile da classificare, ma meno utile per affrontare casi nuovi.

Quanto mondo reale rimarrà nei modelli?

La domanda iniziale diventa allora più precisa. Non si tratta di stabilire se i modelli futuri saranno semplicemente veri o falsi. Si tratta di capire quale rapporto manterranno con le fonti che li hanno resi possibili.

Un modello può continuare a produrre frasi corrette anche dopo aver perso una parte della distribuzione originale. Può mantenere un'elevata qualità media, pur diventando meno sensibile ai casi rari. Può sembrare sempre più competente mentre la sua conoscenza si concentra su una porzione più stretta del mondo.

Questo rende il collasso difficile da individuare. Se il deterioramento producesse immediatamente testi privi di senso, sarebbe facile intervenire. Il rischio più concreto è invece una progressiva omogeneizzazione: risposte formalmente impeccabili, ma meno diverse, meno sorprendenti e meno capaci di rappresentare ciò che non rientra nei pattern dominanti.

Il problema è simile a quello di una mappa che elimina tutte le strade poco frequentate. La mappa può diventare più semplice e più leggibile, ma smette di descrivere una parte del territorio. Finché ci si muove soltanto sulle vie principali, la perdita non è evidente. Quando si deve raggiungere una località marginale o affrontare una deviazione, il limite diventa improvvisamente decisivo.

Per i modelli linguistici, le “strade secondarie” sono le lingue meno rappresentate, i contesti culturali locali, i casi limite, le conoscenze specialistiche, le testimonianze individuali e le situazioni che non compaiono spesso nei dati.

Un esperimento ancora in corso

Non esiste, oggi, una conclusione unica sul futuro dei dati sintetici. Gli studi più solidi confermano che l'addestramento esclusivo su dati generati può produrre collasso, mentre la conservazione dei dati reali e l'accumulo controllato possono migliorare la stabilità. Altri lavori mostrano però che la presenza persistente di una quota significativa di dati sintetici può continuare a creare problemi, soprattutto quando la qualità e la distribuzione non vengono controllate con attenzione.

La conclusione più prudente è anche la più importante: il model collapse non è un destino inevitabile, ma nemmeno un rischio che si possa risolvere semplicemente aggiungendo dati sintetici a dati reali.

Servono tracciabilità, dataset indipendenti, valutazioni sulle categorie rare, conservazione delle fonti originali e una distinzione chiara tra generazione, verifica e osservazione. Serve anche riconoscere che il mondo non è un archivio statico da comprimere una volta per tutte. È un sistema aperto, attraversato da nuovi eventi, nuovi agenti e nuove forme di comportamento.

La discussione sollevata da Sutton è importante proprio perché mette in discussione l'idea che il problema dell'intelligenza sia soprattutto un problema di scala. Più dati e più calcolo possono produrre sistemi straordinariamente capaci. Ma se i dati sono sempre più lontani dall'esperienza che dovrebbero rappresentare, la crescita quantitativa può nascondere una perdita qualitativa.

Il futuro dipenderà probabilmente dalla capacità di usare i dati sintetici come strumenti, non come sostituti del mondo. Possono ampliare un dataset, coprire casi rari, simulare scenari e accelerare la ricerca. Non possono, da soli, restituire ciò che non hanno osservato.

Alla fine, il punto non è stabilire se l'intelligenza artificiale possa imparare dalle proprie “bugie”. Può farlo, e lo sta già facendo in molte forme. Il punto è capire se, prima che quelle bugie diventino la principale fonte di apprendimento, saremo ancora in grado di distinguerle dalle testimonianze da cui hanno avuto origine.

Perché una macchina può continuare a parlare anche quando ha smesso di ascoltare. E un modello può continuare a descrivere il mondo anche quando, del mondo reale, conserva soltanto una versione sempre più lontana, levigata e autoreferenziale.