Catene di Markov: lo spam che piace ai motori

Una catena di Markov applicata al linguaggio naturale è un modello stocastico a stati discreti: data una sequenza di termini, la probabilità che compaia la parola successiva dipende esclusivamente dallo stato corrente o da una finestra finita di parole precedenti (gli n-grammi), disinteressandosi della coerenza concettuale globale del discorso.

Nel saggio del settembre 2006 intitolato «Catene di Markov», analizzavo come, calcolando le probabilità di transizione su un corpus di testi reali in lingua italiana, fosse possibile generare frasi che a livello locale rispettavano la morfologia e la sintassi della lingua.

A differenza delle vecchie liste casuali di parole chiave — facilmente intercettate dai primi filtri euristici dei motori di ricerca — il testo generato tramite catene markoviane presentava una plausibilità apparente:

• Le congiunzioni e le preposizioni comparivano con frequenze naturali.
• La lunghezza dei periodi e la distribuzione statistica delle parole riflettevano la prosa umana.

L'assenza di un modello logico sottostante produceva però una conseguenza evidente: un testo che a una scansione sintattica superficiale sembrava italiano corretto, ma che a una lettura attenta risultava completamente privo di significato e di valore informativo.

Per verificare empiricamente come i motori di ricerca valutassero la regolarità statistica dei testi, nell'ottobre 2006 avviai un esperimento controllato denominato «Test: indicizzazione del testo (anti-Markov)».

L'ipotesi di lavoro era speculare alla simulazione markoviana: se le catene stocastiche massimizzano la probabilità di transizione tra parole per apparire naturali, cosa accade pubblicando una pagina in cui ogni singolo termine appartiene al vocabolario italiano, ma nessuna coppia consecutiva di parole (bigramma) ha riscontri nell'indice del motore di ricerca (cercata tra virgolette dà esattamente zero risultati)?

L'esito fu istruttivo: la pagina venne indicizzata regolarmente nei database del motore, ma rimase totalmente priva di visibilità per qualsiasi ricerca competitiva. L'esperimento dimostrò sul campo che i filtri automatici non comprendono il testo, ma ne misurano le distanze statistiche: testi con deviazioni estreme vengono relegati a un ruolo marginale senza bisogno di interventi manuali.

I moderni modelli linguistici operano su miliardi di parametri e contesti ampi, ma il principio probabilistico di fondo resta analogo: comporre sequenze che massimizzano la verosimiglianza statistica rispetto ai testi di addestramento.

Nel 2006 come oggi, la scorciatoia di inondare i canali digitali di contenuti sintetici a costo zero si scontra rapidamente con i filtri di qualità: i sistemi di Information Retrieval misurano le anomalie distributive e riducono la visibilità del testo privo di sostanza. L'unico segnale che resiste agli aggiornamenti degli indici è l'informazione verificabile: dati originali, casi reali e documentazione sul campo.