La Moda
Settembre 2006: lingua, pertinenza e spam cambiano insieme alle parole che la gente usa.
1. L'espansione della query e il clustering semantico
Dato che non è bello ciò che è bello ma ciò che risponde all'intento collettivo, il motore di ricerca ha la necessità di dedurre la pertinenza partendo dalle correlazioni di fatto che emergono dai documenti pubblicati.
Ipotizziamo di creare da zero un sito su una tematica inedita, basato su termini non ancora presenti nel lessico comune. Anche se all'epoca Google non operava come motore semantico completo, calcolava già correlazioni tra chiavi per capire di cosa stesse parlando un documento e quale pertinenza attribuirgli.
Questo principio si ricollega all'espansione della query e al keyword clustering (all'epoca ben rappresentato dal motore Clusty / Vivisimo). Interrogando una chiave su motori a clustering, l'indice restituiva gruppi tematici ramificati:
- raggruppamento per argomenti affini (concetti primari e secondari);
- estrazione automatica dei contesti correlati;
- mappatura della distribuzione dei lemmi adiacenti.
2. Correlazione visibile e invisibile
Esistevano due livelli diversi. La correlazione visibile era quella mostrata agli utenti dagli operatori di sinonimia (come il vecchio comando ~ di Google) o dai suggerimenti di ricerca. La correlazione invisibile invece stava sotto: la co-occorrenza statistica dentro la matrice dei documenti, dove i termini di appoggio confermano se una pagina parla davvero di quel tema.
Insieme decidevano quanta fiducia dare a un testo rispetto a una ricerca.
3. L'effetto farfalla e la mutazione del lessico nelle SERP
Il punto fermo è che lingua, tema e soglie di spam non restano immobili dentro il motore: quando un primo gruppo di siti introduce un gergo o una tecnologia nuova crea la prima massa critica di co-occorrenze, il motore aggiorna i pesi statistici assimilando quel vocabolario, e l'uso collettivo sposta l'asse dei risultati.
Un motore di ricerca cambia insieme alla moda e alle parole che la gente usa. Il battito d'ali semantico dei primi editori può scatenare un uragano nell'indice mesi dopo.