La Moda
Settembre 2006: lingua, pertinenza e spam cambiano insieme alle parole che la gente usa.
1. L'espansione della query e il clustering semantico
Dato che non è bello ciò che è bello ma ciò che risponde all'intento collettivo, il motore di ricerca ha la necessità di dedurre la pertinenza partendo dalle correlazioni di fatto che emergono dai documenti pubblicati.
Ipotizziamo di creare da zero un sito su una tematica inedita, basato su termini non ancora presenti nel lessico comune. Anche se all'epoca Google non operava come motore semantico completo, calcolava già correlazioni tra chiavi per capire di cosa stesse parlando un documento e quale pertinenza attribuirgli.
Questo principio si ricollega all'espansione della query e al keyword clustering (all'epoca ben rappresentato dal motore Clusty / Vivisimo). Interrogando una chiave su motori a clustering, l'indice restituiva gruppi tematici ramificati:
- raggruppamento per argomenti affini (concetti primari e secondari);
- estrazione automatica dei contesti correlati;
- mappatura della distribuzione dei lemmi adiacenti.
2. Correlazione visibile e invisibile
Esistevano due livelli di correlazione:
- Correlazione visibile: quella esplicitata da operatori di sinonimia (come il vecchio operatore
~di Google) o dai suggerimenti di ricerca. - Correlazione invisibile: la co-occorrenza statistica calcolata a matrice sui documenti del database, dove la presenza di specifici termini d'appoggio certifica l'autenticità tematica della pagina.
Entrambe concorrono a definire il grado di pertinenza di un testo rispetto a una query.
3. L'effetto farfalla e la mutazione del lessico nelle SERP
Il punto centrale è che lingua, tema e soglie di spam non sono categorie immutabili nel database del motore di ricerca:
- Un gruppo iniziale di siti che tratta una nuova tecnologia o introduce un nuovo gergo crea la prima massa critica di co-occorrenze.
- Il motore adatta le proprie distribuzioni statistiche assimilando quel nuovo vocabolario al settore corrispondente.
- L'evoluzione del vocabolario sul web sposta l'asse dei risultati.
Un motore di ricerca non è un archivio statico: è un sistema che reagisce alla moda e all'uso collettivo della lingua. Come nel noto paradosso meteorologico, il battito d'ali semantico dei primi editori può provocare un uragano nell'indice mesi dopo.