C'è un buco nella tela del ragno: l'emulazione del Select All e i limiti dei crawler
Lo storico confronto del gennaio 2007 con Agoago e Fradefra: cosa indicizza davvero Googlebot, la differenza tra iframe e JavaScript e la selezione del testo a video.
1. Il dibattito del gennaio 2007: quando un testo è visibile?
A volte basta una sola discussione tecnica per scardinare convinzioni consolidate. Nel gennaio 2007, un confronto pubblico sul forum con figure storiche della SEO italiana (in particolare Agoago e Fradefra) portò alla luce una domanda fondamentale: quando un testo è veramente visibile per un motore di ricerca?
La maggior parte dei webmaster ragionava in modo binario: o si permetteva allo spider di indicizzare l'intera pagina, oppure si bloccava tutto tramite robots.txt. Pochi si ponevano il problema di come escludere dal calcolo della pertinenza le parti irrilevanti di un documento (menu pesanti, disclaimer legali, blocchi pubblicitari) senza perdere l'indicizzazione del nucleo centrale.
2. L'ipotesi dell'emulazione del «Select All» e il rendering
Nel corso del confronto emerse un'intuizione tecnica profonda avanzata da Agoago: per capire cosa vede realmente un utente, un crawler avanzato non può limitarsi al parsing statico dell'HTML sorgente, ma deve riprodurre l'effetto equivalente a un «Seleziona tutto» (Ctrl+A) eseguito nel browser a video.
Mettendo a confronto i diversi metodi di inclusione dei contenuti, emergevano nette differenze:
- Testo generato direttamente in pagina con JavaScript → catturato dal Select All.
- Testo richiamato da un file
.jsesterno → catturato se il motore esegue l'interprete. - Testo caricato all'interno di un
<iframe>→ escluso dal Select All del documento padre. - Testo caricato dentro un
<iframe>generato a sua volta via JavaScript → totalmente isolato dall'albero di selezione della pagina madre.
Questa asimmetria spiegava perché Google imponesse l'uso di iframe richiamati da script per la distribuzione degli annunci AdSense: evitare che il testo dei banner inquinasse il calcolo della pertinenza della pagina ospitante.
3. Limiti di calcolo e strategie dei grandi attori
La riflessione toccò anche la sostenibilità economica dell'infrastruttura:
- Eseguire un motore di rendering completo per ogni singola risorsa del web comporta un costo computazionale proibitivo per i data center.
- I motori di ricerca sono aziende con vincoli di bilancio ed efficienza energetica: castrano deliberatamente la scansione profonda dove il rapporto tra costo di elaborazione e valore informativo è sfavorevole.
Comprendere dove la macchina si ferma per proteggere le proprie risorse di calcolo è la chiave per progettare architetture che comunichino in modo pulito ed efficiente con gli spider.