Robots.txt e i bot AI: stai bloccando chi ti cita?

Come mai il robots.txt blocca i bot AI?

Di rado per una scelta consapevole. La maggior parte dei blocchi arriva per eredità: un plugin di sicurezza, una configurazione predefinita del CDN, un default del hosting o un template copiato che ha aggiunto regole Disallow per i bot AI durante il 2023, quando il consiglio del momento era "tieni i tuoi contenuti fuori dal training". La regola rimane nel file per anni e nessuno la riesamina.

L'intenzione originale era impedire l'uso dei contenuti per l'addestramento dei modelli. L'effetto collaterale oggi è che la stessa regola può escludere le tue recensioni dalle citazioni live che i motori di risposta mostrano a un cliente mentre sta valutando l'acquisto. Accesso per il training e accesso per le risposte live non sono la stessa cosa, ma una singola riga Disallow spesso blocca entrambi.

Quali user-agent di bot AI devo cercare nel robots.txt?

Ogni motore di risposta invia bot diversi, e bloccare uno non blocca gli altri. Apri il robots.txt e scorri le righe User-agent alla ricerca dei bot AI nominati, poi leggi le regole Disallow collegate a ciascun blocco.

Una regola sotto un determinato user-agent si applica solo a quell'agente, quindi un file può accogliere il bot di ricerca di Google e al tempo stesso bloccare il bot che alimenta un AI Overview.

• GPTBot e OAI-SearchBot, i bot di indicizzazione di OpenAI per ChatGPT Search.
• ClaudeBot e Claude-User, usati da Anthropic.
• PerplexityBot, che recupera le pagine citate da Perplexity.
• Google-Extended, che governa Gemini e gli AI Overviews separatamente dal normale Googlebot.

Bloccare un bot AI significa davvero perdere la citazione?

Spesso sì. I motori di risposta si affidano ai bot di indicizzazione che controllano per leggere la pagina live, e il robots.txt è il cancello che il bot rispetta. Se il cancello è chiuso, il motore non ha nessuna copia leggibile delle tue recensioni da citare, e scompari dalle risposte per qualsiasi cliente che non digita direttamente il nome del tuo negozio.

La precisazione onesta: il robots.txt è una richiesta, non un muro. I bot conformi la rispettano, e i principali bot AI generalmente lo fanno, quindi un Disallow ti costa concretamente con loro. Non ferma un soggetto che ignora il file, e non è un controllo di sicurezza. Il punto qui è più limitato: se vuoi essere citato, non bloccare i bot che fanno le citazioni.

Come verifico il robots.txt senza aprire tutto?

Non si tratta di scegliere tra blocco totale ed esposizione totale. La verifica consiste nel rimuovere i blocchi accidentali sui pochi bot di indicizzazione che alimentano le risposte rivolte agli acquirenti, mantenendo i blocchi impostati deliberatamente.

Procedi in ordine e modifica una cosa alla volta, così puoi vedere cosa produce ogni singola modifica.

• Leggi il-tuo-negozio.com/robots.txt ed elenca ogni blocco User-agent e le sue regole Disallow.
• Segnala ogni Disallow che punta a GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot o Google-Extended.
• Decidi bot per bot: un blocco deliberato rimane; uno ereditato che non hai mai scelto, togli.
• Verifica che le pagine delle recensioni e gli URL dei prodotti non siano colpiti da un percorso Disallow troppo ampio.

Ho rimosso i blocchi: perché le mie recensioni non compaiono nelle risposte AI?

Perché l'accesso è necessario, non sufficiente. Permettere al bot di entrare conta solo se c'è qualcosa di leggibile da portare via. Un negozio può aprirsi a tutti i bot AI e restare non citato perché le sue recensioni vengono rese da un Widget JavaScript che il bot vede come un contenitore vuoto.

La maggior parte delle app di recensioni è stata costruita per il cliente sulla pagina e si ferma al Widget, lasciando le recensioni illeggibili ai bot di indicizzazione che hai appena sbloccato. Rendere le recensioni esistenti leggibili, corroborate e citate nella ricerca e nell'AI è il problema che BeyondReviews è costruito per risolvere. Il robots.txt apre la porta; l'HTML delle recensioni leggibile è ciò che il motore porta davvero con sé.

Qual è la differenza tra robots.txt, il tag noindex e un file llms.txt?

Controllano cose diverse. Il robots.txt stabilisce se un bot di indicizzazione può recuperare una pagina. Il tag noindex permette al bot di recuperarla ma chiede al motore di non indicizzarla, quindi è un segnale più morbido e viene letto solo dopo che il recupero è consentito. Un file llms.txt è una proposta separata che punta i modelli verso contenuti preferiti e non ha il potere di bloccare nessuno.

Per le citazioni AI, il robots.txt è quello che regge tutto. Se blocca il bot di indicizzazione, nulla di quanto viene dopo conta, perché il motore non riesce mai a leggere la pagina, men che meno a valutare un tag noindex o un suggerimento llms.txt.

In sintesi

Il robots.txt è un controllo di cinque minuti con conseguenze importanti. Un singolo Disallow ereditato può rimuovere il tuo negozio dalle risposte AI senza che nessuno se ne accorga, e la correzione di solito consiste nel cancellare una riga che non hai mai scelto di aggiungere. Verifica gli user-agent dei bot AI, mantieni i blocchi che hai deciso tu, rimuovi quelli ereditati, poi assicurati che le recensioni dietro la porta siano davvero leggibili una volta che il bot ci entra.