Robots.txt a twoi kupujący z AI: czy blokujesz crawlery, które cię cytują?

Skąd się biorą blokady crawlerów AI w robots.txt?

Rzadko z premedytacją. Większość blokad pojawia się przez dziedziczenie: wtyczka bezpieczeństwa, ustawienia domyślne CDN, konfiguracja hostingu albo skopiowany szablon, który dodał reguły Disallow dla botów AI podczas fali porad "trzymaj treści poza treningiem modeli" z 2023 roku. Reguła siedzi w pliku latami i nikt jej nie weryfikuje.

Ówczesną intencją było ochronienie treści przed uczeniem modeli. Skutkiem ubocznym jest teraz to, że ta sama reguła może wykluczyć twoje opinie z cytowań, które silniki odpowiedzi AI wyświetlają kupującym w trakcie zakupu. Dostęp do treningu i dostęp do odpowiedzi to dwie różne rzeczy, ale jedna reguła Disallow często blokuje oba.

Które user-agenty crawlerów AI sprawdzić w pliku robots.txt?

Różne silniki wysyłają różne boty, a zablokowanie jednego nie blokuje pozostałych. Otwórz plik robots.txt i przejrzyj linie User-agent szukając konkretnych crawlerów AI, a następnie sprawdź reguły Disallow przypisane do każdego bloku.

Reguła pod jednym user-agentem dotyczy tylko tego agenta, więc plik może wpuszczać Google do wyszukiwarki, jednocześnie cicho zamykając bota zasilającego AI Overviews.

• GPTBot i OAI-SearchBot, crawlery OpenAI działające w tle wyszukiwania ChatGPT.
• ClaudeBot i Claude-User, używane przez Anthropic.
• PerplexityBot, który pobiera strony cytowane przez Perplexity.
• Google-Extended, który osobno zarządza Gemini i Google AI Overviews w odróżnieniu od zwykłego Googlebot.

Czy zablokowanie crawlera AI oznacza utratę cytowania?

Często tak. Silniki odpowiedzi AI polegają na własnych crawlerach do odczytu strony na żywo, a robots.txt to brama, której crawler przestrzega. Jeśli brama jest zamknięta, silnik nie ma czytelnej kopii twoich opinii do zacytowania i wypada z odpowiedzi dla każdego kupującego, który nigdy nie wpisał nazwy twojego sklepu.

Uczciwe zastrzeżenie: robots.txt to prośba, nie mur. Zgodne crawlery ją respektują, a główne boty AI generalnie to robią, więc reguła Disallow skutecznie cię eliminuje w ich oczach. Nie zatrzyma podmiotu, który ignoruje plik, i nie jest mechanizmem kontroli dostępu. Istota jest węższa: jeśli chcesz być cytowany, nie blokuj botów, które cytują.

Jak sprawdzić robots.txt bez otwierania wszystkiego na oścież?

Nie wybierasz między całkowitą blokadą a całkowitym otwarciem. Audyt polega na usunięciu przypadkowych blokad dla kilku crawlerów zasilających odpowiedzi dla kupujących, przy zachowaniu celowo ustawionych reguł.

Wykonuj to po kolei i zmieniaj jedną rzecz na raz, żeby zobaczyć, co każda edycja robi.

• Otwórz twojsklep.pl/robots.txt i wypisz każdy blok User-agent wraz z regułami Disallow.
• Zaznacz Disallow dotyczące GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot lub Google-Extended.
• Oceń każdy bot osobno: celowa blokada zostaje, odziedziczona, którą można usunąć, wylatuje.
• Sprawdź, czy strony z opiniami i adresy URL produktów nie są objęte szeroką ścieżką Disallow.

Odblokuję crawlery AI, a opinie wciąż nie są cytowane. Dlaczego?

Bo dostęp to warunek konieczny, ale niewystarczający. Wpuszczenie crawlera ma sens tylko wtedy, gdy po wejściu jest coś czytelnego do zabrania. Sklep może otworzyć drzwi każdemu botowi AI i wciąż nie być cytowany, bo opinie renderują się w JavaScript widget, który crawler widzi jako pusty kontener.

Większość aplikacji z opiniami została zbudowana z myślą o kupującym na stronie i zatrzymuje się na widgecie, przez co opinie są nieczytelne dla właśnie odblokowanych crawlerów. Sprawienie, że istniejące opinie są czytelne, wiarygodne i cytowane w wyszukiwarce oraz AI to luka, którą BeyondReviews jest zbudowany, by zamknąć. Robots.txt otwiera drzwi; czytelny HTML z opiniami to to, co silnik faktycznie zabiera.

Czym robots.txt różni się od noindex i pliku llms.txt?

Kontrolują różne rzeczy. Robots.txt zarządza tym, czy crawler może w ogóle pobrać stronę. Tag noindex pozwala crawlerowi pobrać stronę, ale prosi silnik, żeby jej nie indeksował, więc to łagodniejszy sygnał, widoczny dopiero po tym, jak pobranie jest dozwolone. Plik llms.txt to osobna propozycja wskazująca modelom preferowane treści, bez możliwości blokowania kogokolwiek.

Dla cytowań AI robots.txt jest tym kluczowym. Jeśli zabrania crawlerowi wejścia, nic dalej nie ma znaczenia, bo silnik nigdy nie dociera do odczytu strony, nie mówiąc już o tym, żeby ważyć tag noindex czy wskazówkę llms.txt.

Co z tego wynika

Robots.txt to pięciominutowa kontrola o dużej wadze. Jedna odziedziczona reguła Disallow może usunąć sklep z odpowiedzi AI, a tego nikt nie zauważy. Naprawa to zazwyczaj usunięcie linii, której nigdy nie zamierzałeś dodawać. Przejrzyj user-agenty crawlerów AI, zachowaj blokady, które celowo ustawiłeś, usuń odziedziczone, a następnie upewnij się, że opinie za drzwiami są faktycznie czytelne, gdy crawler przez nie przejdzie.