Rastreabilidade (crawlability)

Uma página pode estar acessível para visitantes humanos e permanecer invisível para um rastreador. O rastreador tem de encontrar o URL através de uma ligação ou de um sitemap, ter permissão para o aceder (robots.txt, a diretiva noindex e os códigos de estado HTTP decidem isso) e extrair texto real da resposta. Se algum desses passos falhar, o conteúdo não entra no índice, independentemente da sua qualidade. A rastreabilidade é a condição prévia de tudo o que acontece a seguir: uma página que não pode ser alcançada e lida não pode aparecer nos resultados, não pode gerar um rich snippet e não pode ser citada por nenhum sistema.

A fase de renderização é onde as lojas modernas perdem terreno em silêncio. O conteúdo injetado por JavaScript depois de a página carregar, como um widget de avaliações obtido de um script de terceiro ou um iframe, muitas vezes não está presente no HTML inicial. Alguns rastreadores renderizam JavaScript com atraso ou não o renderizam de todo, pelo que essas avaliações podem ser não rastreáveis: o cliente vê-as, o rastreador não. Os iframes são uma armadilha particular, uma vez que o seu conteúdo reside num URL separado e raramente é atribuído à página que o aloja.

Considere uma loja Shopify de cerâmica artesanal portuguesa. A página de produto apresenta 180 avaliações com uma média de 4,6 estrelas, carregadas por uma aplicação de avaliações que escreve as estrelas e os comentários dos clientes na página depois de o navegador executar o script. Para o cliente a página parece completa. Para o rastreador que obtém a resposta em bruto, o conteúdo principal é o nome do produto, o preço e uma descrição curta: as 180 avaliações simplesmente não constam do documento. O lojista assume que a prova social está a funcionar para a pesquisa quando, ao nível que o rastreador vê, não existe.

A prova honesta consiste em obter o HTML em bruto (ver código-fonte, ou um pedido curl) e procurar o texto real das avaliações. Se estiver ausente aí, está ausente também da visão do rastreador. Isto tem agora importância para além da pesquisa clássica. Motores de resposta como o ChatGPT, o Perplexity e o Google AI Overviews constroem respostas a partir de texto que conseguem obter e analisar, e a maior parte dessa obtenção baseia-se no mesmo HTML rastreável em vez de uma renderização completa em navegador de cada página. Quando um cliente pergunta a um assistente qual a loiça artesanal mais resistente ao uso diário, o modelo só pode recorrer ao texto das avaliações que conseguiu ler. As avaliações encerradas num widget apenas do lado do cliente não contribuem para essa resposta.

Tornar as avaliações existentes legíveis, corroboradas e citadas por motores de busca e de IA é o problema que o BeyondReviews resolve, ao renderizar esse conteúdo do lado do servidor para que as palavras estejam no HTML que o rastreador analisa no primeiro pedido, em vez de ficarem presas dentro de um script que apenas o navegador executa.