Pesquisa por IA

Geração Aumentada por Recuperação (RAG)

Também: RAG, Retrieval-Augmented Generation

A geração aumentada por recuperação (RAG) é uma técnica em que um modelo de linguagem recupera primeiro documentos relevantes de uma fonte externa e gera depois a resposta com base nesses textos, garantindo que o resultado reflita material específico e citável, em vez de depender apenas do que o modelo memorizou durante o treino.

O RAG é o mecanismo que está por detrás da maioria dos motores de resposta com IA atuais. Quando um utilizador coloca uma pergunta, o sistema executa uma etapa de recuperação, normalmente uma pesquisa semântica sobre um índice de documentos, seleciona as passagens consideradas mais relevantes e fornece-as ao modelo como contexto. O modelo redige depois uma resposta com base nessas passagens, o que explica por que razão ferramentas como o ChatGPT, o Perplexity e o Google AI Overviews conseguem identificar fontes e incluir ligações: a fonte está literalmente à frente do modelo no momento em que a resposta é gerada. Sem recuperação, o modelo limita-se a parafrasear o que constava dos dados de treino, que pode estar desatualizado, ser genérico ou simplesmente não existir para um produto de nicho.

O processo tem duas etapas que podem falhar de forma independente. A recuperação decide que documentos entram na janela de contexto; a geração decide o que o modelo faz com eles. Uma página pode estar bem escrita e mesmo assim perder na etapa de recuperação porque nunca foi indexada, nunca foi dividida em passagens que o sistema consiga emparelhar, ou porque nunca foi corroborada por outras fontes em que o sistema confie. Por outro lado, uma recuperação sólida pode ainda assim produzir uma resposta fraca se as passagens subjacentes forem superficiais ou contraditórias. Otimizar para a pesquisa por IA significa cuidar das duas etapas, e não apenas do texto que um utilizador humano leria.

Considere uma loja Shopify de cosmética natural em Lisboa. Um potencial cliente abre o ChatGPT e pergunta qual a marca que tem resultados mais consistentes para pele sensível. O assistente recupera o que encontra sobre esse comportamento específico: publicações em fóruns de beleza, algumas comparações editoriais e texto de avaliações que tenha sido publicado de forma legível e estruturada. Se a loja mantiver as suas 900 avaliações fechadas dentro de um Widget JavaScript que só carrega após o carregamento da página, o sistema de recuperação encontra frequentemente uma página sem conteúdo e não recolhe nada. Um concorrente cujas avaliações estejam em HTML rastreável, marcadas com o schema de Produto e de Avaliação, é citado em alternativa, mesmo tendo menos avaliações no total.

O RAG não garante exatidão, e convém ser honesto quanto a isso. O modelo pode ainda assim interpretar mal uma passagem, fundir duas fontes ou citar uma página que não suporta de facto a afirmação. A qualidade da recuperação varia também consoante a formulação da pergunta, pelo que uma página que obtém uma citação para uma determinada expressão pode ser invisível para uma variação próxima. No comércio eletrónico, em que os compradores recorrem cada vez mais a assistentes de IA para comparar e recomendar produtos, o problema recorrente é que avaliações genuínas de clientes existem mas não estão legíveis, corroboradas ou indexadas de forma que um sistema de recuperação consiga utilizar. Ser recuperável é a condição prévia para tudo o resto: se o conteúdo nunca entrar na janela de contexto, a qualidade da resposta nunca tem oportunidade de ser considerada. Colmatar essa lacuna é o trabalho em que o BeyondReviews se foca.