GEO: o que o artigo acadêmico que cunhou o termo propôs e seus limites

O paper que cunhou o termo GEO foi aceito na KDD 2024 e relata ganho de visibilidade de até 40% em respostas de IA generativa. O resumo, porém, não detalha as táticas nem as métricas por trás do número.

Um paper de 2023 deu nome ao problema

O termo GEO (Generative Engine Optimization, a otimização para engines generativas) vem do paper "GEO: Generative Engine Optimization". Assinam Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan e Ameet Deshpande.

A primeira versão foi ao arXiv em 16 de novembro de 2023; a terceira revisão, em 28 de junho de 2024. O artigo foi aceito na KDD 2024, segundo sua página, nas áreas de aprendizado de máquina (cs.LG) e recuperação de informação (cs.IR).

Esta análise se apoia apenas no resumo do paper no arXiv. O PDF não foi consultado aqui, e o resumo não lista as táticas testadas nem os números de cada uma. O texto abaixo repete o que o resumo afirma, com atribuição, e avalia os limites dessas afirmações.

Criadores não controlam como aparecem nas respostas

Segundo os autores, os modelos de linguagem inauguraram um novo paradigma de buscadores. Esses sistemas usam modelos generativos para reunir e resumir informação e responder consultas. O paper formaliza o conjunto sob o conceito de generative engines (GEs).

Essas engines sintetizam informação de várias fontes e resumem com LLMs. Para o usuário, a resposta fica mais útil; para a engine, cresce o tráfego. O terceiro interessado é quem fornece a informação: sites e criadores de conteúdo.

Como as generative engines são caixas-pretas e mudam rápido, diz o paper, criadores têm pouco ou nenhum controle sobre quando e como seu conteúdo aparece. A economia dos criadores precisa ser preservada, argumentam os autores.

O resumo também projeta que esse tipo de buscador pode substituir rapidamente Google e Bing. É projeção dos autores, não resultado medido no estudo.

GEO é um framework black-box que também define a métrica

O paper apresenta GEO como o primeiro paradigma — na formulação dos autores — para ajudar criadores a ganhar visibilidade nas respostas de generative engines. O instrumento é um framework flexível de otimização black-box, que serve para otimizar e para definir métricas de visibilidade.

Black-box significa que o criador não acessa o funcionamento interno da engine. Ele otimiza por fora, sem conhecer os pesos do sistema. Já "definir métricas" indica que parte do trabalho é estabelecer como medir visibilidade.

Daí um ponto central: o número de 40% depende de uma métrica que o próprio estudo propõe. Entender GEO na origem ajuda a separar conceito de tática; para o vocabulário básico, vale ver o que é GEO.

A avaliação roda sobre o GEO-bench

Para permitir avaliação sistemática, os autores criaram o GEO-bench. É descrito como um benchmark de larga escala, com consultas diversas de usuários, de múltiplos domínios, acompanhadas das fontes web relevantes para respondê-las. A avaliação relatada no resumo usa esse benchmark.

O resumo não informa quantas consultas ou domínios o benchmark cobre, quais generative engines foram usadas nem como as fontes foram selecionadas. Esses detalhes ficam no texto completo, presumivelmente.

O ganho de até 40% é um teto, não uma média

O resumo relata dois resultados. O primeiro: GEO pode aumentar a visibilidade em até 40% nas respostas de generative engines. O segundo: a eficácia das estratégias varia por domínio, o que, para os autores, exige métodos de otimização específicos para cada domínio.

O "até 40%" é um teto. O resumo não diz qual método chegou ao número, em quais consultas, nem qual foi o desempenho típico das técnicas testadas.

Seis limites para ler o paper sem exagero

• Base de leitura limitada. Sem o texto completo, não se sabe quais táticas foram testadas, o ganho de cada uma, a definição exata da métrica nem a linha de base da comparação.
• Teto não é média. Um ganho de até 40% não autoriza prometer 40% de melhora em nenhum contexto.
• Benchmark não é produção. A avaliação ocorre em um conjunto de consultas e fontes montado para o estudo, não no seu site ou nicho. O resumo não afirma medição em produtos específicos de busca com IA.
• Recorte temporal. O paper é de novembro de 2023, com revisão de junho de 2024. Resultado de laboratório não se transfere automaticamente para as engines de hoje.
• A dependência de domínio é um achado. Ela contraria a leitura do paper como receita única, válida para todos os setores.
• "Primeiro paradigma" é reivindicação dos autores. Esta análise não verificou se havia propostas equivalentes anteriores.

Como usar o paper sem distorcer

O valor prático do GEO original é conceitual. Ele nomeia o problema do criador diante de respostas geradas e propõe uma forma de medir visibilidade nesse ambiente. Como peça de argumentação comercial, porém, exige cuidado.

Se um fornecedor citar o paper para justificar uma tática ou um percentual, pergunte qual método foi avaliado. Vale saber também em qual benchmark, com qual métrica e contra qual linha de base — informações que o resumo não entrega.

Visibilidade em resposta gerada não é posição em resultado de busca. São métricas diferentes, com lógicas diferentes, como discutimos em por que um ranking em IA não é um ranking do Google.

O paper também trata do conteúdo que serve de fonte para a geração. É tema próximo ao dos três usos que IAs fazem do seu conteúdo.