Durante anos, aumentar a janela de contexto pareceu uma solução quase óbvia para um dos problemas centrais dos modelos de inteligência artificial. Se a máquina pode ler mais documentos, mensagens, relatórios e registros ao mesmo tempo, ela deveria cometer menos erros. A promessa era simples: mais contexto significaria mais memória, mais compreensão e decisões mais confiáveis.
O novo KEEP-Bench coloca essa promessa sob suspeita. O benchmark avalia não apenas se um modelo chega à resposta correta depois de receber um contexto comprimido, mas se ele preserva as evidências necessárias para justificar essa resposta. A diferença é decisiva. Uma IA pode acertar por acaso, por conhecimento prévio ou por um atalho estatístico, mesmo tendo apagado justamente a informação que deveria orientar sua conclusão.
Os resultados sugerem que o problema não desaparece quando a janela de contexto cresce. Em muitos casos, ele apenas muda de lugar. A informação entra no sistema, passa por uma etapa de resumo ou compressão e chega ao modelo como uma versão mais curta, mais barata e potencialmente menos fiel do original.
O gargalo não é mais apenas caber informação
Modelos atuais conseguem processar contextos que ultrapassam cem mil tokens. Isso permite reunir contratos, históricos de atendimento, prontuários, especificações técnicas e milhares de páginas de pesquisa em uma única interação. Mas uma janela grande não significa que cada detalhe será tratado com a mesma atenção.
Na prática, sistemas que precisam trabalhar com grandes volumes de informação frequentemente comprimem o contexto. Em vez de enviar todo o material ao modelo a cada pergunta, um componente intermediário cria uma representação menor, um resumo ou uma memória reutilizável. O ganho é importante: menos processamento, menor custo e respostas mais rápidas.
O risco aparece quando a compressão preserva a ideia geral, mas elimina as condições que tornam a ideia verdadeira. Uma frase como “o tratamento foi eficaz” pode parecer equivalente a “o tratamento foi eficaz apenas para pacientes que receberam a segunda dose e não apresentavam determinada condição”. Para uma conversa casual, a diferença pode passar despercebida. Para uma decisão médica, jurídica ou financeira, ela pode mudar tudo.
O KEEP-Bench foi criado para medir esse tipo de perda. Seus casos exigem que o modelo mantenha três classes de evidência especialmente vulneráveis: referências plausíveis, qualificadores explícitos e perspectivas minoritárias. São detalhes que muitas técnicas de resumo tratam como periféricos, embora frequentemente sejam os elementos que limitam ou corrigem a interpretação dominante.
Acertar a resposta não prova que a memória funcionou
A avaliação tradicional de compressão costuma usar perguntas e respostas. O modelo recebe um texto reduzido e precisa responder corretamente. Se a resposta coincide com o gabarito, o sistema parece confiável. O problema é que esse teste não revela como o modelo chegou lá.
Imagine um relatório que apresenta duas hipóteses e termina dizendo que apenas uma delas foi confirmada. Um resumo pode remover a hipótese descartada e manter a conclusão final. Quando perguntado sobre o resultado, o modelo responderá corretamente. Porém, se a pergunta mudar para “qual evidência eliminou a segunda hipótese?”, a falha aparecerá.
Também é possível que o modelo conheça a resposta por padrões aprendidos anteriormente. Nesse cenário, ele acerta mesmo quando o contexto comprimido não contém mais a prova necessária. O resultado do benchmark tradicional mascara uma perda de fidelidade: o sistema parece ter preservado a informação, quando na verdade apenas produziu uma resposta plausível.
O KEEP-Bench tenta separar essas duas coisas. Em vez de avaliar somente o resultado final, ele verifica se a representação comprimida conserva os elementos que sustentam a resposta. Isso transforma a compressão de contexto em um problema de preservação de evidências, não apenas de redução de texto.
Os números revelam uma fragilidade desconfortável
O estudo reúne quatro mil cento e dois casos em três configurações difíceis. Mesmo com instruções específicas para resumir com cuidado, os modelos mais fortes apresentaram desempenho insuficiente. O melhor modelo de pesos abertos, com trinta e um bilhões de parâmetros, preservou todas as evidências necessárias em apenas sessenta e seis vírgula oito por cento dos casos.
O melhor modelo proprietário chegou a sessenta e um vírgula seis por cento. Esses números não significam que os sistemas erraram em quase quatro de cada dez respostas. Significam algo mais preocupante: em uma parcela expressiva dos exemplos, eles não mantiveram todos os elementos necessários para uma leitura fiel do material original.
O resultado também é relevante porque os contextos usados no estudo tinham, em média, três mil e cem tokens. Ou seja, a dificuldade não dependia de um arquivo gigantesco. Mesmo entradas relativamente compactas apresentaram perdas quando precisaram ser condensadas. A existência de janelas superiores a cem mil tokens, portanto, não resolve automaticamente o problema da fidelidade.
Há uma lição importante nessa diferença entre capacidade nominal e comportamento real. Um sistema pode aceitar uma quantidade impressionante de texto e ainda não conseguir proteger uma ressalva, uma exceção ou uma opinião minoritária durante o processamento. A métrica de tamanho da janela mede quanto cabe. Ela não mede quanto sobrevive.
O impacto para empresas brasileiras
No ambiente corporativo brasileiro, a compressão de contexto pode parecer uma otimização técnica distante, mas já está embutida em muitos produtos. Assistentes que consultam políticas internas, sistemas de atendimento que recuperam históricos, ferramentas que analisam contratos e agentes que acompanham processos precisam decidir quais partes da informação serão carregadas a cada etapa.
Uma empresa pode economizar ao resumir milhares de documentos antes de enviá-los a um modelo. Mas, se o resumo apagar uma cláusula de exceção, a economia pode transformar-se em prejuízo. Em setores regulados, a perda de um prazo, de uma condição de elegibilidade ou de uma restrição territorial pode gerar decisões incorretas difíceis de auditar.
Isso é particularmente sensível no Brasil, onde operações empresariais combinam legislação federal, regras estaduais, normas municipais, contratos específicos e grande diversidade regional. Um resumo genérico pode preservar a regra dominante e eliminar justamente a particularidade que se aplica a determinado cliente, cidade ou segmento.
Para equipes que implantam inteligência artificial, a recomendação é tratar o resumo como uma transformação de dados de alto risco. Não basta medir custo, latência e taxa de acerto. É necessário testar se o sistema preserva condições, exceções, fontes divergentes e evidências negativas. A pergunta não deve ser apenas “a resposta está certa?”, mas também “o sistema ainda consegue mostrar por que ela está certa?”.
Uma nova arquitetura de confiança
O caminho não é abandonar a compressão. Contextos extensos são caros, lentos e difíceis de operar. A solução é construir mecanismos que reconheçam a diferença entre informação repetitiva e informação decisiva.
Uma abordagem possível é combinar resumos com trechos verificáveis do material original. O sistema pode produzir uma síntese curta, mas manter ligações internas para as evidências que sustentam cada afirmação. Outra alternativa é pedir que a compressão classifique explicitamente qualificadores, exceções, conflitos e perspectivas minoritárias, em vez de tratá-los como detalhes secundários.
Também será importante avaliar a fidelidade por amostragem. Em fluxos de alto impacto, revisores humanos podem comparar periodicamente o resumo com a fonte original, procurando exatamente os tipos de perda identificados pelo KEEP-Bench. O objetivo não é revisar tudo manualmente, mas descobrir se o processo está sistematicamente apagando determinada classe de evidência.
Há ainda uma mudança de cultura necessária. Resumos produzidos por IA não devem ser tratados como cópias menores dos documentos originais. Eles são interpretações intermediárias, com critérios próprios de seleção. Quando entram em uma cadeia de decisão, precisam carregar metadados sobre origem, data, confiança e possíveis lacunas.
O que realmente significa lembrar
A discussão sobre contexto costuma usar metáforas humanas: memória, atenção e compreensão. O KEEP-Bench mostra que essas palavras podem esconder uma distinção essencial. Lembrar não é apenas manter uma conclusão. É preservar as relações que tornam a conclusão justificável.
Uma máquina que responde corretamente sem conservar a evidência pode ser útil em tarefas triviais, mas perigosa em tarefas que exigem prestação de contas. Em uma organização, uma decisão precisa ser explicada a um cliente, a um auditor, a um médico, a um juiz ou a um colega que não participou da primeira análise.
O futuro dos sistemas de contexto longo não será decidido apenas pelo número de tokens que eles conseguem ler. Será decidido pela qualidade daquilo que eles escolhem não esquecer. A inteligência artificial mais confiável talvez não seja a que produz o resumo mais elegante, mas a que sabe proteger uma pequena ressalva quando todo o restante parece apontar para uma resposta óbvia.