Quando uma empresa pede para uma IA responder a partir de muitos documentos, a arquitetura mais comum ainda é simples demais: junta-se tudo que parece relevante, coloca-se no contexto do modelo e espera-se uma resposta coerente. Isso funciona surpreendentemente bem para perguntas pequenas. Mas, quando a decisão depende de dezenas de fontes, pareceres, contratos, laudos, e-mails ou notícias, essa simplicidade vira uma armadilha.

O paper Split the Labor: Separating Evidence Interpretation from Decision Aggregation, publicado no arXiv, coloca o dedo exatamente nesse ponto. Os autores argumentam que sistemas baseados em modelos de linguagem estão confundindo duas operações diferentes: interpretar cada evidência e tomar uma decisão a partir do conjunto dessas interpretações. Parece detalhe de engenharia, mas é uma diferença profunda.

Interpretar uma fonte exige contexto, linguagem, ambiguidade e capacidade semântica. Agregar decisões exige outra coisa: comparabilidade, critérios fixos, aritmética confiável e, em muitos casos, a coragem de dizer que ainda não há evidência suficiente. Quando essas duas tarefas são jogadas dentro do mesmo prompt, o sistema fica elegante por fora e frágil por dentro.

O problema de colocar tudo no mesmo prompt

Imagine um analista avaliando se uma empresa deve aprovar crédito para um fornecedor. Ele recebe balanços, notícias, processos judiciais, notas fiscais, histórico de pagamento e relatórios setoriais. Um modelo de linguagem pode ler cada peça e produzir uma conclusão. O problema começa quando pedimos que ele também pese tudo isso ao mesmo tempo, dentro da mesma janela de contexto, com a mesma linguagem fluida usada para explicar.

Modelos de linguagem são bons em produzir síntese textual. Eles conseguem encontrar padrões, resumir argumentos e notar contradições. Mas decisões baseadas em evidências precisam de uma camada mais rígida. Uma fonte pode ser confiável, mas pouco relevante. Outra pode ser muito relevante, mas incerta. Uma terceira pode repetir algo que as anteriores já disseram, sem acrescentar informação nova. Se o sistema apenas concatena tudo, ele corre o risco de transformar volume em convicção.

É o famoso efeito de pilha: quanto mais documentos entram, mais a resposta parece robusta, mesmo quando vários documentos são fracos, redundantes ou dependentes da mesma origem. O modelo pode soar mais seguro não porque a evidência melhorou, mas porque viu mais texto apontando vagamente na mesma direção.

O paper chama atenção para uma falha específica nesse tipo de combinação: o deslizamento de escala por contagem. Em termos simples, quando um sistema soma pesos não normalizados, o limiar de decisão muda conforme o número de fontes consultadas. Com poucas fontes, talvez ele não conclua nada. Com muitas fontes medianas, pode passar a concluir demais. A regra parece fixa, mas o comportamento real escorrega.

A proposta: uma evidência com quatro campos

A alternativa apresentada pelos autores é separar o trabalho em duas etapas. Primeiro, um leitor interpreta cada fonte isoladamente. Depois, um agregador combina essas interpretações de forma mais controlada. Para que isso funcione, o ponto crucial é a interface entre as duas partes.

Essa interface é uma tupla de evidência com quatro campos: hipótese, faixa de confiabilidade, justificativa e proveniência. A hipótese diz qual afirmação está sendo avaliada. A faixa de confiabilidade classifica o quanto aquela fonte deve pesar. A justificativa explica por que a fonte apoia, enfraquece ou não resolve a hipótese. A proveniência aponta de onde veio a informação.

Esse formato obriga o sistema a fazer algo que muitas aplicações de IA evitam: transformar leitura em registro estruturado antes de decidir. Em vez de pedir ao modelo uma conclusão final imediatamente, pede-se que ele deixe rastros comparáveis. A decisão deixa de ser uma impressão global e passa a ser resultado de evidências organizadas.

Isso também muda o papel do modelo de linguagem. Ele continua sendo usado onde tem força: interpretar texto, reconhecer nuances, extrair razões e explicar relações. Mas a parte de agregação pode ser mais determinística, auditável e ajustável. Em algumas situações, pode ser uma regra simples. Em outras, pode ser um modelo estatístico ou um mecanismo de decisão calibrado. O importante é que a leitura não fique escondida dentro da decisão.

Por que abstinência importa tanto quanto resposta

Um dos pontos mais interessantes do paper é a defesa da opção de não responder. Em muitos produtos de IA, abstenção ainda é tratada como falha de experiência. O usuário perguntou, o sistema deveria responder. Só que, em contextos reais, a resposta correta muitas vezes é: a evidência disponível não permite concluir.

Separar interpretação e agregação torna essa opção mais natural. Se cada fonte foi avaliada de maneira estruturada, o agregador pode perceber que há sinais conflitantes, baixa confiabilidade ou falta de cobertura. Em vez de inventar uma síntese confiante, ele pode devolver uma decisão suspensa e mostrar quais evidências faltam.

Isso é especialmente importante em áreas como jurídico, saúde, crédito, auditoria, jornalismo investigativo e compliance. Uma IA que sempre responde pode parecer produtiva, mas cria risco operacional. Uma IA que sabe quando parar pode ser menos vistosa, porém mais útil. O ganho não está apenas na precisão da resposta, mas na qualidade do processo decisório.

Para empresas, esse detalhe muda a conversa sobre automação. O objetivo não deveria ser substituir o analista por uma frase final gerada automaticamente. O objetivo deveria ser reduzir o trabalho bruto de leitura, tornar o raciocínio mais rastreável e permitir que decisões sensíveis tenham pontos claros de revisão humana.

Impacto para o Brasil, empresas e ecossistema de IA

No Brasil, essa discussão chega em boa hora. Muitas organizações estão implantando chatbots internos, buscadores com RAG, assistentes jurídicos, copilotos de atendimento e ferramentas de análise documental. A maior parte dessas soluções começa com a mesma promessa: conectar bases internas a um modelo e deixar as respostas mais inteligentes.

O problema é que bases brasileiras costumam ser bagunçadas. Documentos têm versões conflitantes, PDFs digitalizados, e-mails longos, normas antigas, contratos com aditivos, planilhas duplicadas e decisões registradas em linguagem informal. Nesses ambientes, uma IA que simplesmente recupera trechos e responde pode criar uma camada bonita em cima de uma fundação confusa.

A arquitetura sugerida pelo paper aponta para um caminho mais maduro. Em vez de perguntar apenas qual modelo usar, empresas deveriam perguntar como a evidência será representada. Cada documento terá proveniência clara? O sistema diferencia fonte primária de fonte derivada? Ele reconhece baixa confiabilidade? Ele separa uma justificativa textual de uma contagem bruta de documentos? Ele permite auditoria posterior?

Para bancos, seguradoras, escritórios de advocacia, hospitais, varejistas e órgãos públicos, isso pode ser a diferença entre um assistente interessante e uma infraestrutura confiável. Em compras públicas, por exemplo, a IA pode analisar editais, pareceres e documentos de habilitação, mas a decisão precisa ser explicável. Em saúde suplementar, pode resumir prontuários e guias, mas não deve transformar repetição documental em certeza clínica. Em atendimento ao consumidor, pode consultar políticas internas, mas precisa indicar quando uma regra não cobre o caso.

Também há uma oportunidade para startups brasileiras. Em vez de vender apenas mais um chatbot corporativo, há espaço para produtos que tratem evidência como objeto de primeira classe. Ferramentas que construam trilhas de proveniência, painéis de confiabilidade, agregadores calibrados e fluxos de revisão podem ser mais valiosas do que interfaces conversacionais genéricas.

O que muda na engenharia de produtos com IA

Na prática, a tese do paper empurra equipes para uma engenharia menos improvisada. Um sistema de IA que toma decisões a partir de fontes precisa definir hipóteses, unidades de evidência, escalas de confiabilidade e regras de combinação. Isso parece mais trabalhoso do que montar um prompt grande, mas reduz ambiguidade onde ela mais custa caro.

Também ajuda a testar melhor. Se interpretação e agregação estão misturadas, um erro pode vir de qualquer lugar: o modelo leu mal, recuperou a fonte errada, pesou evidências de forma estranha ou ignorou uma contradição. Quando as etapas são separadas, fica mais fácil descobrir onde o sistema falhou. O leitor pode ser avaliado por qualidade de extração e justificativa. O agregador pode ser avaliado por calibração, sensibilidade a número de fontes e taxa de abstenção.

Essa separação ainda conversa com um movimento maior da IA aplicada: sair da demonstração impressionante e entrar na rotina operacional. Demos podem tolerar respostas fluidas. Operações precisam de consistência. Para chegar lá, o modelo de linguagem não precisa fazer tudo. Ele precisa ocupar bem a parte do sistema em que realmente acrescenta inteligência.

Uma lição menos glamourosa, mas mais importante

O encanto dos modelos de linguagem está na fluidez. Eles transformam informação dispersa em texto legível, e isso parece pensamento. Mas sistemas confiáveis não nascem apenas de texto bonito. Nascem de fronteiras bem desenhadas entre leitura, evidência, decisão e responsabilidade.

A principal contribuição de Split the Labor é lembrar que nem todo raciocínio precisa acontecer dentro da cabeça do modelo. Às vezes, melhorar a IA significa tirar parte do trabalho dela. Deixar que ela leia melhor. Deixar que uma estrutura registre melhor. Deixar que uma regra agregue melhor. E deixar que o sistema inteiro reconheça, sem vergonha, quando ainda não sabe.

Para quem constrói produtos com IA, essa é uma provocação útil. A pergunta não é apenas se o modelo consegue responder. A pergunta é se a organização consegue confiar no caminho que levou até a resposta. Em um mundo com cada vez mais documentos, agentes e decisões automatizadas, separar evidência de decisão pode ser uma das arquiteturas discretas que fazem a IA deixar de ser truque e virar infraestrutura.

Fontes consultadas

Split the Labor: Separating Evidence Interpretation from Decision Aggregation