Existe uma ideia silenciosa por trás de boa parte da corrida atual em inteligência artificial: se um modelo grande consegue escrever, programar, resumir e argumentar, talvez ele também consiga julgar. Em vez de pedir que humanos avaliem milhares de respostas, empresas e laboratórios passaram a usar modelos de linguagem como árbitros. Eles comparam duas respostas, dão notas, ranqueiam candidatos, filtram dados de treinamento e ajudam a decidir quem sobe ou desce em benchmarks.
O problema é que, quando um juiz vira instrumento de medição, ele precisa se comportar como instrumento. Uma balança não pode mostrar pesos muito diferentes para o mesmo objeto no mesmo minuto. Um termômetro não pode mudar de escala sem aviso. Um exame médico não pode depender do humor invisível do laboratório naquele dia. E é exatamente esse ponto que um novo paper coloca no centro da discussão.
Em Clean Engineering, Unstable Measurement, os autores fizeram uma auditoria pré-registrada de juízes de IA usados por meio de endpoints compartilhados. A pergunta era simples e brutal: se eu mando a mesma solicitação para o mesmo nome de modelo, posso tratar a resposta de amanhã como uma medição comparável à de hoje?
A resposta encontrada foi desconfortável. Depois de 52.988 tentativas auditadas, o estudo não conseguiu sequer validar o instrumento de medição. Não porque a engenharia do experimento estivesse bagunçada, mas porque o próprio juiz se mostrou instável demais para a régua que se esperava dele.
O novo cargo invisível dos modelos: juiz
Nos últimos anos, a expressão LLM-as-a-judge virou quase um padrão operacional. Em vez de avaliar manualmente cada resposta de um chatbot, um modelo maior recebe a pergunta, as respostas candidatas e uma instrução como: escolha a melhor, explique sua decisão ou dê uma nota de zero a dez.
Isso parece razoável. Muitos erros de IA são semânticos, não apenas exatos. Uma resposta pode estar parcialmente correta, ser educada mas evasiva, conter uma solução funcional mas ruim, ou acertar o resultado com uma justificativa fraca. Testes automáticos tradicionais têm dificuldade para captar essas nuances. Um bom avaliador linguístico parece preencher a lacuna.
O uso vai muito além de rankings públicos. Juízes de IA entram em pipelines de curadoria de dados, seleção de exemplos para treinamento, avaliação de modelos internos, comparação de prompts, sistemas de recompensa, revisão de respostas e até decisões de produto. Quando uma empresa diz que uma versão nova melhorou alguns pontos percentuais em qualidade, muitas vezes há um juiz de IA no meio do caminho.
Mas existe uma diferença enorme entre “o modelo parece julgar bem” e “o modelo é uma régua confiável”. O paper mira justamente essa diferença. O ponto não é acusar um modelo específico de ser ruim. É mostrar que, em ambientes compartilhados e fechados, o nome do modelo pode não representar uma unidade de medição estável o suficiente para certas conclusões.
A falha não estava no encanamento
O estudo é interessante porque foi pré-registrado. Isso significa que os autores definiram antes os critérios, limiares e procedimentos, reduzindo a chance de ajustar a interpretação depois de ver os resultados. Eles queriam verificar se o instrumento passava por testes mínimos de confiabilidade.
Em uma das campanhas, rankings repetidos dentro da mesma janela deveriam atingir correlação de Spearman de 0,90. O resultado ficou em 0,400. Em outra, reexecuções no dia seguinte com entradas byte a byte idênticas deveriam chegar a 0,99. O resultado ficou em 0,78. Para uma conversa casual, talvez isso pareça aceitável. Para uma medição usada como base de benchmark, treinamento ou decisão de produto, é um alerta vermelho.
O detalhe mais importante é que os registros de execução estavam no teto. Ou seja, a falha não veio de um script relaxado, de dados mal salvos ou de uma auditoria improvisada. A engenharia estava limpa. A medição é que não se comportou como se esperava.
Os autores apontam três mecanismos por trás da instabilidade. Primeiro, o mapeamento entre rótulos e significado podia enviesar as leituras tanto quanto o próprio sinal que se queria medir. Segundo, as diferenças entre candidatos eram minúsculas diante do ruído do instrumento, chegando a ordens de grandeza abaixo da variação observada. Terceiro, entradas exatamente iguais podiam retornar rankings diferentes.
Esse terceiro ponto é o mais fácil de entender. Imagine comparar duas campanhas de marketing usando um avaliador automático. Hoje ele prefere a versão A. Amanhã, com o mesmo prompt e as mesmas opções, prefere a versão B. Se a diferença real entre A e B já era pequena, qualquer conclusão sobre “melhoria” pode ser apenas ruído com roupa de métrica.
Por que isso ameaça benchmarks e produtos
Benchmarks de IA vivem de comparações. Modelo novo contra modelo antigo. Prompt A contra prompt B. Agente com ferramenta contra agente sem ferramenta. Se o juiz que decide essas comparações é instável, a tabela final pode dar uma impressão falsa de progresso.
Isso é ainda mais delicado porque muitas disputas modernas são decididas por margens pequenas. Um modelo ganha por dois pontos percentuais. Um prompt melhora três pontos. Um ajuste fino parece superar a versão anterior em uma fatia estreita dos testes. Se a incerteza do juiz é maior que a diferença medida, a conclusão honesta deveria ser: não sabemos.
No mundo empresarial, o risco é menos acadêmico e mais caro. Uma equipe pode trocar um fluxo de atendimento porque o avaliador disse que ele é superior. Pode aprovar dados sintéticos de baixa qualidade porque o juiz automatizado os classificou como bons. Pode otimizar prompts até vencer a preferência do avaliador, sem melhorar a experiência real do usuário. No limite, a empresa passa a administrar o termômetro, não a febre.
Isso não significa que juízes de IA devam ser abandonados. Eles continuam úteis, especialmente quando a alternativa é não medir nada ou depender de avaliações humanas lentas e inconsistentes. Mas o estudo sugere uma mudança de postura: eles precisam ser tratados como instrumentos ruidosos, auditáveis e sujeitos a calibração, não como oráculos baratos.
Uma prática mais madura incluiria repetição de julgamentos, estimativa de intervalo de confiança, checagem contra avaliadores humanos, mistura de métricas automáticas e humanas, versionamento rigoroso de prompts e modelos, e relatórios explícitos de instabilidade. Se o resultado muda quando a pergunta é repetida, isso precisa aparecer no painel, não ficar escondido no rodapé.
O impacto para o Brasil e para negócios de IA
Para o ecossistema brasileiro, o recado é especialmente importante. Muitas empresas estão entrando agora em projetos de IA generativa: atendimento, jurídico, vendas, educação, saúde, análise financeira, conteúdo e automação interna. Como falta mão de obra especializada e sobra pressão por velocidade, é tentador automatizar também a avaliação.
Uma startup pode usar um modelo como juiz para escolher respostas de suporte. Uma consultoria pode comparar agentes de vendas. Uma edtech pode avaliar respostas abertas de alunos. Um time de produto pode medir qualidade de resumos em português. Em todos esses casos, a pergunta não é apenas “o juiz é inteligente?”. A pergunta correta é: “ele mede de forma estável o que importa para o nosso contexto?”.
O português brasileiro adiciona outra camada. Muitos modelos são mais fortes em inglês, e muitos critérios de avaliação foram desenhados com dados, expressões e estilos anglófonos. Um juiz pode preferir respostas que soam mais “modelo global” do que linguagem natural brasileira. Pode penalizar regionalismos, subestimar nuances culturais ou confundir formalidade com qualidade. Se além disso ele for instável, a empresa pode tomar decisões erradas com aparência de sofisticação.
Há também uma oportunidade. Quem construir produtos de IA no Brasil com avaliação mais séria terá vantagem real. Não basta dizer que usa o melhor modelo. Será cada vez mais valioso mostrar como a qualidade é medida, qual o erro da medição, quando humanos entram no ciclo e quais decisões nunca dependem de uma única nota automática.
Em setores regulados, isso pode virar diferencial competitivo. Bancos, seguradoras, hospitais e empresas públicas não precisam apenas de modelos bons; precisam de evidência confiável. Uma arquitetura que registra versões, repete avaliações críticas, mede discordância e separa melhoria real de ruído pode valer mais que uma demonstração bonita.
Medir IA também é construir IA
A mensagem filosófica do paper é simples: o avaliador faz parte do sistema. Não existe produto de IA confiável quando a camada de medição é tratada como detalhe operacional. Se o juiz muda, muda o que o time considera sucesso. Se a régua oscila, a estratégia passa a perseguir sombras.
Isso também recoloca o papel humano. Humanos não precisam avaliar tudo, mas precisam desenhar o que merece ser avaliado, interpretar margens de incerteza, investigar casos de discordância e impedir que a automação transforme conveniência em verdade. Em IA, escalar avaliação não deveria significar terceirizar julgamento sem supervisão.
O estudo não mata a ideia de usar modelos como juízes. Ele a torna adulta. Um juiz de IA pode ser útil como triagem, segunda opinião, detector de padrões ou avaliador preliminar. Mas, para sustentar claims fortes, precisa passar por testes de estabilidade tão sérios quanto os que exigimos de qualquer outro instrumento.
No fim, talvez a lição seja menos sobre modelos e mais sobre nossa pressa. A indústria quer números porque números dão sensação de controle. Só que nem todo número é uma medida. Às vezes é apenas uma resposta instável com duas casas decimais. E, quando a tecnologia começa a decidir quais sistemas merecem confiança, a primeira coisa a auditar é o próprio mecanismo que distribui essa confiança.