Durante os últimos anos, a conversa sobre inteligência artificial foi dominada por uma pergunta simples: qual modelo é mais capaz? A resposta vinha em rankings, notas médias, benchmarks, medalhas e comparações de desempenho. Um modelo resolvia mais problemas de matemática, outro escrevia melhor código, outro interpretava imagens com mais acerto. Essa lógica ajudou a organizar uma fase importante da corrida. Mas ela começa a ficar insuficiente.

Um artigo recente no arXiv, chamado Grouping the Stochastic Machine: Precision, Not Capability, as the Frontier Metric for AI Systems, propõe uma mudança de foco: talvez a fronteira mais importante da IA não seja mais capacidade, mas precisão. Não precisão no sentido comum de acertar uma resposta isolada, e sim no sentido estatístico de consistência. O ponto não é apenas saber onde a média dos disparos cai. É saber quão espalhados esses disparos ficam quando o mesmo sistema recebe a mesma tarefa repetidas vezes.

Essa distinção parece pequena, mas é enorme para quem usa IA no mundo real. Uma empresa não precisa apenas de um modelo que acerte em uma demonstração bonita. Ela precisa de um sistema que entregue resultados parecidos, auditáveis e confiáveis em produção. Um assistente que gera uma boa resposta hoje e uma resposta perigosa amanhã, para o mesmo pedido, não é apenas criativo. Ele é operacionalmente instável.

O problema das médias bonitas

Benchmarks tradicionais costumam medir desempenho agregado. O modelo recebe um conjunto de tarefas, responde, e depois uma nota resume o resultado. Isso funciona bem quando a diferença entre sistemas ainda é grande. Se um modelo resolve cinquenta por cento de um teste e outro resolve noventa, a escolha parece óbvia. Mas quando vários modelos chegam perto do teto em muitas tarefas, a média deixa de contar a história inteira.

Imagine dois sistemas com a mesma nota média. O primeiro responde de forma relativamente estável: quando erra, erra dentro de uma faixa previsível. O segundo oscila muito: às vezes entrega uma resposta excelente, às vezes uma resposta fraca, às vezes uma resposta que parece confiante mas muda a conclusão. No ranking, eles podem empatar. Na prática, são produtos muito diferentes.

O artigo usa uma analogia de tiro ao alvo. Capacidade é onde o centro dos disparos fica. Precisão é o tamanho do agrupamento. Um atirador pode estar mirando perto do centro, mas com disparos muito espalhados. Outro pode ter agrupamento fechado, ainda que precise ajustar a mira. Em sistemas de IA, esse agrupamento importa porque cada resposta é uma amostra de uma máquina probabilística. A mesma entrada pode gerar saídas diferentes, mesmo sem mudança aparente no pedido.

Para o usuário comum, isso aparece como estranheza: ontem a IA explicou uma política corretamente, hoje ignorou uma restrição. Para uma empresa, vira risco: o atendimento automatizado varia, a análise jurídica muda, a sugestão de código alterna entre robusta e vulnerável, o relatório financeiro troca premissas sem avisar. A média do benchmark não revela essa variabilidade.

Precisão como métrica de fronteira

A proposta central do artigo é simples e prática: medir repetição. Em vez de rodar cada tarefa uma vez e registrar apenas a nota, seria preciso executar a mesma suíte várias vezes, com temperatura fixa e condições controladas, observando a distribuição das respostas. O que interessa não é só o resultado médio, mas a dispersão.

Essa abordagem trata modelos de linguagem como sistemas estocásticos. Isso parece óbvio, mas boa parte da cultura de avaliação ainda fala como se cada modelo tivesse uma competência fixa e facilmente resumível. Na verdade, um modelo em produção se comporta como uma fonte de respostas com variação. Para alguns usos, variação é aceitável ou até desejável. Em brainstorming, redação criativa e exploração de ideias, a diversidade pode ser vantagem. Em compliance, medicina, finanças, segurança, contratos e operações internas, variação excessiva é custo.

Medir precisão também ajuda a separar marketing de engenharia. Um fornecedor pode mostrar uma resposta impressionante, uma nota alta ou uma comparação favorável. Mas uma equipe técnica deveria perguntar: qual é o desvio? Quantas vezes o sistema muda de conclusão? Em que tipos de tarefas a variabilidade aumenta? O modelo é consistente quando recebe contexto longo? Ele mantém restrições quando a pergunta é reformulada? Ele falha de forma previsível ou aleatória?

Essa mudança de métrica conversa com uma maturidade maior do mercado. No começo, todos queriam saber se a IA conseguia fazer algo. Agora, a pergunta mais valiosa é se ela consegue fazer aquilo repetidamente, sob pressão, integrada a processos reais e com custo controlado de supervisão.

Por que isso importa para empresas brasileiras

No Brasil, a discussão é especialmente concreta. Muitas empresas ainda estão saindo da fase de experimentos para a fase de implantação. Elas testaram chatbots, copilotos, análise de documentos, automação de atendimento, geração de conteúdo, triagem de leads e apoio jurídico. O próximo gargalo não é só encontrar um modelo mais inteligente. É criar uma operação confiável.

Uma empresa que contrata IA para atendimento ao cliente, por exemplo, não pode avaliar apenas se o sistema responde bem a dez perguntas em uma demonstração. Precisa saber se ele mantém o tom, respeita política comercial, não inventa benefícios, não muda prazos e não promete exceções quando o cliente insiste. Uma resposta excelente em uma rodada e inconsistente em outra pode gerar reclamações, retrabalho e passivo regulatório.

Em bancos, seguradoras, escritórios, varejo e saúde suplementar, a mesma lógica se aplica. O custo de uma IA instável não aparece só no erro final. Ele aparece na necessidade de revisar mais respostas, criar mais regras, construir mais camadas de validação e treinar equipes para desconfiar da ferramenta. Quando a variabilidade é alta, o ganho de produtividade cai porque o humano precisa virar fiscal permanente.

Para startups brasileiras, a ideia de precisão como métrica pode virar vantagem competitiva. Em vez de prometer “o melhor modelo”, uma empresa pode vender estabilidade operacional: respostas mais consistentes, políticas bem testadas, monitoramento de variação e relatórios de confiabilidade. Isso é menos chamativo que um ranking global, mas muito mais próximo da dor de quem paga a conta.

Também há um impacto para compras públicas e governança. Se órgãos públicos adotam IA para analisar documentos, orientar cidadãos ou apoiar decisões administrativas, não basta medir acerto médio. É preciso medir variação entre execuções, grupos de usuários, regiões, idiomas e tipos de solicitação. Um sistema que responde de forma diferente para pedidos equivalentes pode criar desigualdade invisível.

Como medir sem transformar tudo em burocracia

A boa notícia é que a proposta não exige uma revolução impossível. Medir precisão pode começar com rotinas relativamente simples. Escolha um conjunto fixo de tarefas representativas, rode cada uma várias vezes, pontue com critérios determinísticos quando possível e observe a distribuição. Se a tarefa não tiver uma pontuação automática perfeita, ainda é possível medir mudança de conclusão, violação de regras, uso de fontes, aderência a formato e necessidade de intervenção humana.

O essencial é abandonar a ilusão de que uma única execução prova alguma coisa. Em aplicações críticas, uma resposta é só uma amostra. Dez, vinte ou cinquenta execuções já revelam padrões que uma demonstração isolada esconde. Se o sistema varia muito em casos simples, provavelmente vai variar ainda mais quando encontrar usuários reais, documentos incompletos e contextos ambíguos.

Outra consequência prática é que prompts, ferramentas e modelos devem ser avaliados juntos. Às vezes, trocar o modelo melhora a média, mas piora a consistência. Em outros casos, um modelo ligeiramente menos brilhante pode ser preferível porque responde de forma mais estável. Para produção, o melhor sistema não é necessariamente o que dá a resposta mais bonita. É o que entrega a melhor combinação entre qualidade, previsibilidade, custo e controle.

Essa visão também muda a forma de fazer monitoramento. Logs não deveriam servir apenas para contar chamadas e capturar erros explícitos. Eles podem acompanhar dispersão: quantas versões de resposta aparecem para pedidos parecidos, quantas vezes a IA muda decisão após reformulação, quantas exceções surgem por semana, quais áreas do fluxo têm maior instabilidade. Com isso, confiabilidade deixa de ser sensação e vira indicador.

O fim da fase do encanto

A tese do artigo chega em um momento oportuno. A IA generativa já provou capacidade suficiente para impressionar. O mercado, porém, está descobrindo que impressionar e operar são coisas diferentes. Uma demonstração pede potência. Uma empresa pede repetibilidade. Um benchmark público premia a melhor média. Um processo real pune a pior surpresa.

Isso não significa que capacidade deixou de importar. Modelos mais fortes continuam necessários para tarefas complexas. Mas, quando vários sistemas parecem bons o bastante, a pergunta muda. Quem erra menos de forma inesperada? Quem mantém o padrão? Quem permite governança? Quem reduz a carga cognitiva do time humano em vez de aumentá-la?

A inteligência artificial entrou na fase em que engenharia importa mais do que espetáculo. Talvez o próximo salto não venha de uma resposta mais brilhante em um ranking, mas de sistemas que se comportam com menos dispersão, menos improviso e mais previsibilidade. No fim, confiar em IA não é acreditar que ela pode acertar. É saber quanto ela varia quando precisa acertar de novo.

Fontes consultadas

Grouping the Stochastic Machine: Precision, Not Capability, as the Frontier Metric for AI Systems