Imagine uma prova de matemática em que a turma inteira tira entre 9 e 10. A prova não está errada. Ela só não separa ninguém. É mais ou menos o que acontecia com um dos principais testes usados para comparar modelos de IA em programação: no DeepSWE, quatro modelos de laboratórios diferentes aparecem separados por 0,9 ponto, entre 71,4% e 72,3%. Em qualquer leitura rápida, estão empatados.

Nesta semana, um grupo de engenheiros publicou um teste novo, o ExpertCrowd-SWE (paper no arXiv, submetido em 09/11/2026), com 100 tarefas escritas à mão por gente que programa para viver. Os mesmos quatro modelos, no mesmo tipo de trabalho, agora aparecem separados por 34,8 pontos. O empate era, em boa parte, um efeito da prova.

Como o teste foi construído

Cada tarefa é um pedido de correção escrito por um engenheiro experiente contra um commit travado de um repositório real: o tipo de bilhete que chega na segunda-feira de manhã. O bilhete mediano tem 148 palavras — curto, do jeito que um pedido de trabalho chega de verdade —, mas a solução de referência mexe, na mediana, 471 linhas de código. Ou seja: pouca instrução, muita investigação.

Ao todo são 100 tarefas em 87 projetos de código aberto e 11 linguagens. Estão lá desde bibliotecas de banco de dados (SQLAlchemy, SQLGlot) e sistemas distribuídos (containerd, MinIO) até ferramentas de autenticação (OAuth2 Proxy, Ory Kratos) e filas de tarefas (Celery, Asynq). O agente recebe o repositório inteiro, um sandbox para rodar comandos e testes, e um teto de 1.000 passos por tentativa.

A nota não é "passou ou não passou". Cada tarefa tem uma rubrica escrita pelo próprio engenheiro que a criou: testes automatizados para o comportamento e um modelo avaliador (Claude Sonnet 4.6) para o que teste não pega. Quem chega perto do conserto leva crédito parcial — o que é mais honesto com o trabalho real, mas também embaralha os números: 60% numa tarefa não quer dizer "acertou 60% do bug".

E, detalhe importante para quem desconfia de placar: 24 das 100 tarefas são públicas e 76 ficam guardadas, para que um modelo não seja treinado exatamente no que vai ser medido. Antes de fechar a lista, os autores compararam suas tarefas com 499.647 registros de 93 benchmarks públicos procurando a mesma tarefa disfarçada. Nenhuma era igual.

O placar

Sete modelos, cinco rodadas por tarefa, 3.495 execuções válidas. A coluna DeepSWE é o placar antigo, o mesmo que mostrava todo mundo empatado:

ModeloExpertCrowd-SWEDeepSWEPassos por execução
Claude Opus 5.567,3% ± 4,772,3%171
GPT-6 Astra63,7% ± 5,572,0%37
Claude Fable 5.146,5% ± 3,767,3%134
Gemini 3.8 Flash40,0% ± 4,371,4%182
Qwen 3.8 Max33,5% ± 3,353,1%147
DeepSeek V4.1 Flash32,5% ± 3,771,7%162
Grok 4.632,2% ± 3,563,7%80

A média dos sete é 45,1%. Nenhum modelo passa de 68%, e a diferença entre o primeiro e o segundo (3,6 pontos) não é estatisticamente significativa: o intervalo de confiança do par vai de menos 1,4 a mais 9,7. Ou seja, não dá para dizer que Opus 5.5 é melhor que GPT-6 Astra neste teste. O que dá para dizer é que os dois formam um grupo, Fable 5.1 forma outro, Gemini 3.8 Flash um terceiro, e os três últimos são indistinguíveis entre si.

Gráfico comparando os mesmos sete modelos no DeepSWE e no ExpertCrowd-SWE
Os mesmos sete modelos nos dois placares. No DeepSWE, quatro deles cabem em 0,9 ponto; no ExpertCrowd-SWE, os mesmos quatro se espalham por 34,8. Gráfico: ExpertCrowd-SWE / Toptal (nov/2026).

A distância que o outro placar apagava

Repare na coluna do DeepSWE: Opus 5.5 (72,3%), GPT-6 Astra (72,0%), DeepSeek V4.1 Flash (71,7%) e Gemini 3.8 Flash (71,4%). Quatro modelos, 0,9 ponto de diferença. Se você escolhesse o seu fornecedor por esse número, eles seriam a mesma coisa.

No ExpertCrowd-SWE, esses mesmos quatro vão de 32,5% a 67,3%. E o DeepSeek, que era terceiro no placar antigo, cai para sexto no novo. Não porque piorou — porque o teste novo mostra o que o antigo esconde.

Aqui é obrigatório colocar a ressalva, que é dos próprios autores: as 100 tarefas foram escolhidas justamente entre as mais difíceis para esses modelos. A nota baixa não significa "IA não sabe programar". Significa "este teste separou só o que a IA ainda não faz". Eles também escrevem, com todas as letras, que o resultado não é um ranking de produtos nem de qualidade geral dos modelos.

A média esconde o que mais importa

O dado mais útil do paper não é o ranking — é o que acontece tarefa por tarefa:

  • Em 80 das 100 tarefas, nenhum modelo tirou nota cheia nas cinco rodadas.
  • Das 699 combinações de modelo e tarefa, só 26 gabaritaram sempre e 14 zeraram sempre. O resto ficou no meio, variando de rodada para rodada.
  • Em 15 tarefas, um dos cinco modelos de baixo superou os dois líderes.
  • O exemplo mais cru: numa tarefa do OAuth2 Proxy (correção de sessão e cookie CSRF), nenhum modelo passou de 22% — o melhor fez 21,8%. É um buraco que todos compartilham.
  • O inverso também existe: numa tarefa do Asynq, Opus 5.5 zerou em todas as rodadas, enquanto o DeepSeek V4.1 Flash, sexto colocado geral, tirou 75,6%.

Traduzindo: um número único de benchmark diz muito pouco sobre o que vai acontecer no seu código. O modelo que lidera o placar pode ser o pior possível na tarefa que você tem na mão.

Quem dá mais passos não acerta mais

Outro achado que interessa a quem paga a conta: Opus 5.5 e GPT-6 Astra terminam praticamente empatados em nota, mas chegam lá por caminhos opostos. O Astra resolve com uma mediana de 37 passos por execução; o Opus 5.5, com 171. O Gemini 3.8 Flash dá 182 passos e ainda fica em quarto.

Tabela com nota e número médio de passos por execução de cada modelo
Nota e média de passos por execução. Mesma nota, custos bem diferentes: 37 passos contra 171. Fonte: ExpertCrowd-SWE (nov/2026).

Passo não é sinônimo de eficiência — o próprio paper diz que a mediana de passos varia de 33 a 166 entre modelos sem relação clara com a nota. Mas, para quem roda agente em escala, cada passo é uma chamada de modelo, às vezes uma ferramenta, sempre um custo. Dois modelos com a mesma nota e 4,6 vezes mais passos não custam a mesma coisa.

O que fazer com isso na prática

O recado não é "troque de modelo". É "pare de comprar modelo por posição em placar". Se a sua empresa está escolhendo entre dois ou três modelos para tarefas de código, três coisas resolvem mais que qualquer leaderboard:

  1. Monte o seu mini-benchmark. Separe 20 ou 30 problemas reais do seu repositório — issues fechadas, com o conserto no histórico — e rode cada modelo cinco vezes. É exatamente o desenho deste paper, em escala de empresa.
  2. Dê nota parcial e olhe a variância. "Passou/não passou" joga fora justamente a informação que separa os modelos. E rode mais de uma vez: um modelo que acerta 3 a cada 5 rodadas não é confiável só porque a média é 60%.
  3. Meça o custo junto com a nota. Passos por tarefa, tokens e tempo por execução mudam a conta final — e dois modelos empatados no acerto podem ser bem diferentes no orçamento.

O que a CheriffAI tira disso é o de sempre: número de fornecedor é ponto de partida, não veredicto. Neste caso os próprios autores foram honestos sobre o limite do teste deles — e isso, mais do que o placar, é o que dá para usar na segunda-feira.

A pergunta que fica para o time de dados é simples: quantas das suas tarefas de engenharia a IA de hoje resolveria sozinha, cinco vezes em cinco? Ninguém no Brasil deveria responder isso de memória.

Fontes