Uma inteligência artificial pode responder que determinado efeito colateral aparece depois de uma vacina, que as vendas caem após um recall ou que uma intervenção médica está associada a melhores resultados. A frase pode soar científica, especialmente quando vem acompanhada de números, referências e uma explicação fluente. Mas existe uma pergunta anterior à conclusão: a máquina realmente testou a hipótese ou apenas produziu uma narrativa plausível?
Essa diferença é o centro do trabalho Testimony from Timelines: Evidence-Grounded Significance Testing of Temporal Clinical Hypotheses, apresentado no arXiv. O estudo introduz o STRATA, um benchmark criado para avaliar sistemas de linguagem em hipóteses temporais clínicas. Em vez de dar nota apenas à resposta final, o método examina cada decisão que leva até ela.
A proposta parece técnica, mas tem uma consequência social ampla. Em áreas como saúde, seguros, políticas públicas e pesquisa científica, uma conclusão correta por acaso não é suficiente. É preciso saber se a evidência foi escolhida de maneira apropriada, se o teste estatístico responde à pergunta formulada e se os registros analisados realmente sustentam a afirmação.
Uma frase correta pode nascer de um caminho errado
Hipóteses temporais são perguntas sobre a ordem e a frequência dos acontecimentos. Um sintoma aparece depois de uma vacina? Internações aumentam após uma onda de calor? Vendas caem depois de um problema de segurança? Em todos esses casos, o tempo organiza a evidência, mas não resolve sozinho o problema de causalidade.
Para investigar uma hipótese, o sistema precisa tomar várias decisões. Deve definir o que conta como exposição, qual evento será considerado desfecho, qual intervalo temporal será analisado e quais pacientes ou episódios podem ser comparados. Também precisa escolher um teste estatístico, estabelecer uma hipótese nula e lidar com registros incompletos ou observações que parecem semelhantes, mas representam situações diferentes.
Um modelo de linguagem pode errar em qualquer uma dessas etapas e ainda chegar a uma frase que pareça razoável. Ele pode selecionar apenas os casos mais convenientes, comparar grupos incompatíveis ou usar um teste que não corresponde ao tipo de dado. Também pode interpretar uma associação temporal como prova de causa. Se o benchmark avalia apenas o veredito final, esses erros ficam invisíveis.
O STRATA parte de uma ideia mais exigente: uma análise científica é uma cadeia de decisões. A conclusão é apenas o último elo. Se os elos anteriores são frágeis, o resultado não se torna confiável porque foi escrito com segurança.
O que o STRATA mede
O benchmark reúne 8.735 hipóteses baseadas em linhas do tempo clínicas. Cada hipótese é acompanhada pelos registros relevantes e por uma resposta de referência construída para permitir a avaliação das etapas intermediárias. O sistema não é julgado somente por dizer se uma hipótese tem suporte. Ele também precisa demonstrar que identificou o universo correto de casos, selecionou os eventos adequados e aplicou uma estratégia estatística defensável.
Essa estrutura muda a pergunta feita à IA. Em vez de perguntar apenas “qual é a conclusão?”, o avaliador pergunta “quais registros sustentam a conclusão?”, “qual era a comparação correta?”, “qual teste deveria ser usado?” e “o resultado observado é compatível com a hipótese nula?”. São perguntas menos impressionantes do que uma resposta pronta, mas muito mais próximas do trabalho real de um pesquisador.
O estudo também destaca que uma mesma conclusão pode resultar de escolhas analíticas diferentes. Às vezes, uma decisão errada é compensada por outra decisão errada e o sistema termina no veredito correto. Essa coincidência não deve ser confundida com competência. Um bom avaliador precisa separar acerto final de acerto metodológico.
Essa distinção é especialmente importante quando os modelos são usados para explorar grandes bases de saúde. Quanto maior o número de hipóteses testadas, maior a chance de alguma associação aparecer por acaso. Sem controles, correções e uma definição clara do teste, a IA pode transformar ruído estatístico em descoberta aparente.
O problema não é só a alucinação
Grande parte do debate sobre IA na ciência se concentra nas alucinações: referências inventadas, dados inexistentes ou resultados que nunca foram observados. O STRATA aponta para um problema mais sutil. Mesmo quando todos os registros são verdadeiros, o sistema pode fazer uma análise inadequada.
Isso significa que a confiabilidade não pode ser reduzida à pergunta “a IA inventou alguma coisa?”. Um modelo pode trabalhar com dados legítimos e, ainda assim, selecionar o período errado, ignorar uma variável importante ou aplicar uma comparação que distorce a relação entre os eventos. O erro não está na evidência bruta, mas na maneira como ela foi transformada em argumento.
Para um leitor comum, essa diferença é difícil de perceber. A resposta pode conter termos técnicos, valores de significância e uma explicação coerente. A aparência de rigor, porém, não garante que o procedimento tenha sido rigoroso. A linguagem natural facilita a comunicação da ciência, mas também pode esconder as decisões que deveriam ser auditadas.
Uma consequência prática é que sistemas científicos baseados em IA precisam registrar sua trilha de análise. Não basta salvar a resposta final. É necessário preservar os filtros aplicados, os casos incluídos, os casos excluídos, o teste escolhido, os parâmetros usados e as incertezas encontradas. Essa trilha permite que outro pesquisador reproduza o caminho e descubra onde uma conclusão pode ter quebrado.
O impacto para empresas e para o ecossistema brasileiro
No Brasil, esse debate aparece em vários setores. Hospitais e operadoras podem usar modelos para investigar readmissões, efeitos adversos ou mudanças na demanda. Farmacêuticas podem procurar sinais de segurança em dados pós-comercialização. Órgãos públicos podem comparar eventos de saúde com clima, vacinação, poluição ou acesso a serviços. Empresas de seguros podem tentar estimar riscos a partir de sequências de ocorrências.
Em todos esses casos, uma conclusão automatizada pode influenciar custos, protocolos e decisões que afetam pessoas. Se o sistema confunde correlação com causalidade, determinados grupos podem receber atenção indevida enquanto outros são ignorados. Se a análise não deixa claro quais registros foram considerados, uma contestação legítima se torna difícil. E se a empresa não consegue explicar o teste usado, a auditoria vira uma promessa impossível de verificar.
O padrão proposto pelo STRATA sugere uma mudança de prioridade. O valor de uma solução não deve ser medido apenas pela capacidade de responder rápido ou pela taxa de acerto em um conjunto final de perguntas. Também deve incluir a qualidade das decisões intermediárias, a rastreabilidade dos dados e a possibilidade de revisão por especialistas.
Para startups brasileiras, isso pode se transformar em vantagem competitiva. Produtos que exibem a cadeia de evidências, registram as escolhas e permitem revisão humana tendem a ser mais defensáveis em ambientes regulados. Para universidades e laboratórios, benchmarks desse tipo ajudam a evitar que uma demonstração impressionante seja confundida com uma ferramenta pronta para pesquisa.
Uma IA confiável precisa saber mostrar o caminho
O STRATA não resolve sozinho o problema da análise científica automatizada. Um benchmark pode ser limitado pelo tipo de registro usado, pelas hipóteses escolhidas ou pela forma de construir as respostas de referência. Além disso, desempenho em linhas do tempo clínicas não garante competência em outros domínios, como economia, clima ou políticas públicas.
O mérito está em tornar visível uma falha que avaliações tradicionais deixam escondida. Quando uma máquina recebe os dados corretos e chega ao resultado correto, ainda precisamos saber se ela entendeu a pergunta, se selecionou a evidência relevante e se usou um método compatível com o problema. Sem isso, o acerto pode ser apenas uma coincidência estatística bem apresentada.
A ciência não depende somente de conclusões. Ela depende de procedimentos que possam ser questionados, repetidos e corrigidos. Se a inteligência artificial assumir uma parte maior do trabalho científico, seus sistemas também precisarão aceitar esse padrão de prestação de contas.
No fim, a pergunta mais importante não é se a IA consegue parecer uma pesquisadora. É se conseguimos examinar suas escolhas com o mesmo cuidado que aplicaríamos às escolhas de uma pesquisadora humana. Uma resposta convincente encerra uma conversa. Uma análise auditável permite que o conhecimento continue avançando.