Imagine um banco que utiliza agentes de inteligência artificial em diferentes etapas de uma operação. Um verifica documentos, outro estima risco de fraude, um terceiro recomenda limites de crédito e um quarto decide quando uma cobrança deve ser encaminhada para atendimento humano. Cada componente foi testado, documentado e aprovado. Nenhum deles usa diretamente raça, gênero ou religião. Mesmo assim, o sistema completo pode terminar tratando grupos sociais de maneira desigual.

Essa é a preocupação central de um novo trabalho sobre governança de sistemas multiagentes no setor financeiro. Os autores chamam o problema de não composicionalidade constitucional: o fato de vários componentes cumprirem suas regras locais não garante que o comportamento coletivo respeitará objetivos institucionais como equidade, integridade de mercado e responsabilidade verificável.

A expressão é técnica, mas descreve algo cotidiano. Um ingrediente pode ser seguro sozinho e perigoso quando combinado com outros. Em sistemas de IA, essa combinação acontece por meio de decisões encadeadas, compartilhamento de dados, realimentação e adaptação. A unidade relevante de risco deixa de ser apenas o modelo e passa a ser a população inteira de agentes.

O ponto cego dos controles individuais

A governança tradicional costuma tratar cada modelo como uma peça isolada. A instituição define sua finalidade, valida os dados, mede desempenho, limita permissões e acompanha erros. Essa lógica funciona razoavelmente bem quando uma decisão depende de um único sistema com entradas e saídas conhecidas.

Agentes alteram essa arquitetura. Eles consultam ferramentas, atualizam registros, delegam subtarefas e influenciam as informações que outros agentes receberão depois. Uma decisão inicial aparentemente pequena pode mudar a trajetória de todo o processo. O sistema deixa de ser uma calculadora sofisticada e se aproxima de uma organização digital, com divisão de trabalho e efeitos emergentes.

Considere um agente antifraude que eleva discretamente o nível de suspeita para transações vindas de determinadas regiões, com base em dados históricos. Separadamente, um agente de crédito reduz limites quando encontra sinais de instabilidade financeira. Um terceiro prioriza cobranças onde prevê maior chance de recuperação. Nenhum deles precisa discriminar de forma explícita. Porém, se os sinais gerados pelo primeiro alimentarem os demais, moradores de uma mesma região poderão enfrentar mais bloqueios, limites menores e cobranças mais intensas.

Auditar cada agente isoladamente talvez revele diferenças pequenas, consideradas aceitáveis. A soma dessas diferenças ao longo da jornada pode produzir um impacto grande e persistente. É justamente aí que o controle centrado no componente perde a visão do sistema.

Como decisões aceitáveis formam um resultado inaceitável

O problema não exige que agentes conspirem ou desenvolvam objetivos próprios. Basta que cada um otimize uma métrica local. O agente de fraude busca reduzir perdas. O de crédito tenta controlar inadimplência. O de cobrança procura elevar recuperação. Essas metas parecem legítimas, mas não representam sozinhas os compromissos completos da instituição.

Há pelo menos três mecanismos capazes de transformar decisões localmente aceitáveis em resultados coletivamente ruins. O primeiro é o encadeamento: a saída de um agente muda as condições enfrentadas pelo seguinte. O segundo é a realimentação: decisões anteriores geram novos dados que confirmam as próprias hipóteses. O terceiro é a seleção: certos grupos passam por mais etapas de controle, criando mais oportunidades para que sejam classificados como arriscados.

Se um bairro recebe mais alertas de fraude, por exemplo, suas transações podem ser examinadas com maior frequência. Quanto mais exames, mais ocorrências são descobertas. O banco então interpreta esse volume como prova de que o bairro era realmente mais arriscado, reforçando a vigilância. O dado não é necessariamente falso, mas foi produzido por uma política desigual de observação.

Esse tipo de ciclo já é conhecido em sistemas de policiamento preditivo e recomendação. A novidade é que populações de agentes podem multiplicar o efeito com velocidade, autonomia operacional e uma cadeia de responsabilidade difícil de reconstruir.

ARIA: governar a população, não apenas as peças

Para enfrentar essa lacuna, o artigo propõe a ARIA, uma arquitetura de referência voltada ao setor financeiro. Ela não é apresentada como um produto pronto nem como prova de que o problema foi resolvido. Trata-se de uma agenda de pesquisa testável, organizada para que instituições consigam especificar, observar e contestar o comportamento coletivo de seus agentes.

A proposta distribui seis capacidades por três planos: responsabilidade normativa, controle de execução e aprendizado de garantia. Em termos práticos, isso significa conectar as regras institucionais ao que acontece durante a operação e usar os resultados observados para revisar políticas, limites e testes.

Uma das mudanças mais importantes é comparar o comportamento observado da população de agentes com o comportamento esperado. Em vez de perguntar apenas se um modelo excedeu sua taxa máxima de erro, a instituição passaria a investigar questões como: determinados perfis atravessam mais etapas de verificação? Pequenas diferenças se acumulam ao longo da jornada? Um agente aparentemente neutro amplifica o viés produzido por outro? O resultado continua aceitável quando o volume, a composição dos clientes ou as condições econômicas mudam?

Essa abordagem também exige rastreabilidade entre decisões. Não basta registrar que o pedido foi negado. É necessário reconstruir quais agentes participaram, quais sinais trocaram, quais políticas estavam vigentes e em que ponto uma alternativa poderia ter mudado o desfecho. Logs deixam de servir apenas à depuração técnica e passam a funcionar como evidência institucional.

O que muda para bancos e empresas brasileiras

No Brasil, o tema é especialmente relevante porque decisões financeiras automatizadas convivem com desigualdades territoriais, raciais e econômicas profundas. CEP, tipo de aparelho, padrão de consumo, horário de uso e rede de relacionamentos podem funcionar como aproximações indiretas de características protegidas ou de vulnerabilidade social, mesmo quando essas características não aparecem explicitamente nos dados.

A Lei Geral de Proteção de Dados já estabelece princípios como finalidade, necessidade, transparência, não discriminação e prestação de contas. Sistemas multiagentes tornam mais difícil demonstrar esses princípios, pois a consequência final pode não pertencer a um único modelo. Uma empresa pode ter documentação impecável para cada componente e ainda ser incapaz de explicar o efeito agregado sobre seus clientes.

Para bancos, seguradoras, fintechs e varejistas, a resposta não deveria ser impedir toda automação. O caminho mais realista é adicionar testes de composição antes da implantação. Isso envolve simular jornadas completas, segmentar resultados por grupos relevantes, procurar efeitos cumulativos e estabelecer limites que interrompam o fluxo quando o risco coletivo ultrapassar o aceitável.

Também será necessário definir um responsável pelo sistema como um todo. Se cada equipe responde somente pelo próprio agente, ninguém enxerga a jornada completa. A governança precisa de alguém com autoridade para reduzir autonomia, alterar incentivos ou desligar uma combinação de agentes, mesmo quando cada componente continua dentro de sua meta local.

Para empresas menores, a lição é igualmente importante. Não é preciso operar uma frota sofisticada de agentes para enfrentar o problema. Um chatbot comercial conectado a uma ferramenta de qualificação de leads, a um motor de preços e a um sistema de cobrança já forma uma cadeia de decisões. Comprar cada parte de um fornecedor diferente não elimina a responsabilidade pelo resultado conjunto.

Como testar um risco que só aparece no conjunto

A primeira medida prática é abandonar testes exclusivamente unitários. Eles continuam necessários, mas precisam ser complementados por avaliações de ponta a ponta. Cenários sintéticos podem revelar se clientes equivalentes recebem tratamentos diferentes depois de atravessar toda a cadeia.

A segunda é monitorar trajetórias, e não somente decisões finais. Duas pessoas podem receber o mesmo crédito, mas uma delas talvez tenha enfrentado mais pedidos de documentos, maior demora e mais intervenções de cobrança. Se a empresa observa apenas aprovação ou reprovação, esse custo desigual permanece invisível.

A terceira medida é testar o sistema sob mudanças. Uma arquitetura equilibrada durante períodos estáveis pode se tornar discriminatória numa crise, quando agentes passam a reagir simultaneamente aos mesmos sinais. Testes de estresse devem incluir alterações no comportamento coletivo, não apenas quedas de precisão de modelos individuais.

Por fim, é preciso criar mecanismos de contestação capazes de atravessar as fronteiras internas. Para o cliente, pouco importa qual agente provocou o problema. A instituição deve oferecer uma explicação coerente, corrigir o resultado e aprender com o caso sem transformar sua complexidade técnica em desculpa.

A responsabilidade não pode ser dividida até desaparecer

A promessa dos agentes é distribuir trabalho: cada sistema cuida de uma parte e, juntos, eles executam processos complexos. O perigo é aplicar a mesma divisão à responsabilidade. Quando o resultado é questionado, cada componente aponta para sua própria conformidade e ninguém responde pelo todo.

Essa talvez seja a lição mais ampla do estudo. Segurança, justiça e legitimidade não são propriedades que necessariamente sobrevivem à montagem de um sistema. Elas precisam ser verificadas novamente depois que as partes começam a interagir.

No futuro próximo, empresas poderão administrar centenas de agentes especializados. A pergunta decisiva não será apenas se cada um obedece às regras, mas que tipo de instituição emerge de suas interações. Uma organização não se torna justa porque todos os seus formulários estão corretos. Um sistema de IA também não.

Fontes consultadas