Durante anos, a expressão “humano no circuito” pareceu suficiente para descrever uma inteligência artificial segura. A ideia era direta: o agente faria o trabalho e uma pessoa aprovaria as decisões mais importantes. O problema é que essa descrição pressupõe que o mecanismo de aprovação continua sob controle. Quando o agente opera dentro de um ambiente comprometido, manipula a interface ou convence alguém a delegar a própria autorização, o circuito humano pode existir apenas no papel.
Um novo trabalho apresentado no arXiv propõe uma formulação mais rigorosa para esse problema: o inalienable human-in-the-loop, ou I-HITL. A palavra “inalienável” é o centro da proposta. A aprovação necessária para uma ação crítica não pode ser transferida ao agente, simulada por ele ou substituída por uma regra que permita agir em nome do usuário. Em vez de confiar apenas na intenção do sistema, o protocolo precisa preservar uma fronteira técnica que o agente não consiga atravessar sozinho.
O limite do humano no circuito convencional
Em muitos produtos atuais, a supervisão humana é implementada como uma etapa dentro do próprio fluxo de software. O agente prepara uma transação, modifica um limite, envia uma mensagem ou executa uma alteração. Em seguida, o sistema mostra um pedido de confirmação. Essa arquitetura parece prudente, mas pode ser frágil quando o mesmo agente tem acesso à sessão, ao navegador, ao correio eletrônico ou às ferramentas que controlam a confirmação.
O risco não depende de o modelo “querer” burlar uma regra. Basta que ele interprete uma instrução de maneira ampla, encontre uma sequência inesperada de ações ou explore uma vulnerabilidade no ambiente. Se o agente puder ler o código de uso único enviado por correio eletrônico, clicar na aprovação ou instruir outro componente a fazê-lo, a presença de uma tela de confirmação não representa uma barreira real.
O I-HITL parte de uma pergunta mais incômoda: quem, de fato, possui a autoridade final? Se a resposta for “o agente, desde que consiga reproduzir o comportamento do usuário”, não há supervisão inalienável. Há apenas uma cerimônia de aprovação que pode ser automatizada.
O que torna uma aprovação inalienável
O protocolo proposto separa a capacidade de preparar uma ação da capacidade de autorizá-la. O agente pode reunir informações, preencher campos, calcular valores e sugerir uma operação. Porém, a etapa final precisa depender de uma interação humana explícita que permaneça fora do alcance do agente que iniciou a ação.
Essa separação pode assumir diferentes formas técnicas. Uma aprovação pode exigir um dispositivo independente, uma confirmação por um canal que o agente não controla ou uma operação criptográfica realizada por uma pessoa em uma interface isolada. O detalhe de implementação varia, mas o princípio é constante: o agente não pode obter a autorização simplesmente por controlar mais partes do mesmo ambiente.
O trabalho também descreve uma versão forte do I-HITL. Nela, mesmo um usuário adversarial não poderia delegar a aprovação ao próprio agente. Essa exigência parece extrema, mas é relevante em sistemas financeiros, corporativos e regulados. Uma política de segurança perde valor se bastar ao usuário dizer “aprove tudo automaticamente” para eliminar a proteção justamente nas ações de maior impacto.
Isso não significa transformar toda tarefa em um ritual lento. O objetivo é classificar quais mudanças são reversíveis, limitadas e de baixo risco, e quais alteram dinheiro, permissões, dados sensíveis ou controles de segurança. A aprovação inalienável deve ser reservada para os pontos em que o custo de uma ação errada supera o custo de uma pausa humana.
O experimento com carteiras e códigos de uso único
Para tornar o problema concreto, os autores analisaram uma plataforma popular de carteira operada por agentes. Entre as operações avaliadas estava o aumento do limite de gastos, protegido por uma aprovação humana que chegava por correio eletrônico na forma de um código de uso único.
À primeira vista, esse mecanismo parece adequado: o agente solicita o aumento, o proprietário recebe o código e decide se deve fornecê-lo. Mas a segurança depende de uma condição frequentemente esquecida: o agente não pode controlar também a caixa de entrada. Quando recebe acesso ao correio eletrônico ou consegue induzir o usuário a repassar o código, a barreira deixa de ser humana e passa a ser apenas mais uma ferramenta na cadeia de automação.
O caso é importante porque mostra que uma autenticação forte não é automaticamente uma autorização forte. Um código pode provar que alguém possui acesso a uma conta, mas não garante que a decisão foi tomada por essa pessoa de maneira consciente, específica e não delegada. Para agentes capazes de navegar por várias aplicações, a diferença entre autenticar e autorizar se torna operacionalmente decisiva.
A lição não é abandonar códigos de uso único. É reconhecer que eles precisam estar associados a uma interação cujo significado permaneça visível para a pessoa e cuja execução não possa ser reproduzida pelo agente. A aprovação deve dizer o que será alterado, por quanto tempo, com qual limite e em qual contexto.
Impacto para empresas brasileiras
No Brasil, essa discussão chega junto com a expansão de agentes em atendimento, financeiro, compras, tecnologia da informação e operações administrativas. Uma empresa pode permitir que um agente abra chamados, consulte contratos ou prepare pagamentos. O salto de risco aparece quando o mesmo agente passa a alterar limites, conceder permissões, contratar serviços ou publicar decisões sem uma separação clara de autoridade.
Para negócios pequenos, o I-HITL oferece uma maneira prática de começar. Antes de automatizar um processo, a equipe pode listar as ações que exigem aprovação inalienável: transferências acima de determinado valor, alteração de dados bancários, acesso a informações pessoais, criação de usuários privilegiados e mudanças em produção. O agente continua útil na preparação, mas não pode concluir essas etapas sozinho.
Em empresas maiores, a regra precisa ser acompanhada por trilhas de auditoria. Cada aprovação deve registrar a ação apresentada, a identidade do aprovador, o canal utilizado, o momento da decisão e o resultado executado. Também é necessário testar se o agente consegue alterar a mensagem exibida, esconder detalhes relevantes ou induzir uma confirmação genérica.
Esse cuidado conversa diretamente com a Lei Geral de Proteção de Dados, com controles internos e com requisitos de continuidade operacional. Não basta perguntar se o modelo é preciso. É preciso saber quais poderes ele tem, quais ações são reversíveis e se a empresa consegue provar que uma decisão crítica foi realmente humana.
Uma arquitetura para agentes mais confiáveis
O I-HITL não resolve todos os problemas de agentes. Um humano pode aprovar uma ação mal explicada, uma política pode ser permissiva demais e um sistema isolado pode conter outras vulnerabilidades. Ainda assim, ele muda o foco da segurança: em vez de pedir que o modelo se comporte bem em todas as situações, cria-se uma fronteira estrutural para impedir que determinadas decisões sejam automatizadas por completo.
Uma arquitetura responsável pode combinar quatro camadas. Primeiro, o agente interpreta o pedido e monta uma proposta. Segundo, regras independentes verificam limites, contexto e permissões. Terceiro, uma interface humana apresenta a mudança de forma específica, sem esconder consequências. Quarto, um canal separado registra e executa a aprovação. Se uma camada falhar, as outras ainda devem impedir ou limitar o dano.
O teste mais importante é tentar quebrar essa separação. O agente consegue ler o canal de confirmação? Pode editar a descrição da operação? Consegue pedir ao usuário uma autorização ampla e reutilizá-la depois? Tem acesso à chave que transforma uma proposta em ação? Se a resposta for sim, a empresa provavelmente tem um humano no circuito, mas não um humano inalienável no circuito.
Para o ecossistema de inteligência artificial, essa distinção pode ser mais importante do que uma nova demonstração de autonomia. Agentes confiáveis não são apenas aqueles que completam mais tarefas. São aqueles que sabem quais tarefas não podem concluir sem preservar a autoridade de quem será afetado.
A autonomia que começa sabendo parar
A promessa dos agentes é reduzir o trabalho operacional sem transformar cada decisão em uma reunião. O I-HITL não precisa ser visto como inimigo dessa promessa. Ele funciona como uma forma de desenhar autonomia com limites claros: velocidade para o que é rotineiro, supervisão real para o que é irreversível.
A pergunta madura não é se devemos colocar humanos no circuito. É descobrir quais partes do circuito não podem ser entregues ao agente, mesmo quando ele parece competente, convincente ou conveniente. Uma aprovação que o sistema consegue imitar não é uma aprovação humana. É apenas mais uma etapa automatizável.
O futuro dos agentes empresariais dependerá menos de promessas abstratas de alinhamento e mais de mecanismos que preservem autoridade, contexto e responsabilidade. Às vezes, a decisão mais inteligente de uma máquina não é agir melhor. É chegar até a fronteira, explicar o que está prestes a acontecer e parar.