Há um tipo de progresso em inteligência artificial que raramente aparece em demonstrações impressionantes: ensinar um modelo a responder bem quando a pergunta não está em inglês. O Manacá-1B-Instruct-2, segunda geração de um modelo treinado do zero para português brasileiro, entra justamente nesse território. Seu trabalho mais importante não é prometer raciocínio de fronteira nem competir pelo maior número de parâmetros. É documentar, com uma franqueza incomum, o que funcionou, o que falhou e como segurança pode ser construída para o nosso idioma.
O estudo publicado no arXiv apresenta um modelo de 1,72 bilhão de parâmetros, treinado especificamente para compreender e gerar português brasileiro. A equipe usou 291.223 exemplos em uma etapa de ajuste supervisionado e testou diferentes estratégias de alinhamento. O resultado é menos uma história de vitória instantânea e mais um mapa de dificuldades: três tentativas de treinamento por preferência deram resultados negativos, enquanto um conjunto dedicado de exemplos de segurança foi capaz de reduzir respostas problemáticas sem destruir completamente a utilidade do sistema.
Segurança não é o mesmo que recusar tudo
Modelos de linguagem costumam ser avaliados como se segurança fosse uma linha simples: diante de um pedido perigoso, recusar; diante de um pedido permitido, responder. Na prática, a fronteira é cheia de zonas cinzentas. Uma pergunta sobre substâncias químicas pode ser uma aula legítima, uma solicitação de prevenção ou uma tentativa de obter instruções operacionais. Uma dúvida sobre privacidade pode ser uma pesquisa acadêmica ou um pedido para invadir a conta de alguém.
Em português brasileiro, o problema ganha outras camadas. O modelo precisa interpretar informalidade, regionalismos, ironia, abreviações, erros de digitação e formas indiretas de pedir alguma coisa. Uma tradução literal de políticas produzidas para o inglês não garante o mesmo comportamento em nosso idioma. Segurança precisa ser ensinada dentro da língua, dos contextos e das maneiras pelas quais os brasileiros realmente conversam.
O Manacá-1B-Instruct-2 trata essa questão como um problema experimental. A equipe observou que aumentar a recompensa durante o treinamento não significava necessariamente melhorar as respostas que o modelo dava em uma conversa real. Essa diferença é fundamental. Um sistema pode parecer perfeitamente alinhado na métrica usada pelo treinamento e, ainda assim, continuar respondendo praticamente da mesma maneira quando recebe uma pergunta nova.
Quando a métrica melhora, mas o modelo não muda
Uma das descobertas mais reveladoras do trabalho aparece nas tentativas de DPO, sigla em inglês para otimização direta por preferências. Esse método normalmente compara respostas melhores e piores para ensinar ao modelo quais comportamentos deve priorizar. No caso analisado, três tentativas de DPO tiveram resultado negativo. Em uma delas, a margem de recompensa chegou a 1,0, mas as gerações livres praticamente não mudaram.
É um alerta para qualquer empresa que esteja treinando um assistente próprio. O número que melhora no painel interno pode estar medindo apenas a capacidade do modelo de se ajustar ao conjunto de exemplos, e não uma mudança real de comportamento. A diferença entre aprender a pontuar bem e aprender a responder melhor é exatamente o tipo de detalhe que costuma desaparecer em anúncios comerciais.
Esse resultado também ajuda a explicar por que a avaliação de segurança é mais difícil do que uma coleção de perguntas e respostas. Um modelo pode reconhecer padrões superficiais dos exemplos de treinamento, mas falhar quando o usuário troca uma palavra, muda a ordem da frase ou apresenta o mesmo pedido como uma história pessoal. A robustez aparece quando a política sobrevive à variação linguística, não quando o sistema memoriza o formato de uma prova.
O caminho que funcionou: segurança especializada
Depois dos resultados negativos com DPO, os pesquisadores recorreram a um ajuste supervisionado dedicado à segurança, inspirado no estilo AnswerCarefully do LLM-jp. A estratégia foi refinada ao longo de três iterações. Em vez de depender apenas de uma preferência abstrata entre respostas, a equipe forneceu exemplos concretos de como responder com cuidado, explicar limites e preservar alguma utilidade.
A diferença parece pequena, mas muda a pergunta de treinamento. O modelo não aprende apenas que uma resposta é preferível a outra. Ele observa como uma resposta segura deve ser escrita, que contexto deve ser reconhecido e quais alternativas podem ser oferecidas ao usuário. Em muitos casos, isso permite substituir uma recusa seca por uma explicação curta, uma orientação preventiva ou uma resposta em nível conceitual.
O objetivo não é remover toda possibilidade de erro. Nenhum conjunto de exemplos consegue antecipar todas as formas de abuso ou todos os contextos legítimos. O objetivo é construir um comportamento previsível: o sistema deve identificar risco, evitar instruções perigosas e continuar sendo útil dentro de limites razoáveis. Essa é uma definição muito mais exigente de segurança do que simplesmente bloquear palavras-chave.
O ponto delicado entre cautela e utilidade
O estudo também examinou quanto de dados gerais deveria ser misturado ao conjunto de treinamento de segurança. A equipe testou proporções entre 10% e 60% e encontrou uma curva não monotônica de recusa excessiva. Em outras palavras, acrescentar mais dados gerais não produziu uma melhora linear. Existe uma região intermediária, entre 40% e 50%, que parece funcionar como um ponto de equilíbrio mais favorável.
Esse detalhe é importante porque o excesso de segurança também causa prejuízo. Um modelo que recusa qualquer pergunta relacionada a saúde, programação, química, política ou direito pode ser tecnicamente cauteloso, mas se torna pouco confiável para uso cotidiano. A pessoa aprende que precisa reformular a pergunta várias vezes ou simplesmente abandona o sistema. Segurança que destrói a utilidade deixa de proteger o usuário e passa a empurrá-lo para ferramentas menos transparentes.
O problema lembra um ajuste de volume. Se a política de segurança está baixa demais, o modelo fornece respostas que não deveria. Se está alta demais, ele trata assuntos comuns como ameaças. O ponto adequado depende da língua, da finalidade e do público. Por isso, não basta importar um modelo estrangeiro e traduzir sua interface. A calibração precisa ser medida com dados locais.
Por que isso importa para o Brasil
Para o ecossistema brasileiro, o Manacá representa uma agenda de pesquisa que vai além da disputa por escala. Um modelo nativo de português pode servir como base para universidades, empresas e órgãos públicos que precisam testar sistemas sem entregar todos os dados a uma plataforma estrangeira. Mesmo um modelo pequeno não resolve todos os casos, mas pode ser ajustado, auditado e executado com custos mais previsíveis.
Isso é especialmente relevante em setores que lidam com linguagem sensível. Atendimento público, educação, saúde, serviços financeiros e suporte jurídico dependem de nuances que traduções automáticas nem sempre preservam. Um sistema que entende a diferença entre uma ordem, uma dúvida, uma reclamação e uma ironia brasileira pode reduzir erros de encaminhamento e melhorar a experiência do usuário.
Para empresas, o tamanho de 1,72 bilhão de parâmetros também abre uma conversa sobre implantação. Modelos menores podem rodar em infraestruturas mais acessíveis, ser especializados por domínio e operar com menor dependência de chamadas externas. O ganho não é apenas financeiro. Manter dados dentro de uma organização pode facilitar controles de privacidade, auditoria e conformidade.
Mas o fato de ser brasileiro não transforma automaticamente o modelo em uma solução pronta. A documentação do trabalho mostra justamente o contrário. É necessário testar vieses regionais, avaliar diferentes níveis de escolaridade, medir respostas em variedades formais e informais do idioma e repetir os experimentos com avaliadores humanos. A soberania tecnológica começa com capacidade de investigar, não com uma etiqueta nacional.
A lição para quem constrói produtos de IA
A principal lição do Manacá-1B-Instruct-2 é metodológica. Empresas que criam assistentes internos deveriam acompanhar pelo menos três indicadores diferentes: o desempenho no conjunto de treinamento, a mudança observada em conversas livres e a taxa de recusas indevidas. Um único número pode esconder um sistema que aprendeu a satisfazer a avaliação sem aprender o comportamento desejado.
Também vale separar competência geral de política de segurança. Misturar tudo em um treinamento único torna difícil entender por que o modelo falhou. Uma resposta ruim pode surgir porque o sistema não conhece o assunto, porque interpretou mal o pedido ou porque aplicou uma restrição de maneira exagerada. A documentação de tentativas negativas, como faz o estudo, ajuda a transformar falhas em conhecimento reutilizável.
No Brasil, essa cultura experimental pode ser mais valiosa do que uma corrida para anunciar o maior modelo nacional. Um modelo aberto, bem documentado e honestamente avaliado pode gerar mais impacto do que um sistema maior cuja segurança é apresentada apenas por métricas internas. O país precisa de modelos capazes, mas também precisa saber onde eles quebram.
O futuro da IA em português será feito de detalhes
O Manacá-1B-Instruct-2 não encerra o debate sobre alinhamento em português. Ele deixa claro que o debate está apenas começando. DPO pode falhar mesmo quando sua métrica parece excelente. Um conjunto de segurança pode reduzir riscos e, ao mesmo tempo, aumentar recusas indevidas. A proporção entre dados gerais e dados de segurança pode ter um ponto de equilíbrio que não é óbvio antes do experimento.
Essa complexidade é uma boa notícia. Ela significa que ainda há espaço para pesquisa local, avaliação independente e soluções desenhadas para os problemas reais de quem fala português brasileiro. O próximo salto talvez não venha de um modelo com mais bilhões de parâmetros, mas de conjuntos de dados melhores, critérios mais honestos e equipes dispostas a publicar resultados negativos.
Uma inteligência artificial segura não é aquela que nunca responde. É aquela que entende quando deve ajudar, quando precisa limitar a resposta e como explicar a diferença. Para o Brasil, construir esse equilíbrio em nossa própria língua é uma tarefa técnica, econômica e cultural. O Manacá mostra que, antes de ensinar uma máquina a dizer não, precisamos ensiná-la a compreender por que, quando e como dizer sim.