Antes de um modelo de linguagem aprender a escrever, programar ou responder perguntas, alguém precisa decidir como o texto será cortado. Uma frase não entra necessariamente na rede neural como palavras completas. Ela é convertida em pequenas unidades chamadas tokens, que podem representar uma palavra, uma parte dela, um sinal de pontuação ou até sequências de bytes.
Essa etapa parece apenas uma preparação técnica, mas influencia o custo de processamento, o tamanho das sequências e a facilidade com que o modelo reconhece padrões. Um vocabulário ruim pode fragmentar excessivamente certos idiomas, desperdiçar contexto e tornar palavras comuns mais caras para processar. Um vocabulário melhor oferece ao modelo peças que combinam com maior eficiência.
Durante anos, duas famílias dominaram essa decisão: a codificação por pares de bytes, conhecida como BPE, e o UnigramLM. Um novo estudo, porém, argumenta que as comparações entre elas misturavam duas escolhas independentes. Ao separar essas escolhas, os pesquisadores chegaram a uma conclusão provocadora: o caminho usado para procurar um vocabulário pode ser mais importante do que o objetivo matemático declarado.
O problema escondido dentro do tokenizador
Imagine que seja necessário montar uma caixa com peças capazes de reconstruir todos os textos de um idioma. Algumas peças seriam letras ou bytes; outras, combinações frequentes como terminações, radicais e palavras inteiras. Como o número de peças é limitado, cada inclusão exige uma escolha.
O BPE normalmente começa com unidades pequenas e cresce de baixo para cima. A cada etapa, combina pares frequentes e cria tokens maiores. Seu processo é associado a uma meta de compressão: representar o corpus usando menos unidades. O UnigramLM segue uma direção diferente. Ele começa com um conjunto amplo de candidatos e elimina peças de cima para baixo, procurando preservar as que ajudam a explicar os dados segundo uma medida de probabilidade.
Há, portanto, duas diferenças ao mesmo tempo. A primeira é o objetivo: compressão ou verossimilhança. A segunda é o método de busca: construir por fusões sucessivas ou começar grande e podar. Quando um experimento conclui que BPE e UnigramLM produzem resultados diferentes, fica difícil saber qual dessas dimensões causou a diferença.
Essa confusão é parecida com comparar duas cozinhas nas quais mudam simultaneamente os ingredientes e o modo de preparo. Se um prato fica melhor, não sabemos se o mérito foi da receita ou da técnica do cozinheiro. Foi exatamente essa ambiguidade que o trabalho “Objective vs. Search: Decomposing What Makes a Good Tokeniser” tentou remover.
Um experimento que completa as quatro combinações
Os autores organizaram o problema como uma matriz de duas por duas. De um lado, colocaram os objetivos de compressão e verossimilhança. Do outro, os procedimentos de busca de baixo para cima e de cima para baixo. BPE e UnigramLM ocupavam apenas duas células dessa matriz. Faltavam as duas combinações cruzadas.
Para preenchê-las, o estudo introduziu dois novos algoritmos. O BottomUpLL usa uma busca ascendente, semelhante em espírito ao processo de fusão, mas orientada por verossimilhança. Já o TopDownComp parte de um conjunto maior e realiza poda descendente, porém perseguindo compressão. Dessa forma, tornou-se possível trocar uma dimensão enquanto a outra permanecia comparável.
Os pesquisadores produziram tokenizadores com os quatro arranjos e treinaram modelos de linguagem variando o tamanho do modelo, o tamanho do vocabulário e o domínio dos dados. Também compararam cenários exclusivamente em inglês com configurações multilíngues. A avaliação empregou bits por byte, uma medida que permite comparar a eficiência preditiva sem depender diretamente da divisão específica em tokens.
Segundo os resultados relatados no resumo do trabalho, o procedimento de busca teve efeito mais importante do que o objetivo otimizado. Isso contraria uma intuição comum: a de que escolher a função matemática certa seria a decisão central, enquanto o algoritmo de construção seria apenas um meio intercambiável para chegar a ela.
O resultado não significa que objetivos sejam irrelevantes nem que exista um vencedor universal para qualquer conjunto de dados. Ele mostra algo mais cuidadoso: nas condições avaliadas, a forma como o espaço de vocabulários foi explorado explicou melhor as diferenças observadas. Em problemas combinatórios, um bom objetivo pouco ajuda se o procedimento de busca chega sistematicamente a soluções inferiores.
Por que pequenas peças mudam modelos enormes
A tokenização determina quantos passos computacionais o modelo precisa executar para ler um conteúdo. Se uma palavra comum vira um token, ela ocupa uma posição da janela de contexto. Se é dividida em cinco fragmentos, consome cinco. Isso afeta latência, memória e custo, sobretudo em textos extensos.
Há também consequências estatísticas. Cada token precisa aparecer um número suficiente de vezes para que o modelo aprenda uma representação útil. Vocabulários muito específicos podem criar peças raras; vocabulários excessivamente pequenos produzem sequências longas. O tokenizador precisa equilibrar reutilização, cobertura e concisão antes que o treinamento principal sequer comece.
Em ambientes multilíngues, o problema ganha uma dimensão política e econômica. Idiomas com grande presença no corpus podem receber tokens eficientes para palavras e construções frequentes. Outros acabam fragmentados em unidades menores. Duas pessoas escrevendo mensagens de extensão semelhante podem, assim, consumir quantidades diferentes de contexto e processamento apenas porque usam idiomas distintos.
Português brasileiro acrescenta desafios próprios: flexões verbais, gênero, plural, acentuação, nomes locais, abreviações e mistura cotidiana com termos em inglês. Um tokenizador desenhado principalmente a partir de textos anglófonos pode representar essas estruturas de maneira pouco econômica. Isso não condena o modelo ao fracasso, mas aumenta o trabalho necessário para aprender regularidades que poderiam estar melhor expressas desde a entrada.
A descoberta do estudo também serve como alerta metodológico. Muitas escolhas de infraestrutura são herdadas porque funcionaram em gerações anteriores. Quando duas técnicas vêm acompanhadas de pacotes inteiros de decisões, compará-las como blocos pode produzir explicações erradas. Separar os componentes permite descobrir onde realmente está o ganho.
O impacto para empresas e para o ecossistema brasileiro
Para empresas que apenas consomem uma interface de programação, tokenização costuma aparecer como uma linha na fatura. O preço é cobrado por tokens, o limite de contexto também é medido neles e a velocidade depende da quantidade processada. Um sistema que fragmenta português com menor eficiência pode custar mais para atender clientes brasileiros, analisar contratos nacionais ou operar centrais de suporte.
Já para organizações que treinam, adaptam ou hospedam modelos, o novo trabalho sugere uma oportunidade concreta de engenharia. Em vez de aceitar automaticamente um tokenizador padrão, equipes podem testar como diferentes procedimentos de busca se comportam em seus próprios dados. Isso vale para bancos com linguagem regulatória, empresas jurídicas, comércio eletrônico, saúde e serviços públicos, cada qual com terminologia recorrente.
O cuidado é não transformar a pesquisa em uma promessa de economia automática. Trocar o tokenizador de um modelo existente é difícil porque os identificadores dos tokens estão ligados aos pesos aprendidos. Na prática, a decisão é especialmente relevante antes do pré-treinamento ou em projetos que aceitem uma adaptação estrutural mais profunda. Também é necessário medir qualidade final, comprimento das sequências, velocidade e desempenho por domínio, não apenas uma métrica isolada.
Para o ecossistema brasileiro de modelos abertos, há uma implicação estratégica. Construir modelos competitivos não depende somente de acumular mais unidades de processamento gráfico. Melhorias em dados, avaliação e representação podem multiplicar o valor da computação disponível. Se a busca usada na criação do vocabulário produz ganhos consistentes, ela pode ser uma alavanca acessível a laboratórios com recursos menores.
O Brasil também tem motivos para desenvolver avaliações próprias. Uma média multilíngue pode esconder diferenças entre português formal, conversas informais, textos regionais e vocabulários profissionais. Um tokenizador eficiente no conjunto agregado talvez continue penalizando nomes indígenas, expressões locais ou documentos públicos. Auditar esses casos ajuda a transformar eficiência técnica em inclusão linguística mensurável.
O que essa descoberta ensina além da tokenização
Existe uma lição mais ampla no contraste entre objetivo e busca. Em inteligência artificial, é comum discutir intensamente o que deve ser otimizado: precisão, preferência humana, recompensa, compressão ou segurança. Porém, o procedimento que percorre as possibilidades pode determinar quais soluções ficam realmente ao alcance.
Isso aparece em treinamento, planejamento de agentes e geração de respostas. Dois sistemas podem declarar a mesma meta e alcançar comportamentos diferentes porque exploram caminhos distintos, recebem sinais em momentos diferentes ou descartam alternativas cedo demais. A função de objetivo descreve o destino; o método de busca decide quais estradas serão consideradas.
O tokenizador ocupa uma camada tão básica que quase desaparece da conversa pública. Ainda assim, ele define o alfabeto operacional com que o modelo enxergará o mundo textual. Antes de aprender fatos ou seguir instruções, a IA recebe uma coleção limitada de peças e precisa construir tudo a partir delas.
Talvez a principal contribuição do estudo seja devolver estranheza a uma decisão que parecia resolvida. O avanço nem sempre exige aumentar o modelo ou inventar uma nova arquitetura. Às vezes, ele começa ao desmontar uma comparação antiga, separar escolhas que estavam coladas e perguntar qual delas realmente produz o efeito observado. Na inteligência artificial, até a maneira de cortar uma palavra pode revelar que estávamos procurando melhorias no lugar errado.