Token é a unidade mínima em que um modelo de linguagem (LLM) divide o texto antes de processá-lo. Não corresponde a uma palavra inteira: em português, 1 token equivale a cerca de 3 ou 4 caracteres, então uma palavra como "cancelamento" pode virar 3 ou 4 tokens.
Para que serve entender isso na prática:
- Custo: APIs de IA cobram por volume de tokens consumidos, separando entrada (o que você envia) e saída (o que o modelo responde). Comparar modelos pelo preço exige olhar para essas duas métricas juntas.
- Limites de contexto: a context window, que define quanto texto o modelo consegue considerar de uma vez, é medida em tokens. Um contrato de 10 páginas pode ou não caber numa janela, dependendo do modelo.
- Velocidade: a taxa de geração é expressa em tokens por segundo, o que afeta a percepção de resposta em produtos com interface conversacional.
Em travel tech, isso se torna concreto ao dimensionar automações: um agente que lê itinerários e responde dúvidas de viajantes consome tokens proporcionais ao tamanho do histórico de conversa. Estimar esse volume antes de escolher o modelo evita surpresas na fatura.
Não confundir com tokenização de pagamentos, processo de substituir dados de cartão por um código seguro. Os dois termos coexistem no setor, mas não têm relação.