O custo de inferência é o que você paga cada vez que a IA responde em produção. Ele mede o uso do modelo, e não o treino dele. Cada pergunta consome tokens, e cada token tem preço. Segundo o Stanford HAI, o custo de rodar um modelo no nível do GPT-3.5 caiu mais de 280 vezes entre 2022 e 2024. Mesmo assim, a conta explode quando o volume cresce. Este guia mostra por que o preço caiu, como ele afeta o lucro e como controlá-lo.
Já vi isso quebrar orçamento. Um piloto barato virou fatura de cinco dígitos quando foi para produção. O preço unitário despenca, mas o volume sobe mais rápido. Então quem não mede paga a conta no susto, no fim do mês.
O que é custo de inferência?
O custo de inferência é o valor gasto para o modelo gerar uma resposta depois de treinado, medido em geral por milhão de tokens processados. Token é o pedaço de texto que o modelo lê e escreve. Quanto mais longo o pedido e a resposta, mais tokens, mais custo. Por isso o gasto cresce com o uso, e não com a compra.
Custo de inferência: despesa por usar um modelo de IA em produção, cobrada por token de entrada e de saída, distinta do custo de treinamento do modelo.
A distância em relação ao treinamento é grande. Treinar acontece uma vez e é caro. Já a inferência acontece o tempo todo e vira despesa recorrente. Uma empresa com atendimento por IA paga inferência a cada conversa. Então, para o operador, o custo de inferência é a linha que aparece todo mês na fatura.
Pense na diferença como comprar um carro e abastecer. O treino é a compra, feita uma vez. Já a inferência é o combustível, gasto a cada viagem. Uma empresa que roda milhões de respostas por mês abastece o tempo todo. Por isso o custo de inferência, e não o de treino, define o preço de operar IA no dia a dia.
Por que o custo de inferência despencou?
O preço caiu por hardware melhor e modelos mais eficientes. Segundo o Stanford HAI, no relatório AI Index de 2025, rodar um modelo no nível do GPT-3.5 saiu de US$20,00 por milhão de tokens em novembro de 2022 para US$0,07 em outubro de 2024. O custo do hardware caiu cerca de 30% ao ano. Além disso, a eficiência de energia subiu perto de 40% ao ano.
A tendência tem nome. A Andreessen Horowitz chamou de LLMflation: para uma mesma qualidade, o custo de inferência cai cerca de 10 vezes por ano. Um modelo de qualidade equivalente ao GPT-3 ficou cerca de mil vezes mais barato desde 2021. Por isso o que era proibitivo virou trivial em três anos.
Vale um alerta de leitura. O Stanford HAI aponta uma variação enorme: dependendo da tarefa, a queda de preço foi de 9 a 900 vezes por ano. Ou seja, a média esconde casos muito diferentes entre si. O custo do seu caso depende do modelo, do tamanho do pedido e do volume, porque a média do mercado não paga a sua fatura.
Essa queda muda o cálculo de viabilidade. Um caso de uso que não fechava conta há dois anos pode fechar hoje. Então vale revisitar projetos engavetados por custo. O que era caro demais em 2023 talvez caiba no orçamento agora, porque o preço por token seguiu caindo desde então.
Como o custo de inferência afeta o lucro
O barateamento não garante lucro. Segundo a McKinsey, em 2026, quase nove em cada dez empresas já usam IA, mas só 37% enxergam impacto no resultado. Cerca de uma em cada cinco já limitou o uso de IA por causa do custo de operação, incluindo o de tokens. Portanto a diferença mora no custo por transação útil, e não no preço do token.
No Brasil, entra o câmbio. O preço do token é cotado em dólar, e a fatura chega convertida. Quando o dólar sobe, o custo de inferência sobe junto, mesmo sem mudar o uso. Por isso o gestor brasileiro precisa acompanhar a cotação divulgada pelo Banco Central ao planejar o orçamento de IA.
Um exemplo torna concreto. Um agente que processa 100 milhões de tokens por mês a US$0,60 por milhão custa US$60. O mesmo volume num modelo topo de linha a US$6,00 custa US$600. Ou seja, dez vezes mais pela mesma tarefa. Então a escolha do modelo, e não só o volume, define a margem do serviço.
O ponto para o CTO é ligar custo a receita. Cada funcionalidade de IA precisa de um dono e de um teto de gasto. Quando o custo por transação sobe acima do valor que ela gera, a conta fica negativa. Por isso trate cada caso como um produto, com margem própria e meta clara de retorno.
Como reduzir o custo de inferência
A primeira alavanca é usar o modelo certo para cada tarefa. Nem toda resposta precisa do modelo mais caro. O roteamento de modelos manda a pergunta simples para o modelo barato e guarda o caro para o caso difícil. Assim você corta gasto sem perder qualidade onde ela importa.
A segunda alavanca é a destilação de modelos, que cria uma versão menor e mais barata treinada a partir de um modelo grande. A terceira é o cache de prompt, que reaproveita partes repetidas do pedido e evita pagar de novo pelo mesmo contexto. Quando o volume é alto, essas três medidas juntas mudam a fatura.
A quarta alavanca é encurtar o pedido. Contexto inflado custa caro e raramente melhora a resposta. Então corte instrução redundante e limite o histórico enviado. Por fim, meça o custo por resposta útil dentro do seu MLOps, porque o que não é medido não é cortado.
Existe ainda a opção de rodar modelos abertos em servidor próprio. Isso troca a conta por token por um custo fixo de infraestrutura. Para volume alto e estável, a troca pode compensar. No entanto, exige time técnico e vira responsabilidade sua manter o serviço de pé, o que nem toda empresa quer assumir.
Onde o custo de inferência engana
A primeira armadilha é olhar só o preço do token. O que pesa é o total de tokens por transação. Um prompt gigante num modelo barato pode custar mais que um prompt enxuto num modelo caro. Por isso meça a conta cheia, e não o preço da tabela, porque o detalhe do pedido decide o gasto.
A segunda armadilha são os agentes. Um fluxo com vários passos multiplica os tokens, porque cada etapa relê o contexto. Quando você coloca agentes para conversar entre si, o consumo dispara. A observabilidade de IA mostra onde o token vaza. Sem ela, o custo cresce invisível.
Há também o custo escondido do retrabalho. Quando o modelo erra, alguém revisa e o pedido roda de novo. Cada nova tentativa consome mais tokens. Por isso qualidade e custo andam juntos: um modelo que acerta mais na primeira vez sai mais barato no total, mesmo com preço por token maior.
A terceira armadilha é confiar na queda do preço para adiar o controle. O preço cai, mas o seu volume também sobe. Você já olhou quanto cada funcionalidade de IA custa por mês na sua empresa? Quando a resposta é não, o custo de inferência está decidindo sozinho a sua margem.
Quando vale otimizar o custo de inferência
Otimizar cedo demais também custa. No começo, com pouco volume, vale priorizar velocidade de aprendizado. A conta ainda é pequena, e cortar centavos rouba tempo de descobrir o que funciona. Então rode simples, meça e espere o volume aparecer.
O ponto de virar a chave é quando uma funcionalidade escala. Quando o mesmo caso roda milhares de vezes por dia, cada centavo por resposta vira milhares de reais no mês. Nesse momento, roteamento, cache e destilação pagam o esforço. Portanto a régua é o volume, e não a moda.
O erro caro é o contrário: escalar sem medir. Uma empresa coloca IA em tudo, celebra a adoção e descobre a fatura tarde. Como resultado, o projeto fica sem lucro e vira alvo de corte. Por isso trate o custo de inferência como custo de produção desde o primeiro dia em escala.
A régua prática é simples. Quando o custo mensal de uma funcionalidade passa a doer no orçamento, chegou a hora de otimizar. Antes disso, medir já basta. Então instale a medição cedo e acione as alavancas de corte só quando o volume justificar o esforço de engenharia.
Conclusão: 5 ações para controlar o custo
O custo de inferência caiu muito, mas quem não mede continua pagando caro. O preço do token é só o começo da conta. O que decide a margem é a soma de modelo, tokens e volume, acompanhada de perto.
Primeiro, meça o custo por resposta útil de cada funcionalidade. Segundo, roteie a tarefa simples para o modelo barato. Terceiro, use cache e destilação onde o volume justifica. Quarto, corte contexto inflado e limite o histórico do pedido. Quinto, acompanhe câmbio e volume todo mês, porque os dois mexem na fatura sem aviso.
Perguntas frequentes
Comentários (0)