O cache de prompt reaproveita os trechos fixos que você manda à IA em toda chamada, como instruções e documentos, para não pagar caro por eles de novo. Parece detalhe técnico. Mexe, porém, direto na conta. Segundo a Anthropic, ler do cache custa cerca de 10% do preço do token de entrada, uma economia de até 90%. Em operação de alto volume, isso decide se o projeto fecha a conta ou não. Este guia mostra o que é, quando vale e como estruturar o prompt para o recurso funcionar.
O que é cache de prompt?
Cache de prompt: técnica que guarda o processamento dos trechos repetidos de um prompt, como o sistema de instruções e os documentos de contexto, para que as chamadas seguintes leiam esse conteúdo já pronto em vez de reprocessá-lo.
Na prática, todo prompt tem uma parte fixa e uma variável. A parte fixa se repete a cada pedido. Por isso, guardar esse pedaço evita pagar e esperar pelo mesmo trabalho toda vez. Assim, o recurso ataca o desperdício silencioso das operações que rodam o mesmo contexto milhares de vezes por dia.
Vale uma imagem simples. Pense num atendente que releria o manual inteiro antes de cada resposta ao cliente. Seria lento e caro. O cache é como deixar o manual aberto na página certa, pronto para consulta. Com isso, o modelo não relê tudo do zero, e a operação paga apenas pela parte nova de cada conversa.
Um ponto importante: cache não é memória de conversa. Ele guarda o processamento de um trecho de texto por um tempo curto, para reuso imediato. Não serve para lembrar do cliente na semana seguinte. Por isso, não confunda os dois. A memória de longo prazo é outro assunto, com outras ferramentas. Aqui, o foco é puramente econômico: pagar uma vez pelo que se repete o dia inteiro.
Como o recurso reduz o custo?
A economia vem de cobrar menos pelo que já foi processado. Segundo a Anthropic, a leitura do cache sai por cerca de 10% do preço do token de entrada, e a gravação inicial custa 25% a mais. Ou seja, a primeira chamada é um pouco mais cara, mas cada repetição fica muito mais barata. Além disso, a mesma fonte aponta redução de latência de até 85% em prompts longos.
Os grandes provedores seguem o mesmo caminho. Segundo a OpenAI, o desconto chega a 50% para tokens de entrada repetidos, de forma automática, em prompts acima de 1.024 tokens. O Google Gemini oferece cache de contexto para reutilizar documentos grandes. A Microsoft descreve o mesmo recurso no Azure OpenAI. Portanto, virou padrão de mercado, não truque de um fornecedor.
| Provedor | O que oferece |
|---|---|
| Anthropic (Claude) | Leitura a cerca de 10% do custo de entrada; até 85% menos latência |
| OpenAI | Desconto automático de 50% em entrada repetida acima de 1.024 tokens |
| Google Gemini | Cache de contexto para documentos e instruções reutilizados |
Repare no efeito composto. Numa operação que faz milhares de chamadas por dia, a diferença entre pagar 100% e pagar 10% pela parte fixa vira uma linha grande na fatura do mês. Por isso, times que ignoram o recurso costumam gastar muito mais do que precisam. E, quando a conta aperta, essa é a primeira alavanca a puxar.
Quando vale usar cache de prompt?
O ganho aparece quando o mesmo contexto se repete muito. Pense num atendimento que carrega a mesma política de troca em cada conversa. Ou num agente com um sistema de instruções grande e estável. Nesses casos, a parte fixa é enorme e se repete o dia inteiro, então o retorno é imediato.
- Atendimento de alto volume: a base de regras e o tom de voz entram fixos em cada resposta.
- Agente com contexto grande: ferramentas e instruções extensas se repetem a cada passo.
- Busca aumentada por documentos: os mesmos manuais alimentam muitas perguntas seguidas.
Para operações assim, o recurso muda a economia do projeto. Um chatbot que processa cinco mil conversas por dia com um contexto pesado paga esse contexto cinco mil vezes sem cache. Com ele, paga a parte fixa uma vez e lê barato o resto. Vale combinar isso com roteamento de modelos para usar o modelo certo em cada tarefa.
Por outro lado, há casos em que não compensa. Quando o volume é baixo, a gravação mais cara não se paga. E quando cada pedido usa um contexto totalmente novo, não há o que reaproveitar. Então avalie o padrão de uso antes de ligar o recurso. A pergunta é simples: o que se repete aqui e com que frequência?
Faça um teste pequeno antes de decidir. Meça o custo de um fluxo com e sem o recurso ligado, no mesmo período. Se a economia aparecer, expanda para os demais fluxos de volume. Se não aparecer, provavelmente o prefixo muda demais ou o volume é baixo. Por isso, comece por um caso claro e deixe o dado decidir, em vez de ligar tudo de uma vez.
Como estruturar o prompt para funcionar
O reaproveitamento depende de ordem. O modelo guarda o começo do prompt que se repete, o prefixo. Por isso, coloque o conteúdo estável no início e o conteúdo variável no fim. Se você joga um dado que muda logo na primeira linha, o cache quebra e você paga cheio de novo.
A regra que uso é simples: ordene do mais estável ao mais volátil. Instruções e documentos primeiro, pergunta do usuário por último. Além disso, atenção ao tempo de vida do cache, que costuma variar entre alguns minutos e uma hora conforme o provedor. Trate isso como decisão de arquitetura, não como ajuste de código de última hora.
Um exemplo ajuda. Num assistente de suporte, a política da empresa, o tom de voz e os manuais ficam no topo, pois quase nunca mudam. O nome do cliente e a dúvida do momento entram no fim. Dessa forma, o prefixo se mantém idêntico entre uma conversa e outra, e o modelo reaproveita quase tudo. Entender bem a janela de contexto ajuda a decidir o que cabe no prefixo fixo e o que fica de fora.
Onde o recurso engana?
Ele resolve custo, mas não faz milagre. A seguir, os enganos que aparecem quando a equipe liga o recurso sem pensar na arquitetura.
- Prefixo instável: um dado dinâmico no início do prompt quebra o cache e zera a economia.
- Volume baixo: sem repetição frequente, a gravação mais cara não se paga.
- Cache expirado: se o intervalo entre chamadas passa do tempo de vida, você grava de novo.
- Contexto inchado: encher o prompt de material inútil só para reaproveitar aumenta o gasto fixo.
- Sem medição: quem não acompanha a taxa de acerto não sabe se está economizando.
Então meça a taxa de acerto e o custo por chamada, não só por token. Essa distinção importa. Um relatório que olha só o preço por token pode esconder que o cache está falhando por trás. Por isso, acompanhe o custo real de cada conversa. Uma boa engenharia de prompt anda junto, porque o desenho do prompt decide o que pode ser reaproveitado.
O que muda na operação no Brasil
No Brasil, o custo da IA sai em dólar, e o câmbio pesa em qualquer conta. Por isso, cortar de 50% a 90% do custo de entrada muda o resultado de operações de volume, como atendimento no WhatsApp. Quando a margem é apertada, o recurso pode ser a diferença entre escalar e travar o projeto.
Há um ponto de governança que vale reforçar. O cache guarda o processamento de instruções e documentos de contexto, não a memória de dados pessoais do cliente. Ainda assim, trate o que entra no prompt com o cuidado da LGPD, porque contexto sensível não deveria virar prefixo fixo sem controle de acesso.
Vale ligar essa decisão à estratégia de modelos. Para operações com agentes, o reaproveitamento se soma a modelos menores como forma de baratear ainda mais o custo por tarefa. Assim, você combina duas alavancas: um modelo mais leve e um prompt que não paga a mesma conta duas vezes. Vale olhar quando um modelo menor resolve a tarefa com um contexto reaproveitado.
Como agir a partir de hoje
O cache de prompt é uma decisão de arquitetura que corta custo sem trocar de modelo. Comece por estes cinco passos.
- Mapeie a parte fixa e a parte variável de cada prompt da sua operação.
- Coloque o conteúdo estável no início e o variável no fim, para preservar o prefixo.
- Ligue o recurso nos fluxos de alto volume, onde o mesmo contexto se repete.
- Meça a taxa de acerto e o custo por chamada, não só por token.
- Trate contexto sensível com a LGPD e revise o tempo de vida do cache por caso.
Quer botar a conta da IA de pé e escalar sem estourar o custo? É esse o trabalho que faço na GMZ.MOKE: estruturo a operação, escalo com automação e uso dado para decidir lucro. Fale comigo e vamos revisar a sua arquitetura de prompt.
Perguntas frequentes
Comentários (0)