IA em produção: latência, custo de tokens e o botão de rollback

A demo de um modelo é um recorte sem fatura. Produção é o contrário: cada requisição tem relógio, preço e um usuário que não deve ser a primeira pessoa a descobrir que a resposta piorou. Latência, token e rollback não são “MLOps de livro”. São o que impede um assistente de virar um incidente lento e caro.

Isso vale para um classificador clássico e vale mais para LLM, porque o custo por chamada é visível e a qualidade não se resume a um número único. HTTP 200 com prosa fluida ainda pode estar errado. O sistema precisa de um orçamento, de uma forma de saber que estourou, e de um caminho de volta que não dependa de uma madrugada heroica.

Quem está montando a base — matemática, dados, redes, produção — encontra o mesmo recorte, em outra escala, na série AI One. Aqui cabe o recorte de quem já colocou o modelo no caminho do leitor.

Orçamento de latência

Antes do modelo, escreva o número. A tela de busca do catálogo tolera 300 ms. O rascunho de sinopse, 8 segundos. O e-mail gerado em lote, 2 minutos. Misturar os três no mesmo endpoint é o jeito mais rápido de o relógio da busca pagar o da prosa.

LLM síncrono no clique do usuário só se justifica quando a espera é parte do gesto — um parágrafo sendo escrito na frente da pessoa — e quando há streaming. Sem streaming, 6 segundos parecem falha. Com streaming, 6 segundos parecem trabalho.

O que não cabe no relógio da requisição sai da requisição: fila, job, e-mail quando ficar pronto. Recuperação vetorial, ferramentas, um segundo modelo “juiz”: cada um come o orçamento. Meça as partes, não só o total. Um p95 que explode no retriever não se resolve trocando o modelo de geração.

Cache é a peça mais ignorada. Perguntas repetidas, trechos estáveis, sinopses que não mudam à tarde. Um cache com chave honesta (prompt + modelo + versão do índice) reduz token e milissegundo ao mesmo tempo. Invalide quando o índice ou o prompt mudam. Cache eterno é índice velho com cara de otimização.

flowchart TD
  R[Requisição] --> O{Cabe no relógio?}
  O -->|Sim| C[Canário]
  C --> M[Modelo]
  M --> Q{Qualidade}
  Q -->|Ok| P[Produção plena]
  Q -->|Não| B[Rollback]
  O -->|Não| F[Fila]
  classDef ouro fill:#FBF5E4,stroke:#C9A227,color:#0B1F18,stroke-width:1.4px
  classDef verde fill:#F3FAF7,stroke:#1E7A57,color:#0B1F18,stroke-width:1.4px
  classDef fim fill:#14513B,stroke:#0F3328,color:#FBFAF6,stroke-width:1.4px
  class R,O ouro
  class C,M,Q,F verde
  class P,B fim

Orçamento de tokens

Token é tempo e dinheiro. Prompt de sistema barroco, trechos demais, histórico infinito, ferramenta que devolve um JSON de 40 KB: a conta chega junto com a latência. Defina teto por rota. Não por mês, só, mas por chamada e por usuário. Estouro vira recusa ou modelo menor, não surpresa no cartão.

Algumas alavancas, em ordem de honestidade:

• corte o contexto que o recuperador não precisava mandar;
• limite k e o tamanho de cada trecho;
• separe rotas: classificar com modelo pequeno, escrever com o grande;
• cacheie embeddings e respostas estáveis;
• recuse cedo quando a recuperação volta vazio, em vez de gerar com fé.

Fine-tuning, se existir, também entra na conta: hospedar um modelo seu tem custo fixo. Às vezes um modelo hospedado menor, bem instruído, ganha de um grande com prompt de romance. Meça. A vaidade do nome do modelo não paga a fatura.

Agentes multiplicam a conta. Cada volta do laço é uma geração. Sem teto de passos, o orçamento de tokens é um desejo. O texto sobre agentes já pedia orçamento. Em produção, o orçamento tem alarme.

Avaliação que não mora só no notebook

O conjunto de ouro — aquelas vinte, cinquenta, duzentas perguntas com resposta conhecida — precisa rodar em todo deploy. Para RAG, acerto do trecho e fidelidade. Para extração, JSON válido e campos certos. Para tom, um juiz humano numa amostra, não um modelo juiz como única fonte.

Produção acrescenta o que o notebook não vê: distribuição real de perguntas, recusas, cliques em “isto não ajudou”, tempo até a pessoa reformular. Se a taxa de reformulação sobe, a qualidade caiu mesmo com acurácia estável no conjunto velho. O mundo saiu do conjunto.

Não espere o dashboard perfeito. Comece com:

• latência p50 e p95 por rota;
• tokens de entrada e saída;
• taxa de recusa e de erro de parser;
• taxa de feedback negativo, se existir o botão;
• amostra semanal lida por um humano com rubrica curta.

O humano na amostra não é romantismo. Modelos-juiz concordam consigo mesmos e erram juntos. Uma hora de leitura por semana em vinte respostas reais pega o tom que a métrica não pega — o hype que voltou, o fato inventado educado, o trecho certo ignorado.

Canário e o botão de rollback

Trocar prompt, modelo, corte de trecho ou servidor de ferramenta é deploy. Trate como tal. Uma fatia pequena de tráfego — o canário — vê a versão nova. O resto vê a anterior. Compare latência, custo e as métricas de qualidade na fatia. Se piorar, volte. Se aguentar, abra.

Rollback de LLM precisa ser chato e possível:

• prompt versionado, não editado no painel sem nome;
• modelo pinado por id, não “o mais recente”;
• índice com versão, para não misturar corte novo com prompt velho;
• flag que devolve o fluxo anterior inteiro, inclusive o cache.

O pior incidente não é o 500. É o 200 com uma política errada durante o fim de semana, porque o default do fornecedor mudou e ninguém pinou a versão. Rollback não existe se você não sabe o que estava no ar.

Canário também vale para custo. Uma mudança que dobra tokens em 5% do tráfego já informa. Esperar o mês fechar é contabilidade, não operação.

O que produção exige da arquitetura

Nem toda requisição merece modelo. Muita classificação cabe em regra. Muita busca cabe em busca. O LLM entra onde o texto varia de um jeito que regra não cobre. Esse critério — onde o modelo senta — fica para o texto de arquitetura. Aqui cabe a frase operacional: se você não consegue voltar atrás em dez minutos, ainda não está em produção. Está em demo com usuários.

Produção de IA, no fim, é o ofício antigo de sistema: orçamento, medida, fatia, volta. O modelo só tornou o orçamento mais visível e a medida mais difícil. Dificuldade não autoriza fé. Autoriza amostra, canário e um botão que alguém, de fato, sabe apertar.

O último degrau da AI One é exatamente este: o assistente no ar, com custo, latência e um rollback que alguém sabe usar.

Leia também: Fine-tuning versus RAG e Agentes de IA: o que fazem e onde falham.