Fine-tuning versus RAG: quando recuperar, quando treinar e quando fazer os dois

A pergunta chega disfarçada de arquitetura: “vamos fazer fine-tuning ou RAG?”. Quase sempre é a pergunta errada. Uma delas mexe no que o modelo é. A outra mexe no que o modelo vê agora. Fatos que mudam, políticas, catálogo, errata: isso se recupera. Formato, tom, jeito de seguir uma ficha, vocabulário de um ofício estável: isso, às vezes, se treina.

Em julho escrevi por que recuperar contexto vence o prompt inchado. Seis meses depois, a tentação simétrica apareceu: se o modelo ainda erra o tom da casa ou o JSON da ficha, “vamos treinar o nosso”. Treinar sem diagnóstico é o irmão rico de encher o prompt. Custa mais. Demora mais. Também não corrige índice velho.

Dois problemas diferentes

RAG coloca evidência no prompt. O modelo continua o mesmo. Você atualiza o índice quando o mundo muda. A falha típica é busca: trecho errado, corte ruim, permissão furada.

Fine-tuning — em especial o ajuste supervisionado, o SFT — mostra pares de exemplo e desloca os pesos. O modelo passa a imitar um formato, um tom, uma tarefa. A falha típica é dado: exemplos poucos, enviesados, duplicados, ou contaminados com o conjunto de teste. Outra falha: treinar fato que vai envelhecer. O preço de 2025 vira “conhecimento” de 2026.

Há um terceiro botão, mais barato que os dois: prompt e exemplos na hora (few-shot). Antes de treinar, vale esgotar um prompt honesto com três casos. Muita “necessidade de fine-tuning” morre nessa mesa.

flowchart TD
  N[O que falta?] --> F{Tipo}
  F -->|Fato que muda| R[RAG]
  F -->|Tom ou formato| T[Fine-tuning]
  F -->|Os dois| B[RAG e treino]
  R --> A[Avaliar]
  T --> A
  B --> A
  classDef ouro fill:#FBF5E4,stroke:#C9A227,color:#0B1F18,stroke-width:1.4px
  classDef verde fill:#F3FAF7,stroke:#1E7A57,color:#0B1F18,stroke-width:1.4px
  classDef fim fill:#14513B,stroke:#0F3328,color:#FBFAF6,stroke-width:1.4px
  class N,F ouro
  class R,T,B verde
  class A fim

Quando recuperar

Recupere quando a resposta precisa citar o mundo atual e atribuível.

• cláusula, preço, prazo, estoque, sumário, errata;
• acervo grande demais para caber na janela;
• permissão por documento: cada usuário vê um subconjunto;
• você precisa apontar a página.

RAG é o bibliotecário. O modelo escreve depois de receber o parágrafo. Se o parágrafo muda na terça, o índice muda na terça. Os pesos ficam quietos.

Não recupere para ensinar o modelo a devolver JSON com três campos, nem para “ficar mais educado”. Isso é formato. Formato se demonstra com esquema, parser e, se ainda falhar, com exemplos de treino.

Quando treinar

Treine quando o comportamento desejado é estável e caro de descrever só com instrução.

• tom da coleção: frases curtas, sem hype, recusa explícita quando falta dado;
• tarefa repetível: extrair ficha de capítulo, classificar original, normalizar referência;
• vocabulário de ofício que o modelo generalista atropela;
• formato rígido que o prompt quase acerta, mas não acerta em volume.

O dado manda mais que o algoritmo. Pares instrução–resposta revisados por alguém que entende o ofício. Acurácia (a resposta está certa), diversidade (não são cinquenta clones), complexidade (casos chatos, não só os fáceis). Deduplicar. Separar teste de verdade, sem vazamento. Sem isso, você paga GPU para memorizar o rascunho do estagiário.

Quantidade: para uma tarefa estreita, centenas a poucos milhares de bons exemplos batem milhares de ruído. Para “um modelo geral da empresa”, a conta explode e a manutenção também. Comece estreito.

Há o ajuste de alinhamento depois do SFT — recompensa, preferência, o alfabeto de siglas que muda de ano. Só entre nessa camada se o SFT já está estável e o problema restante é preferência, não fato. Alinhar um modelo que não sabe a ficha é polir o erro.

Quando os dois

O caso maduro é comum: o modelo precisa falar como a casa e citar o catálogo. Fine-tuning no tom e no formato. RAG no fato. O prompt manda usar o trecho. O modelo treinado obedece melhor a essa ordem do que um modelo genérico que prefere o que “lembra”.

A ordem de construção importa. Primeiro RAG avaliável — recuperação medida, recusa sem evidência. Depois, se o gerador ainda trai o formato ou o tom, aí o conjunto de treino. Treinar primeiro e “depois a gente liga a busca” mistura duas dívidas. Você não saberá se o erro é peso ou índice.

Há um anti-padrão: fine-tuning com os documentos inteiros para “internalizar o acervo”. Isso vira enciclopédia podre. O acervo muda. O peso não acompanha. Você recria, caro, o problema que o RAG resolve barato.

Custo, dado e avaliação

Compare custos no mesmo quadro, não em slides separados.

RAG cobra ingestão, embedding, hospedagem do índice, tokens de contexto a cada pergunta, engenharia de corte e filtro. O custo recorrente é busca + prompt longo.

Fine-tuning cobra curadoria humana (quase sempre o item maior), treino, avaliação, um modelo para hospedar, e cada vez que o comportamento precisa mudar. O custo recorrente é operação de modelo e o medo de retreinar.

Prompt cobrado só de tokens e de disciplina. Por isso continua o primeiro experimento.

Avaliação não é “o time achou melhor”. Para RAG, acerto do trecho no top-k e fidelidade da resposta ao trecho. Para fine-tuning, um conjunto cego com casos reais: JSON válido, tom, recusa, fato. Para os dois juntos, os dois conjuntos. Sem isso, o próximo treino é opinião com fatura.

Um detalhe de produção: o modelo ajustado também alucina. Ele alucina no seu estilo. Isso é pior de pegar, porque soa nosso. A recusa e a citação continuam obrigatórias. Treino não é licença para soltar o fato.

Uma sequência que evita arrependimento

1. Escreva dez falhas reais do sistema atual. Separe fato, formato, tom, ferramenta.
2. Fatos: monte o índice e meça recuperação, como no texto sobre RAG.
3. Formato: esquema + parser + três exemplos no prompt.
4. O que restar de tom ou tarefa estável: conjunto pequeno, revisado, teste cego, então SFT.
5. Só então discuta “os dois” como produto, não como slogan.

Se a reunião começar pelo nome do modelo que vocês vão ajustar, a reunião já escolheu o instrumento. Escolha o problema. O instrumento — recuperar, treinar, ou os dois — é consequência. E a consequência honesta, na maior parte dos catálogos e manuais, ainda começa pela busca do trecho certo.

Essa escolha — recuperar, treinar, implantar — é o miolo dos volumes finais da AI One.

Leia também: RAG: por que recuperar contexto em vez de encher o prompt e Bancos vetoriais, chunking e RAG.