Sequências e memória: o que a IA realmente guarda

Uma frase é uma sequência. Uma cotação, também. Uma nota musical. A tentação é dizer que a rede “lembra” o que veio antes. Lembrar, em gente, é reconstruir. Na rede, é atualizar um vetor e passá-lo adiante. Se o vetor cabe, o próximo passo vê um resumo. Se não cabe, o começo da frase some.

O volume 6 da AI One trata sequências e memória nesse vocabulário seco. Este texto é a distinção que segura o resto: estado não é lembrança.

O passo que depende do passo anterior

Na rede densa do sete, cada imagem é um vetor isolado. Na sequência, o item t usa o item t−1. A recorrência é isso: a mesma função, aplicada de novo, com um estado que viaja.

flowchart LR
  x1["x1"] --> h1["estado h1"]
  h1 --> h2["estado h2"]
  x2["x2"] --> h2
  h2 --> h3["estado h3"]
  x3["x3"] --> h3
  h3 --> y["saída"]
  classDef ouro fill:#FBF5E4,stroke:#C9A227,color:#0B1F18,stroke-width:1.4px
  classDef verde fill:#F3FAF7,stroke:#1E7A57,color:#0B1F18,stroke-width:1.4px
  classDef fim fill:#0F3328,stroke:#0F3328,color:#FBFAF6,stroke-width:1.4px
  class x1,x2,x3 ouro
  class h1,h2,h3 verde
  class y fim

O problema clássico: o gradiente, na volta, atravessa muitos passos e some ou explode. A LSTM e a GRU nasceram como válvulas — o que entra no estado, o que sai, o que se esquece. Não são memória afetiva. São engenharia para o sinal não morrer no caminho.

Transformers, mais tarde, resolveram o mesmo problema de outro jeito: olhar todos os passos de uma vez, com atenção, em vez de carregar um único vetor no tempo. O o que um transformer faz é esse capítulo. Sequência continua sendo a pergunta. Muda o mecanismo.

Onde a metáfora quebra

“A rede lembrou o sujeito da frase” soa bem e esconde o limite. O estado tem tamanho fixo. Uma dependência longa demais não cabe. Um padrão raro no treino não ganha espaço. Quando o produto precisa de um fato de três parágrafos atrás, às vezes a solução não é mais LSTM — é recuperar o trecho em vez de comprimi-lo num vetor.

Áudio, série temporal, texto curto ainda usam recorrência ou suas herdeiras. Texto longo, em 2026, quase sempre passou à atenção. Saber a diferença evita o erro de empilhar LSTM em problema de documento e culpar o learning rate.

Como estudar este volume

Pegue uma série curta: o próximo caractere, a próxima nota, o próximo valor. Treine uma recorrência rasa. Olhe onde o erro nasce — no início da sequência ou no fim. Depois substitua por uma LSTM. Depois, se o texto crescer, compare com atenção. Três mecanismos, a mesma pergunta: o que precisa estar visível no passo t?

A matemática do estado é a do volume 1: função, vetor, derivada ao longo do tempo. Os dados do volume 2 avisam para não vazar o futuro — em série temporal, o vazamento é o vazamento clássico. O volume 6 junta os dois no eixo do tempo.

Memória, aqui, é estado. Estado é um vetor. Vetor tem tamanho. Tamanho tem limite. Com essa frase, a metáfora se aposenta e o ofício começa.

Leia também: O que um transformer faz · Autoencoders e GANs para quem começa.