Não é “só texto”
Embora tenha ficado famoso em linguagem natural, o Transformer pode ser aplicado a qualquer dado que possa ser representado como sequência de vetores: palavras, pixels agrupados, medições temporais, moléculas ou sinais.
01 · Visão geral
O que é a arquitetura Transformer?
Um Transformer é uma arquitetura de rede neural criada para processar sequências — como textos, trechos de áudio, séries temporais, proteínas ou patches de imagem — usando principalmente mecanismos de atenção. Em vez de ler a sequência passo a passo como uma RNN, ele compara vários elementos da sequência entre si e calcula quais relações são mais relevantes para representar o contexto.
A ideia central
O modelo cria representações contextuais. A palavra “banco”, por exemplo, não recebe o mesmo significado em “sentei no banco” e “o banco aprovou o empréstimo”.
Por que isso importou?
A arquitetura reduziu a dependência de recorrência, facilitou paralelização em GPUs/TPUs e tornou viável pré-treinar modelos grandes em enormes volumes de dados.
Resumo: Transformer é uma arquitetura baseada em atenção que aprende relações contextuais entre elementos de uma sequência, com alta capacidade de paralelização.
02 · Fluxo geral
Como os dados fluem em um Transformer
O fluxo abaixo é uma simplificação didática. Em modelos reais, cada bloco contém múltiplas camadas, projeções lineares, normalizações, máscaras de atenção e ajustes específicos conforme a arquitetura: encoder-only, decoder-only ou encoder-decoder.
Tokens
Texto ou dado bruto é quebrado em unidades processáveis.
Embeddings
Cada token vira um vetor numérico com significado aprendido.
Posição
Informação de ordem é adicionada ao vetor.
Attention
Tokens ponderam a relevância dos demais tokens.
Feed-forward
Camadas densas refinam cada representação.
Saída
Classificação, tradução, previsão, geração ou embedding.
Conceito importante: o Transformer não “entende” como humanos. Ele aprende padrões estatísticos em representações vetoriais, mas esses padrões podem capturar relações semânticas, sintáticas e estruturais muito úteis.
03 · Self-attention
Como uma palavra “presta atenção” em outras
Em self-attention, cada token da sequência compara sua representação com os demais tokens. O resultado é uma combinação ponderada: tokens mais relevantes contribuem mais para a nova representação contextual.
Exemplo didático
Na frase “O banco aprovou o empréstimo porque ele estava seguro”, o token “ele” precisa se relacionar com termos anteriores para inferir o contexto. O diagrama abaixo usa pesos ilustrativos, não calculados por um modelo real.
atenção fraca
atenção forte
Clique nos tokens para mudar o foco.
Resumo: self-attention cria uma representação contextual: o significado de cada token passa a depender das relações relevantes com outros tokens da sequência.
04 · Queries, Keys e Values
Q, K e V: a gramática interna da atenção
Em uma versão simplificada, cada embedding de token é projetado em três vetores: Query, Key e Value. A Query representa o que o token está “procurando”; a Key representa o que cada token “oferece” para comparação; e o Value contém a informação que será combinada na saída.
Entrada vetorial
O token vira um vetor de números. Em modelos reais, são centenas ou milhares de dimensões.
0.2−0.10.80.4
0.70.3−0.20.6
−0.40.90.10.5
Cálculo simplificado
1. Similaridade: Query de um token é comparada com as Keys dos demais.
2. Escala: divide-se por √dₖ para estabilizar os valores.
3. Softmax: transforma escores em pesos que somam 1.
4. Combinação: os pesos multiplicam os Values.
Attention(Q,K,V) = softmax(QKᵀ / √dₖ) · V
Intuição
Query: “o que preciso saber?”
Key: “que tipo de informação eu tenho?”
Value: “qual conteúdo será entregue se eu for relevante?”
Aviso: a linguagem de “pergunta”, “chave” e “valor” é uma analogia. Matematicamente, são projeções lineares aprendidas durante o treinamento.
05 · Multi-head attention
Várias cabeças, várias formas de olhar
Em vez de calcular uma única atenção, o Transformer usa múltiplas “cabeças” em paralelo. Cada cabeça aprende projeções diferentes de Q, K e V e pode capturar aspectos distintos da sequência. Depois, as saídas são concatenadas e projetadas novamente.
Cabeça 1
Relação sintática
sujeitoverboobjeto
Pode favorecer relações gramaticais, como sujeito–verbo–objeto.
Cabeça 2
Sentido semântico
bancorioempréstimo
Pode destacar termos que resolvem ambiguidade de significado.
Cabeça 3
Correferência
Mariadisseela
Pode conectar pronomes, entidades e expressões relacionadas.
Cabeça 4
Ordem e distância
token 1token 8token 20
Pode aprender padrões úteis entre elementos próximos ou distantes.
Resumo: multi-head attention amplia a capacidade do modelo de observar relações diferentes em paralelo, sem depender de uma única forma de similaridade.
06 · Posição
Por que positional encoding é necessário?
O mecanismo de atenção, por si só, compara tokens sem saber automaticamente quem veio antes ou depois. Por isso, o Transformer adiciona informação posicional aos embeddings. No artigo original, os autores usaram funções senoidais e cossenoidais; em muitos modelos modernos, também são usados embeddings posicionais aprendidos ou variantes relativas/rotacionais.
Intuição visual
O positional encoding funciona como uma “assinatura de posição” somada ao embedding. Assim, o modelo pode diferenciar “cão morde homem” de “homem morde cão”, mesmo que os tokens sejam os mesmos.
07 · Componentes internos
Encoder, decoder, feed-forward, normalização e conexões residuais
O Transformer original foi proposto em uma estrutura encoder-decoder para tradução automática. Depois surgiram variações muito usadas: encoder-only (como BERT), decoder-only (muitos LLMs gerativos) e encoder-decoder (tradução, sumarização e tarefas sequence-to-sequence).
Encoder
Entrada + posição
tokens convertidos em vetores contextuais iniciais
tokens convertidos em vetores contextuais iniciais
Multi-head self-attention
cada token olha para todos os tokens da entrada
cada token olha para todos os tokens da entrada
Feed-forward network
camadas densas aplicadas a cada posição
camadas densas aplicadas a cada posição
Saída contextual
representação rica da sequência de entrada
representação rica da sequência de entrada
Decoder
Saída parcial + posição
tokens já gerados ou deslocados no treinamento
tokens já gerados ou deslocados no treinamento
Masked self-attention
impede olhar para tokens futuros em geração autoregressiva
impede olhar para tokens futuros em geração autoregressiva
Cross-attention
consulta a saída do encoder quando existe entrada externa
consulta a saída do encoder quando existe entrada externa
Feed-forward + projeção
gera probabilidades, classes ou vetores de saída
gera probabilidades, classes ou vetores de saída
Normalização e residual: conexões residuais ajudam o gradiente a fluir em redes profundas; normalização estabiliza ativações e treinamento. A ordem exata pode variar entre arquiteturas.
08 · Impacto
Por que Transformers foram decisivos para a IA moderna?
A importância dos Transformers não está em uma única peça, mas na combinação entre atenção, paralelização, escalabilidade e pré-treinamento em larga escala. Isso permitiu treinar modelos maiores, reutilizar representações em várias tarefas e integrar diferentes modalidades de dados.
Paralelização
RNNs processam sequências de forma naturalmente sequencial. Transformers permitem processar muitos tokens em paralelo, o que combina melhor com hardware moderno.
Contexto amplo
A atenção cria caminhos diretos entre tokens distantes. Isso melhora a captura de dependências de longo alcance, embora o custo de atenção cresça com o tamanho da sequência.
Transferência
Modelos pré-treinados podem ser adaptados para classificação, perguntas e respostas, busca, sumarização, recomendação, análise de imagens e outras tarefas.
Limitação importante: Transformers não são sempre a melhor escolha. Eles podem exigir muitos dados, memória e computação. Em alguns cenários, CNNs, árvores, modelos lineares, RNNs ou arquiteturas híbridas ainda fazem sentido.
09 · Além da IA generativa
Transformers são usados apenas em IA generativa?
Não. Transformers são usados tanto em tarefas generativas quanto em tarefas discriminativas, preditivas, de busca, representação e análise científica. IA generativa é apenas uma das áreas em que essa arquitetura se tornou muito visível.
Generativa
Texto e código
LLMs podem gerar respostas, resumos, código, traduções, roteiros e documentação técnica.
Generativa
Imagem, áudio e vídeo
Transformers aparecem em sistemas multimodais e podem se combinar com difusão, autoencoders e outras arquiteturas.
Não generativa
Classificação de texto
Análise de sentimento, triagem de chamados, detecção de spam e categorização documental.
Não generativa
Busca semântica
Embeddings baseados em Transformers ajudam a encontrar documentos por significado, não apenas por palavras exatas.
Não generativa
Visão computacional
Vision Transformers tratam imagens como sequências de patches e podem ser usados em classificação e reconhecimento.
Científica
Bioinformática
Arquiteturas com atenção são usadas em modelagem de proteínas, sequências biológicas e descoberta científica.
Preditiva
Séries temporais
Variantes de Transformers são aplicadas a previsão de demanda, sensores, energia, finanças e monitoramento.
Sequence-to-sequence
Tradução e sumarização
A proposta original foi muito associada à tradução automática e depois expandida para diversas tarefas.
Multimodal
Texto + imagem + áudio
Modelos modernos combinam modalidades para responder perguntas sobre documentos, imagens, vídeos e sinais.
Resumo: Transformers são uma arquitetura geral de representação e processamento de sequências. IA generativa é uma aplicação importante, mas não a única.
10 · Comparação
Transformers, RNNs e CNNs
Arquiteturas diferentes têm forças e limitações. A tabela resume tendências gerais, não regras absolutas.
| Arquitetura | Paralelização | Memória de contexto | Uso comum | Limitações típicas |
|---|---|---|---|---|
| Transformer | Alta durante treino, pois tokens podem ser comparados em paralelo. | Boa para dependências longas, limitada pelo tamanho da janela e custo computacional. | LLMs, tradução, busca semântica, visão, multimodal, proteínas, séries temporais. | Custo de memória/compute elevado; atenção quadrática em implementações clássicas; demanda dados e engenharia. |
| RNN / LSTM | Baixa a moderada, pois o processamento é sequencial. | Melhor que RNN simples quando usa LSTM/GRU, mas ainda pode ter dificuldade com sequências longas. | Séries temporais, fala, texto sequencial, sistemas embarcados ou cenários menores. | Treino mais lento em sequências longas; gargalo sequencial; dependências distantes podem degradar. |
| CNN | Alta, especialmente em imagens e sinais locais. | Excelente para padrões locais; contexto global requer profundidade, pooling ou mecanismos adicionais. | Visão computacional, áudio, sinais, detecção de padrões espaciais. | Menos natural para dependências arbitrárias de longo alcance; pode precisar de muitas camadas para contexto amplo. |
11 · Fontes confiáveis
Referências usadas
As explicações foram baseadas em fontes acadêmicas e técnicas reconhecidas. Os diagramas são representações simplificadas para fins educacionais.
- Vaswani, A. et al. Attention Is All You Need. NeurIPS, 2017. https://arxiv.org/abs/1706.03762
- Google Research Blog. Transformer: A Novel Neural Network Architecture for Language Understanding, 2017. research.google/blog/transformer-a-novel-neural-network-architecture-for-language-understanding
- Stanford CS224N. Self-Attention and Transformers, lecture materials. web.stanford.edu/class/archive/cs/cs224n/...
- Harvard NLP. The Annotated Transformer, 2018. https://nlp.seas.harvard.edu/annotated-transformer/
- Devlin, J. et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018/2019. https://arxiv.org/abs/1810.04805
- Dosovitskiy, A. et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, ICLR 2021. https://arxiv.org/abs/2010.11929
- Jumper, J. et al. Highly accurate protein structure prediction with AlphaFold. Nature, 2021. https://www.nature.com/articles/s41586-021-03819-2
- Zhou, H. et al. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. AAAI, 2021. https://ojs.aaai.org/index.php/AAAI/article/view/17325
- DeepLearning.AI. Attention in Transformers: Concepts and Code in PyTorch. deeplearning.ai/short-courses/attention-in-transformers-concepts-and-code-in-pytorch