3.4 - Transformers

A Revolução dos Transformers e o Mecanismo de Atenção

Nesta artigo, exploramos a transição das arquiteturas sequenciais, como as Redes Neurais Recorrentes (RNNs), para a revolucionária arquitetura Transformer, que é a base para a maioria dos Grandes Modelos de Linguagem (LLMs) modernos.

As Limitações das Arquiteturas Anteriores

As RNNs, incluindo suas variantes mais sofisticadas como LSTM (Long Short-Term Memory) e GRU (Gated Recurrent Unit), foram fundamentais para o processamento de sequências, mas possuíam duas barreiras significativas:

1. Dificuldade com Dependências de Longo Prazo: Em textos extensos, a informação contextual do início da sequência tendia a se “perder” ou “desvanecer” (problema do desaparecimento do gradiente), dificultando que o modelo fizesse conexões entre palavras distantes.

2. Processamento Sequencial: A necessidade de processar a informação token por token impedia a paralelização do treinamento. Isso tornava o processo extremamente lento e computacionalmente caro para os enormes volumes de dados necessários para treinar modelos de ponta.

O Ponto de Ruptura: O Mecanismo de Atenção

O conceito de Atenção (Attention) foi a solução para superar essas barreiras. A ideia central é permitir que o modelo pondere a importância de diferentes palavras na sequência de entrada ao processar cada palavra individualmente.

Autoatenção (Self-Attention)

A inovação chave da arquitetura Transformer é a autoatenção. Este mecanismo permite que cada palavra em uma sentença “preste atenção” a todas as outras palavras na mesma sentença, calculando um “score de atenção” que determina o quão relevante cada palavra é para o contexto da outra.

Exemplo Didático: Imagine a frase: O robô pegou a bola e a arremessou.

Quando o modelo processa a palavra “arremessou”, a autoatenção permite que ele identifique que o pronome “a” se refere à “bola” e não ao “robô”. Ele faz isso criando uma forte conexão de atenção entre “arremessou”, “a” e “bola”.

Snippet de código

graph TD
    subgraph "Análise da palavra 'arremessou'"
        A[O] --> F((arremessou));
        B[robô] --> F;
        C[pegou] --> F;
        D[a] -- "Atenção Alta" --> F;
        E[bola] -- "Atenção Alta" --> F;
    end

A Arquitetura Transformer

A arquitetura Transformer, apresentada no artigo “Attention Is All You Need”, abandona a recorrência e se baseia quase inteiramente no mecanismo de atenção. Seus componentes principais são:

1. Camadas de Autoatenção (Multi-Head Attention): Onde o modelo aprende as relações contextuais entre as palavras da sequência.

2. Camadas Feedforward: Redes neurais simples que processam a saída da camada de atenção, adicionando complexidade e capacidade de aprendizado.

3. Codificação Posicional (Positional Encoding): Como a arquitetura processa todos os tokens de uma vez, ela não tem uma noção da ordem das palavras. O Positional Encoding é um vetor adicionado à representação de cada palavra para fornecer informação sobre sua posição na sequência.

O empilhamento desses blocos (Atenção + Feedforward) permite ao modelo construir representações cada vez mais ricas e profundas do texto.

A grande vantagem é que, por não depender do processamento da palavra anterior para entender a atual, o cálculo de atenção para todas as palavras pode ser feito em paralelo, acelerando drasticamente o treinamento e permitindo a criação de modelos gigantescos.

Perguntas e Respostas para Aprofundamento

1. Quais eram os dois principais problemas das RNNs que a arquitetura Transformer resolveu?

   • Gabarito: Os dois principais problemas eram: 1) A dificuldade em capturar dependências contextuais de longo prazo em sequências longas, devido ao problema do desaparecimento do gradiente. 2) A natureza inerentemente sequencial do seu processamento, que impedia a paralelização e tornava o treinamento lento e ineficiente para grandes datasets.

2. Explique, de forma intuitiva, como o mecanismo de autoatenção (self-attention) funciona.

   • Gabarito: O mecanismo de autoatenção funciona como um sistema de relevância. Para cada palavra em uma frase, ele atribui uma pontuação (ou peso) a todas as outras palavras na mesma frase. Essa pontuação indica o quão importante cada palavra é para entender o significado e o contexto da palavra que está sendo analisada. Isso permite que o modelo crie conexões diretas entre palavras distantes, mas semanticamente relacionadas.

3. Por que o “Positional Encoding” é necessário na arquitetura Transformer?

   • Gabarito: A arquitetura Transformer processa todos os tokens de uma sequência simultaneamente, em vez de um por um. Por causa dessa natureza paralela, ela não possui uma noção inerente da ordem das palavras. O Positional Encoding é um vetor de informação que é adicionado à representação de cada token para informar ao modelo sua posição exata na sequência, preservando assim a informação crucial da ordem das palavras.

4. Qual é a função da camada feedforward dentro de um bloco do Transformer?

   • Gabarito: Após a camada de autoatenção calcular as relações contextuais e gerar uma representação ponderada dos tokens, a camada feedforward serve para processar essa representação de forma mais profunda. É uma rede neural padrão que é aplicada independentemente a cada posição, adicionando transformações não-lineares que aumentam a capacidade do modelo de aprender padrões mais complexos a partir da informação contextual fornecida pela atenção.

5. Como a arquitetura Transformer possibilitou a criação de modelos muito maiores, como o GPT-3?

   • Gabarito: A principal vantagem do Transformer é a sua alta capacidade de paralelização. Ao eliminar a necessidade de processamento sequencial das RNNs, o treinamento pode ser distribuído por um grande número de processadores (GPUs/TPUs) que trabalham em diferentes partes dos dados simultaneamente. Isso reduziu drasticamente o tempo necessário para o treinamento, tornando computacionalmente viável treinar modelos com centenas de bilhões de parâmetros em datasets massivos, o que era impraticável com as arquiteturas anteriores.

Materiais Extras para Aprofundamento

1. Artigo Original: “Attention Is All You Need” (Vaswani et al., 2017)

   • Resumo: Este é o artigo seminal que introduziu a arquitetura Transformer. É uma leitura técnica, mas fundamental, que detalha o funcionamento da autoatenção, da atenção multi-cabeça (multi-head attention) e da arquitetura encoder-decoder.

   • Link: https://arxiv.org/abs/1706.03762

2. Blog Post: “The Illustrated Transformer” por Jay Alammar

   • Resumo: Um dos melhores recursos visuais para entender o Transformer. O autor utiliza diagramas e explicações passo a passo para desmistificar o fluxo de dados dentro da arquitetura, tornando conceitos complexos, como os vetores Query, Key e Value, muito mais acessíveis.

   • Link: http://jalammar.github.io/illustrated-transformer/

3. Vídeo: “Attention and Transformers” por Chris McCormick

   • Resumo: Uma série de vídeos que aborda os conceitos por trás do mecanismo de atenção e da arquitetura Transformer de uma maneira muito didática. Ideal para quem prefere um formato audiovisual para aprender os detalhes matemáticos e conceituais.

   • Link: https://www.youtube.com/watch?v=TQQlZhbC5ps