Cristian Araujo

3.16 - Otimização e Eficiência em LLMs (PEFT, Quantização e MoE)

7 min read

1. ⚡ Resumo Expandido

Esta aula focou em estratégias de engenharia para viabilizar o uso e o treinamento (Fine-Tuning) de Grandes Modelos de Linguagem (LLMs) em cenários com restrições de recursos computacionais e financeiros. O professor detalhou a transição do paradigma de “treinar tudo” para o Parameter-Efficient Fine-Tuning (PEFT).

Foram apresentadas quatro técnicas principais:

  1. LoRA (Low-Rank Adaptation): A técnica mais popular atualmente, que congela os pesos originais e treina apenas matrizes pequenas de adaptação.

  2. Quantização (INT8/INT4): A redução da precisão numérica dos pesos (de 16/32 bits para 4 ou 8 bits) para diminuir o uso de memória (VRAM) e acelerar a inferência, com perdas controladas de qualidade.

  3. Mixture of Experts (MoE): Uma arquitetura onde o modelo é dividido em sub-redes (“experts”) e um roteador decide qual usar, permitindo modelos com trilhões de parâmetros que ativam apenas uma fração deles por token.

  4. Prompt Tuning / Prefix Tuning: Métodos que otimizam “soft prompts” (vetores contínuos) em vez de mexer nos pesos do modelo, atuando como uma “instrução aprendida” anexada ao input.

Contexto de Mercado (SOTA): A combinação dessas técnicas (ex: QLoRA - Quantized LoRA) é o padrão da indústria hoje para rodar modelos como Llama-3 70B em hardware de consumo ou servidores de borda (Edge AI).

2. 🔍 Deep Dive: Conceitos & Teoria

LoRA (Low-Rank Adaptation)

  • Na Aula: Descrito como uma técnica que congela os pesos originais e adiciona camadas leves (“Low Rank”) que são as únicas treinadas. O professor usou a analogia de não precisar reter todo o conhecimento (re-treinar o cérebro inteiro), mas apenas adicionar uma especialização.

  • Deep Dive (Pesquisa):

    • Definição Técnica: O LoRA decompõe a atualização da matriz de pesos em duas matrizes menores de baixo posto e (). Isso reduz os parâmetros treináveis em até 10.000x.

    • Origem: Hu et al. (Microsoft, 2021) - “LoRA: Low-Rank Adaptation of Large Language Models”.

    • Evolução: Hoje temos o DoRA (Weight-Decomposed Low-Rank Adaptation), que melhora a estabilidade do aprendizado separando magnitude e direção dos pesos.

Quantização (INT4 / INT8)

  • Na Aula: O professor explicou como “zipar” o modelo, reduzindo o tamanho (ex: de 13GB para 4GB) para caber na GPU ou CPU, transformando “Ponto Flutuante” em inteiros menores.

  • Deep Dive (Pesquisa):

    • Conceito: Envolve mapear valores de alta precisão (FP16/BF16) para um espaço discreto menor (INT4).

    • SOTA: QLoRA (Dettmers et al., 2023) introduziu o tipo de dado 4-bit NormalFloat (NF4), otimizado para a distribuição normal de pesos de redes neurais, permitindo finetuning de modelos de 65B parâmetros em uma única GPU de 48GB.

    • Ferramentas: llama.cpp popularizou o formato GGUF, permitindo inferência eficiente em CPUs (Apple Silicon, Intel) usando quantização agressiva.

Mixture of Experts (MoE)

  • Na Aula: Explicado como “modularizar” o modelo em experts (especialistas), onde um roteador decide qual parte da rede ativar.

  • Deep Dive (Pesquisa):

    • Definição: MoE utiliza “Ativação Esparsa”. Um modelo pode ter 100B de parâmetros totais, mas usa apenas 10B por token (Active Parameters).

    • Exemplo de Mercado: O Mixtral 8x7B (Mistral AI) e o DeepSeek-V3 são os exemplos mais famosos. O GPT-4 também é amplamente especulado como sendo um MoE (diz-se 8 experts de ~220B cada).

    • Desafio: Embora a inferência seja rápida, o modelo inteiro precisa ser carregado na VRAM, exigindo muita memória mesmo que o custo computacional seja baixo.

P-Tuning / Prefix-Tuning

  • Na Aula: O professor chamou de “P-Tuning” ou “Prefix Tuning”, descrevendo-o como inserir vetores de entrada que orientam o modelo sem alterar seus pesos, como um “sidecar”.

  • Deep Dive (Pesquisa):

    • Prefix-Tuning (Li & Liang, 2021): Adiciona vetores treináveis em todas as camadas do Transformer.

    • Prompt Tuning (Lester et al., 2021): Adiciona vetores treináveis apenas na camada de entrada (embedding layer). É mais simples, mas menos expressivo que o Prefix-Tuning ou LoRA.

    • Nota: Essas técnicas perderam popularidade para o LoRA, pois o LoRA oferece melhor performance e não consome espaço da janela de contexto (tokens).

3. 🛠️ Engenharia: Arquiteturas e Agentes

Como aplicar essas otimizações no desenvolvimento de Agentes:

  • Padrão: QLoRA Fine-Tuning Pipeline

    • Cenário: Criar um agente jurídico especializado (citado na aula como “Lhama Advogado”).

    • Stack Tecnológica:

      • Base Model: Llama-3-8B.

      • Lib: bitsandbytes (para carregar em 4-bit) + PEFT (para injetar adaptadores LoRA) + TRL (para o treino).

    • Vantagem: Permite que empresas treinem agentes locais em hardware gamer (RTX 3090/4090) em vez de clusters H100.

  • Padrão: Inferência na Borda (Edge AI)

    • Cenário: Agente rodando no notebook do desenvolvedor (mencionado como “LM Studio” ou “Ollama”).

    • Tecnologia: Uso de modelos formato GGUF (Quantização k-quants) rodando sobre llama.cpp.

    • Trade-off: Um modelo Q4_K_M (4-bit medium) perde pouquíssima inteligência comparado ao FP16, mas roda 4x mais rápido e usa 1/4 da RAM.

4. 📚 Bibliografia Estendida e Referências (Pesquisa)

  • Paper QLoRA: Dettmers, T., et al. (2023). “QLoRA: Efficient Finetuning of Quantized LLMs.” arXiv:2305.14314. O paper que democratizou o fine-tuning.

  • Paper Mixtral: Jiang, A. Q., et al. (2024). “Mixtral of Experts.” arXiv:2401.04088. Mostra como MoE supera modelos densos muito maiores.

  • Biblioteca Recomendada (AutoGPTQ/BitsAndBytes): Ferramentas essenciais para quantização.

  • Ferramenta de Mercado (Ollama): A forma mais fácil hoje de rodar modelos quantizados localmente (Linux/Mac/Windows), abstraindo a complexidade do llama.cpp.

5. ⚠️ Pontos de Atenção e Trade-offs

  1. Perda de Precisão na Quantização: O professor alertou que “fica pioradinho” . Pesquisas mostram que quantização abaixo de 4 bits (ex: 2-bit ou 3-bit) causa degradação severa na coerência do modelo (“perplexidade” aumenta drasticamente). O “Sweet Spot” atual é 4-bit (Q4) ou 5-bit (Q5).

  2. Complexidade do MoE: Treinar MoE do zero é notoriamente instável (balanceamento de carga entre experts). Para inferência, o problema é VRAM: você precisa de muita memória para carregar os experts, mesmo que o processamento seja rápido.

  3. Latência de Adaptadores: No uso de LoRA em produção, carregar múltiplos adaptadores dinamicamente (Multi-LoRA serving) pode introduzir latência se não for usado um servidor otimizado como vLLM ou LoRAX.

  4. Prompt Tuning vs. Context Window: Técnicas como P-Tuning ocupam espaço precioso na janela de contexto do modelo, o que é um problema se você precisa processar documentos longos.

6. 📝 Quiz Prático

  1. Qual a principal vantagem da técnica LoRA em comparação ao Fine-Tuning completo (Full Fine-Tuning)?

    • R: O LoRA treina apenas matrizes de baixo posto (adaptadores) injetadas no modelo, mantendo o modelo base congelado. Isso reduz drasticamente o uso de memória e armazenamento, permitindo treinar LLMs em hardware de consumo.

  2. Explique o conceito de “Sparsity” (Esparsidade) em modelos Mixture of Experts (MoE) como o Mixtral.

    • R: Esparsidade significa que, para cada token gerado, o modelo não utiliza todos os seus parâmetros. Ele ativa apenas um subconjunto de “experts” (redes neurais especializadas), tornando a inferência computacionalmente mais barata apesar do tamanho total do modelo ser grande.

  3. O que acontece com a qualidade do modelo quando aplicamos uma quantização agressiva (ex: INT4 ou Q4_K_M)?

    • R: Ocorre uma perda de precisão nas “contas” internas da rede neural. Embora técnicas modernas minimizem isso, pode haver uma degradação na capacidade de raciocínio complexo ou aumento de alucinações se a quantização for muito agressiva (abaixo de 4 bits).

  4. (Desafio SOTA): No contexto de P-Tuning vs. LoRA, por que o mercado de LLMs (Hugging Face, vLLM) tem preferido massivamente o LoRA para adaptação de modelos?

    • R: O LoRA não reduz o comprimento da sequência disponível (janela de contexto) como o P-Tuning faz (soft prompts ocupam tokens). Além disso, o LoRA demonstrou ser mais expressivo e capaz de igualar a performance do Full Fine-Tuning em tarefas complexas, enquanto P-Tuning muitas vezes atinge um platô de performance inferior.

Recent Notes

Graph View