Cristian Araujo

3.14 - Fine Tuning Supervisionado (SFT)

6 min read

1. ⚡ Resumo Expandido

A aula abordou o Supervised Fine-Tuning (SFT), uma etapa crítica no ciclo de vida de desenvolvimento de LLMs, que ocorre após o pré-treinamento e (geralmente) antes do alinhamento via RLHF/DPO. O professor utilizou a analogia de que o pré-treinamento ensina o modelo a “falar o idioma” (lógica, gramática, conhecimento de mundo), enquanto o Fine-Tuning ensina uma profissão específica (ex: atendente hospitalar, programador Python ou analista jurídico).

Diferente da Engenharia de Prompt ou RAG, que atuam no contexto (in-context learning), o SFT altera permanentemente os pesos (weights) da rede neural para especializá-la em uma tarefa ou estilo. A aula destacou a necessidade de datasets rotulados de alta qualidade (pares de entrada/saída) e mencionou técnicas de eficiência como LoRA (Low-Rank Adaptation) para reduzir custos computacionais.

Contexto de Mercado (SOTA): Atualmente, o SFT é a espinha dorsal de modelos como o Llama 3-Instruct ou o GPT-4o. A tendência de mercado move-se para o “Instruction Tuning” massivo, onde a qualidade dos dados (curadoria humana ou sintética via modelos maiores) supera a quantidade, conforme demonstrado no paper LIMA: Less Is More for Alignment.

2. 🔍 Deep Dive: Conceitos & Teoria

Supervised Fine-Tuning (SFT)

  • Na Aula: O professor definiu como o processo de treinar um modelo pré-existente em um dataset menor e específico, onde temos a “resposta correta” (rótulo). O objetivo é nichar o conhecimento, como ensinar um modelo a responder dúvidas médicas ou escrever código no padrão de uma empresa.

  • Deep Dive (Pesquisa): Tecnicamente, o SFT maximiza a verossimilhança da resposta desejada dado o prompt. É a transição de um modelo Base (que apenas completa texto) para um modelo Instruct/Chat.

    • Origem Acadêmica: O conceito ganhou tração massiva com o paper “Finetuned Language Models Are Zero-Shot Learners” (Wei et al., 2021) e foi solidificado pelo InstructGPT (Ouyang et al., 2022), que provou que 1.3B parâmetros com SFT podiam superar 175B sem SFT em preferência humana.

Overfitting e Catastrophic Forgetting

  • Na Aula: Foi alertado que se o dataset for pequeno ou repetitivo, o modelo “decora” as respostas (overfitting). Também pode ocorrer a perda de conhecimentos gerais.

  • Deep Dive (Pesquisa):

    • Overfitting: O modelo perde a capacidade de generalização. Em LLMs, isso se manifesta quando o modelo começa a repetir frases do treino verbatim.

    • Catastrophic Forgetting: Ao otimizar os pesos para a tarefa B (ex: medicina), os pesos ótimos para a tarefa A (ex: programação) são destruídos.

    • Solução SOTA: Técnicas como Replay Buffers (misturar dados originais no treino) ou PEFT (congelar o modelo base) mitigam isso drasticamente.

PEFT (Parameter-Efficient Fine-Tuning) e LoRA

  • Na Aula: Mencionado nos slides e no áudio como formas de reduzir o custo computacional e atualizar o modelo sem precisar re-treinar tudo.

  • Deep Dive (Pesquisa):

    • Definição: Em vez de atualizar todos os 70 bilhões de parâmetros de um modelo (Full Fine-Tuning), o LoRA (Hu et al., 2021) congela os pesos do modelo pré-treinado e injeta matrizes de decomposição de baixo posto (low-rank decomposition matrices) treináveis em cada camada do Transformer.

    • Impacto: Permite treinar modelos enormes em GPUs de consumo (como uma RTX 3090 ou 4090), reduzindo o uso de VRAM em até 70% quando combinado com quantização (QLoRA - Dettmers et al., 2023).

3. 🛠️ Engenharia: Arquiteturas e Agentes

A aplicação do SFT é fundamental para a construção de Agentes Especialistas, conforme discutido no livro Agentic Design Patterns .

  • Padrão: Agente Especialista (Specialist Agent)

    • Funcionamento: Um modelo base (ex: Llama 3 8B) sofre SFT em um corpus de dados proprietários (ex: logs de suporte técnico da empresa) para se tornar um agente de triagem.

    • Exemplo da Aula: O “Chatbot Médico” que sabe diagnosticar pré-triagem, mas não precisa saber física quântica.

    • Engenharia SOTA:

      • Dataset Format: Uso de templates de chat padronizados (ex: ChatML, Alpaca).

      • Pipeline: Raw Data → Cleaning/De-duplication → Tokenization → Trainer (Hugging Face TRL) → LoRA Adapters → Merge.

      • Ferramentas:

        • Unsloth: Biblioteca atual que acelera o treino de LoRA em 2-5x e reduz o uso de memória (padrão ouro para SFT local hoje).

        • Axolotl: Framework YAML-based para orquestrar fine-tuning complexo.

  • Padrão: Aprendizado e Adaptação (Capítulo 9 do Livro)

    • Referência Cruzada: O livro menciona no Capítulo 9 que agentes podem usar SFT para “aprender” com interações passadas, criando uma versão mais robusta de si mesmos (Self-Improving Agents).

4. 📚 Bibliografia Estendida e Referências (Pesquisa)

Para aprofundamento técnico além do material do curso:

  • Paper Fundamental (LoRA): Hu, E. J., et al. (2021). “LoRA: Low-Rank Adaptation of Large Language Models.” - arXiv:2106.09685. Explica a matemática que viabilizou o fine-tuning barato.

  • Paper sobre Qualidade de Dados (LIMA): Zhou, C., et al. (2023). “LIMA: Less Is More for Alignment.” - Demonstra que 1.000 exemplos de alta qualidade superam 50.000 exemplos de baixa qualidade no SFT.

  • Ferramenta Recomendada (Unsloth): GitHub - unslothai/unsloth. Ferramenta essencial para engenheiros que querem fazer SFT de Llama-3, Mistral e Gemma de forma rápida e gratuita.

  • Artigo de Engenharia: Hugging Face Blog - “Fine-Tune Llama 2 with PEFT and QLoRA”. Um guia prático passo a passo.

5. ⚠️ Pontos de Atenção e Trade-offs

  1. Qualidade > Quantidade: O professor alertou sobre dados repetitivos . A pesquisa confirma: dados “sujos” no SFT causam alucinações graves. É melhor ter 500 exemplos curados manualmente por especialistas do que 10.000 gerados automaticamente sem revisão.

  2. Custo de Manutenção: Modelos com fine-tuning requerem re-treino periódico para atualização de conhecimento (ao contrário do RAG, onde basta atualizar o banco de dados).

  3. Viés (Bias): O modelo vai amplificar qualquer viés presente no dataset de fine-tuning. Se os dados de atendimento ao cliente forem rudes, o agente será rude.

  4. Prompt Engineering vs. SFT: Não use SFT se você pode resolver com Prompt Engineering. SFT é para quando o comportamento, formato ou estilo não podem ser descritos eficientemente no prompt, ou para reduzir a latência/custo de prompts muito longos (Few-Shot).

6. 📝 Quiz Prático

  1. Qual a principal diferença entre o conhecimento adquirido no Pré-treinamento e no Fine-Tuning Supervisionado?

    • R: Pré-treinamento ensina conhecimentos gerais e a estrutura da linguagem. Fine-tuning especializa o modelo em uma tarefa ou formato específico de resposta.

  2. Por que o uso de técnicas como LoRA é preferível ao Full Fine-Tuning em muitos cenários corporativos?

    • R: LoRA reduz drasticamente o custo computacional e de memória (VRAM) ao treinar apenas matrizes pequenas de adaptação, mantendo o desempenho próximo ao do treino completo e evitando o esquecimento catastrófico.

  3. O que é “Overfitting” no contexto de Fine-Tuning de um LLM?

    • R: É quando o modelo “decora” os exemplos de treinamento e perde a capacidade de generalizar para novos inputs, respondendo apenas com frases exatas que viu nos dados de treino.

  4. (Desafio SOTA): De acordo com o paper LIMA (Less Is More for Alignment), qual é o fator mais determinante para o sucesso do SFT: a quantidade massiva de dados (milhões de linhas) ou a diversidade e qualidade dos prompts?

    • R: A diversidade e qualidade. O paper demonstra que um modelo pode atingir performance de estado da arte com apenas 1.000 exemplos cuidadosamente curados, sugerindo que o SFT serve mais para “desbloquear” capacidades já aprendidas no pré-treino do que para ensinar novos fatos.

Recent Notes

Graph View