3.22 - Geração de Respostas e Parâmetros de Inferência

1. ⚡ Resumo Expandido

Nesta aula, o foco mudou da teoria arquitetural (história da IA, Transformers) para a engenharia de inferência. O professor estabeleceu os objetivos do próximo módulo: deixar de ser apenas um usuário de LLMs para se tornar um engenheiro capaz de “tunar o motor” do modelo.

Foi explicado que a geração de respostas não é mágica, mas um processo probabilístico de predição de tokens (Next Token Prediction). A aula cobriu a importância da Tokenização (como o modelo “vê” o texto e como isso impacta custos e interpretação) e introduziu os hiperparâmetros de inferência — especificamente Temperatura, Top-k e Top-p — como as alavancas principais para controlar o determinismo, a criatividade e a “alucinação” do modelo. O professor também conectou esses conceitos técnicos à aplicação prática no dia a dia, como geração de código (que exige precisão) versus escrita criativa (que exige variabilidade), preparando o terreno para o uso de ferramentas como o OpenAI Tokenizer.

2. 🔍 Deep Dive: Conceitos & Teoria

Tokenização (Tokenization)

• Na Aula: O professor explicou que o modelo não lê palavras inteiras, mas “pedaços” (tokens). Entender como as palavras são quebradas é crucial para entender como o modelo “pensa” e como o custo é calculado.

• Deep Dive (Pesquisa & Slides):

  • Definição Técnica: Processo de converter texto em uma sequência de inteiros. A maioria dos LLMs modernos (GPT-4, Llama 3, Gemini) utiliza uma variante do algoritmo BPE (Byte-Pair Encoding).

  • Estado da Arte: O BPE equilibra o tamanho do vocabulário e o comprimento da sequência. Palavras comuns tornam-se um token único; palavras raras são decompostas em sub-words.

  • Nota do Pesquisador: Uma tokenização ineficiente pode prejudicar o desempenho do modelo em línguas com morfologia rica (como português) ou em tarefas matemáticas (ex: quebrar números errados pode impedir cálculos corretos).

Inferência Probabilística (Next Token Prediction)

• Na Aula: O modelo prevê o próximo token baseado em probabilidade. Ele não tem “certeza”, ele tem uma distribuição estatística do que vem a seguir.

• Deep Dive (Pesquisa):

  • Conceito: Formalmente, um LLM Autoregressivo modela a probabilidade $P(w_t|w_{1:t-1})$.

  • Mecanismo: A última camada do Transformer produz logits (scores não normalizados). Uma função Softmax converte esses logits em probabilidades que somam 1.0 (100%). É sobre essa distribuição que os parâmetros de temperatura e amostragem atuam.

Alucinação (Hallucination)

• Na Aula: Citada como uma armadilha a ser evitada ajustando parâmetros e contexto. Ocorre quando o modelo inventa informações de forma convincente.

• Deep Dive (Livro “Agentic Design Patterns”):

  • A alucinação é inerente à natureza probabilística dos LLMs (eles priorizam plausibilidade sobre a verdade).

  • Mitigação: O livro sugere padrões como RAG (Retrieval-Augmented Generation) (Capítulo 14) para aterrar o modelo em dados factuais e Reflection (Capítulo 4) para que o agente critique sua própria saída antes de entregá-la ao usuário.

3. 🛠️ Engenharia: Controle de Geração (Hiperparâmetros)

O controle da saída do LLM é feito através de estratégias de amostragem (sampling strategies) aplicadas sobre a camada Softmax.

Temperatura (Temperature)

• Funcionamento: Um escalar que divide os logits antes da Softmax.

  • $T<1$: “Afia” a distribuição. A probabilidade do token mais provável aumenta. O modelo torna-se mais determinístico e repetitivo. Ideal para Geração de Código ou respostas factuais.

  • $T>1$: “Achata” a distribuição. Tokens menos prováveis ganham chance de serem escolhidos. Aumenta a “criatividade” e a diversidade, mas também o risco de alucinação e erros de sintaxe.

• Exemplo da Aula: Usar temperaturas baixas para tarefas técnicas e altas para brainstorming.

Top-k Sampling

• Funcionamento: O modelo considera apenas os K tokens com maior probabilidade e redistribui a massa de probabilidade entre eles, zerando o resto.

• Exemplo: Se $k=50$, o modelo nunca escolherá a 51ª palavra mais provável, mesmo que ela faça sentido no contexto. Isso corta a “cauda longa” de palavras absurdas.

Top-p (Nucleus Sampling)

• Funcionamento: Em vez de um número fixo $k$, o modelo seleciona o menor conjunto de tokens cuja probabilidade acumulada atinge um limiar $p$ (ex: 0.90 ou 90%).

• Diferencial: É mais dinâmico que o Top-k. Se o modelo está muito confiante (“O céu é…”), o conjunto Top-p será pequeno (talvez apenas “azul”). Se o modelo está incerto, o conjunto se expande, permitindo mais variedade.

• Referência Externa: Introduzido no paper “The Curious Case of Neural Text Degeneration” (Holtzman et al., 2019) como uma solução superior ao Top-k para gerar textos mais humanos.

4. 📚 Bibliografia Estendida e Referências (Pesquisa)

• Papers Recomendados:

  • Holtzman et al. (2019): “The Curious Case of Neural Text Degeneration”. (Leitura obrigatória para entender por que usamos Top-p em vez de apenas Maximization Search).

  • Vaswani et al. (2017): “Attention Is All You Need”. (A base de tudo, citado nos slides para entender a arquitetura Transformer).

• Ferramentas Relacionadas:

  • OpenAI Tokenizer: Ferramenta visual citada na aula para entender como textos viram tokens.

  • Tiktoken (Python Lib): Biblioteca da OpenAI para contar tokens programaticamente em aplicações.

  • LangChain / Semantic Kernel: Frameworks que abstraem o ajuste desses parâmetros (Temperatura, Top-p) ao instanciar modelos.

• Referência Cruzada (Livro):

  • Consulte o Capítulo 16: Resource-Aware Optimization do livro Agentic Design Patterns. Ele discute como escolher modelos mais baratos (como Gemini Flash) versus modelos mais robustos (Gemini Pro) dependendo da complexidade do prompt, o que está diretamente ligado ao custo de tokenização discutido na aula.

5. ⚠️ Pontos de Atenção e Trade-offs

1. A Ilusão do Determinismo: O professor alerta que mesmo com Temperatura 0, alguns modelos podem não ser 100% determinísticos devido a otimizações de hardware (GPU floating point non-determinism).

2. Custo vs. Contexto: Tokens custam dinheiro. O áudio menciona entender a tokenização para otimizar custos. Uma tokenização ruim em outras línguas pode inflar o uso de tokens e, consequentemente, a conta no final do mês.

3. Trade-off Criatividade vs. Alucinação: Aumentar a temperatura torna o bot mais “interessante”, mas aumenta exponencialmente a chance de ele inventar fatos. Em ambientes corporativos (ex: RAG para documentos jurídicos), a recomendação de mercado é manter a temperatura próxima de zero.

6. 📝 Quiz Prático

Q1: Se você está construindo um Agente de IA para gerar código SQL a partir de perguntas em linguagem natural, qual configuração de temperatura é a mais recomendada?

a) Alta (ex: 0.9) para explorar diferentes formas de escrever a query.

b) Baixa (ex: 0.1 ou 0) para garantir a sintaxe correta e consistência.

c) Média (0.5) para balancear criatividade e precisão.

Q2: Qual a principal diferença entre Top-k e Top-p (Nucleus Sampling)?

a) Top-k corta baseada em uma probabilidade acumulada; Top-p corta um número fixo de palavras.

b) Top-k corta um número fixo de palavras mais prováveis; Top-p corta baseada na probabilidade acumulada, adaptando-se à incerteza do modelo.

c) Não há diferença prática, ambos fazem a mesma coisa.

Q3: Segundo a aula, por que é importante entender a “Tokenização” além do aspecto técnico de processamento?

a) Para saber ensinar o modelo a ler em voz alta.

b) Para entender como as palavras são quebradas, o que impacta diretamente na contagem de custos e no limite da janela de contexto.

c) Para traduzir o texto para binário manualmente.

🔥 Pergunta Desafio (Contexto Externo):

No livro Agentic Design Patterns, o “Capítulo 4: Reflection” sugere que o agente critique sua própria saída. Se você estiver usando um padrão de Reflexão (onde o modelo gera um rascunho e depois o critica), como você deveria ajustar a temperatura para a etapa de Geração do Rascunho versus a etapa de Crítica?

Dica: Pense se você quer diversidade de ideias no rascunho versus rigor na análise.

---

Gabarito:

Q1: b

Q2: b

Q3: b

Desafio: Geralmente, usa-se uma temperatura levemente mais alta (0.7) para a geração do rascunho (criatividade/diversidade) e uma temperatura baixa (0.0-0.2) para a crítica (rigor/análise lógica).