Cristian Araujo

8 - Explorando Soluções e Fundamentos de Prompt Engineering

7 min read

1. ⚡ Resumo Expandido

A aula marca a transição da teoria arquitetural (como funcionam os Transformers) para a engenharia aplicada. O professor destaca que, no mercado atual, transformar Modelos de Linguagem Grande (LLMs) em soluções de negócio baseia-se em três pilares: Prompt Engineering, RAG (Retrieval-Augmented Generation) e Fine-Tuning.

O foco central desta etapa é a Engenharia de Prompts, apresentada não como mera “escrita de textos”, mas como a arte de fornecer instruções determinísticas para um motor probabilístico. O professor enfatiza que dominar prompts é a forma mais barata e rápida de controlar o comportamento da IA, garantindo eficiência sem re-treinamento, aumento de precisão, economia de tokens (e consequentemente custos financeiros) e testabilidade.

Perspectiva de Mercado (SOTA): Hoje, a indústria deixou de ver o “Prompt Engineering” apenas como uma habilidade de digitação e passou a encará-lo como Engenharia de Contexto (Context Engineering). Empresas como Netflix e Uber não escrevem prompts manualmente em produção; elas utilizam pipelines automatizados, frameworks de roteamento e otimizadores de prompt baseados em algoritmos genéticos ou LLM-as-a-judge para encontrar a instrução matematicamente mais eficiente.

2. 🔍 Deep Dive: Conceitos & Teoria

  • Engenharia de Prompts (Prompt Engineering):

    • Na Aula: O professor define como a criação de instruções textuais específicas para nichar e controlar a saída do LLM. Ele destaca que prompts genéricos geram respostas inúteis ou caras, enquanto prompts estruturados (ex: “em até cinco linhas, linguagem jornalística, sobre o El Niño”) geram alto valor e economizam tokens de saída.

    • Deep Dive (Pesquisa): Mais do que texto, o Prompting é a interface de programação da nova era. A pesquisa “A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT” (White et al., 2023) mapeia padrões de design de software para LLMs. Em engenharia de software moderna, prompts são tratados como código: são versionados (Prompt CMS), testados (A/B testing) e modularizados (separando System Prompt, Context e User Input).

  • Zero-Shot & Few-Shot Prompting (Mencionado nos Slides):

    • Na Aula: Zero-shot é a instrução direta sem exemplos. Few-shot envolve passar exemplos (input/output) antes da pergunta real para guiar o formato da resposta.

    • Deep Dive (Pesquisa): A técnica de Few-Shot baseia-se no conceito de In-Context Learning (ICL), popularizado pelo artigo fundador do GPT-3 “Language Models are Few-Shot Learners” (Brown et al., 2020). Diferente do Fine-tuning, o ICL não altera os pesos (weights) do modelo. Ele usa a camada de Atenção (Self-Attention) para criar mapeamentos temporários dentro da Context Window, permitindo que o modelo “aprenda” o padrão dinamicamente em tempo de inferência.

  • Chain-of-Thought (CoT) (Mencionado nos Slides):

    • Na Aula: Induz o modelo a explicar seu raciocínio passo a passo antes de dar a resposta final.

    • Deep Dive (Pesquisa): Introduzido pelo Google Brain no paper “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” (Wei et al., 2022). Ao pedir ao modelo para “pensar passo a passo”, você está literalmente forçando o LLM a gastar mais tokens de raciocínio (compute). Como os LLMs preveem o próximo token, gerar a lógica antes da resposta altera a probabilidade do token final, reduzindo drasticamente as alucinações lógicas e sendo a base para Agentes Autônomos (como o framework ReAct).

💡 Nota do Pesquisador: O professor mencionou que “fazer a mesma pergunta 10 vezes gera 10 respostas diferentes”. Em engenharia de software de produção, mitigamos esse comportamento não-determinístico alterando o hiperparâmetro de Temperatura (Temperature) para 0 ou próximo de 0 (Greedy Decoding), forçando o modelo a escolher sempre o token com a maior probabilidade, garantindo maior consistência em tarefas lógicas e de extração.

3. 🛠️ Engenharia: Arquiteturas e Agentes

  • Padrão/Framework: Structured Outputs & Pydantic

    • Funcionamento: Para que sistemas de software tradicionais conversem com LLMs, a resposta não pode ser texto livre; ela precisa ser um objeto de dados (JSON/XML).

    • Exemplo da Aula: O professor foca em controlar o estilo da resposta (ex: “até 5 linhas”).

    • Referência Externa: Na prática de engenharia, usamos bibliotecas como o LangChain (PydanticOutputParser) ou a OpenAI Structured Outputs API. Você passa um esquema de dados (Schema) no prompt, forçando o LLM a retornar um JSON estrito. Isso é vital para criar fluxos onde a IA alimenta um banco de dados relacional (ex: extrair dados de uma fatura para o sistema da empresa).

  • Padrão/Framework: DSPy (Demonstrate-Search-Predict)

    • Funcionamento: O professor ressaltou como é difícil iterar e achar o prompt “perfeito”. O DSPy é um framework desenvolvido por Stanford que substitui o “tentativa e erro” manual do prompt engineering por compilação. Você define a métrica de sucesso, e o algoritmo testa milhares de prompts automaticamente, alterando instruções e exemplos (Few-shot) até maximizar a performance matemática do modelo.

    • Referência Externa: DSPy Framework (Stanford NLP).

4. 📚 Bibliografia Estendida e Referências (Pesquisa)

  • Papers Recomendados:

    • Language Models are Few-Shot Learners (Brown et al., 2020): Leitura obrigatória para entender por que não precisamos treinar modelos do zero para cada nova tarefa.

    • ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al., 2022): Evolução direta do Chain-of-Thought para a criação de Agentes que interagem com o mundo real (APIs, Wikipedia).

  • Artigos/Blogs de Engenharia:

  • Ferramentas Relacionadas:

    • LangSmith / Phoenix (Arize AI): Plataformas de LLMOps (Observabilidade). Permitem rastrear exatamente quantos tokens um prompt consumiu, o custo financeiro exato e onde a cadeia de agentes falhou.

5. ⚠️ Pontos de Atenção e Trade-offs

  1. Custo de Tokens (Input vs. Output): O professor alertou que prompts genéricos geram respostas longas e inúteis, gastando muito dinheiro com tokens de saída (que são mais caros). Contudo, é importante o trade-off de engenharia: técnicas avançadas como Few-Shot ou Chain-of-Thought aumentam drasticamente os tokens de entrada (Contexto). Você deve calcular o ROI (Retorno sobre Investimento) da precisão contra o custo da API.

  2. Manutenção de Prompts (Drift): Prompts que funcionam bem no GPT-4 Turbo podem quebrar no GPT-4o ou no Gemini 1.5 Pro. A engenharia de software não deve acoplar a lógica de negócios diretamente à semântica de um prompt específico sem uma suíte de testes de regressão automatizada (Evals).

6. 📝 Quiz Prático

  1. [Aula] Qual é a principal vantagem operacional e financeira apontada pelo professor ao usar Engenharia de Prompts em vez de realizar o Fine-Tuning de um modelo?

  2. [Aula] Além de garantir maior precisão e personalização (nichar a resposta), qual métrica de custo em APIs (como as da OpenAI) é diretamente reduzida ao fazermos perguntas bem estruturadas em vez de perguntas abertas/genéricas?

  3. [Slides] Qual técnica de prompt induz a Inteligência Artificial a destrinchar o seu processo mental em várias etapas antes de entregar o resultado final?

  4. [Desafio SOTA/Pesquisa] Ao utilizar o Few-Shot Prompting (fornecer exemplos no prompt), o modelo aprende a formatar a resposta corretamente. Esse fenômeno é conhecido como In-Context Learning (ICL). Do ponto de vista da arquitetura de Redes Neurais, por que o ICL é diferente de um treinamento supervisionado (Fine-Tuning) tradicional em relação à estrutura física do modelo?

Gabarito:

  1. A principal vantagem é a eficiência sem re-treinamento. A Engenharia de Prompts permite moldar o comportamento do modelo de forma rápida e barata, eliminando o alto custo computacional, de tempo e de dados associado a re-treinar a arquitetura ou fazer um fine-tuning.

  2. A economia de tokens. Prompts estruturados impedem que a IA gere respostas longas, abertas ou genéricas, poupando significativamente o consumo de tokens de saída, que são o fator gerador de custos nas APIs de LLMs.

  3. Técnica de processo mental: Chain-of-Thought (CoT). Essa técnica induz a IA a explicar a sua lógica e raciocínio passo a passo antes de entregar a resposta final.

  4. A diferença central está na estrutura da rede neural. No Fine-Tuning, ocorre uma alteração física e permanente nos pesos (weights) do modelo por meio de um novo treinamento matemático. Já no In-Context Learning (usado no Few-Shot), os pesos não mudam. O LLM apenas utiliza o mecanismo de Atenção (Self-Attention) sobre a sua Context Window para encontrar o padrão na hora de gerar a resposta.

Recent Notes

Graph View