Certificação em Advanced AI — Customização de LLMs Programa avançado e prático voltado à personalização, otimização e implementação de grandes modelos de linguagem. Ao longo do curso, os participantes aprenderão a adaptar LLMs para diferentes aplicações utilizando técnicas de fine-tuning, reasoning, quantization, distillation e Mixture of Experts — MoE, etc. As aulas combinarão fundamentos conceituais, demonstrações técnicas e projetos aplicados. Os participantes trabalharão com modelos reais, preparação de dados, avaliação de desempenho, redução de custos computacionais e estratégias para execução eficiente em ambientes de produção. Durante o programa, os alunos terão acesso a GPUs para treinamento, fine-tuning e experimentação com modelos de linguagem, incluindo atividades práticas com arquiteturas densas e modelos baseados em Mixture of Experts. Principais conteúdos Preparação e curadoria de datasets para treinamento Fine-tuning completo e eficiente com LoRA e QLoRA Treinamento supervisionado e alinhamento de modelos Técnicas de reasoning e melhoria da capacidade de resposta Mixture of Experts — MoE: arquitetura, roteamento e especialização Treinamento e otimização de modelos MoE Quantização para redução de memória e custo computacional Avaliação, comparação e validação de LLMs Otimização de inferência e implantação de modelos Desenvolvimento de um projeto prático de customização de LLMs Duração e carga horária Duração: 3 meses Frequência: 3 horas por semana Formato: 12 encontros semanais Carga horária total: 36 horas Diferenciais Acesso a GPUs para treinamento de modelos, atividades práticas orientadas, aplicação de técnicas de MoE, fine-tuning, reasoning e quantization, acompanhamento técnico e desenvolvimento de um projeto aplicado de customização de LLMs.Semana 1 — Fundamentos de Large Language ModelsIntrodução aos componentes fundamentais dos modelos de linguagem e ao processo de geração de texto.Conteúdos Evolução dos modelos de linguagem Diferenças entre modelos tradicionais, Foundation Models e LLMs Tokens, tokenização e vocabulário Embeddings e representações vetoriais Context window e processamento de sequências Geração autoregressiva Logits, probabilidades e função Softmax Temperatura, Top-K e Top-P Diferenças entre treinamento, inferência e geraçãoSemana 2 — Transformers, Attention e QKVEstudo detalhado da arquitetura Transformer, base dos principais LLMs.Conteúdos Estrutura de um Transformer Encoder, decoder e arquiteturas decoder-only Self-attention e causal attention Matrizes Query, Key e Value — QKV Scaled dot-product attention Attention scores Multi-head attention Máscaras causais Positional embeddings Feed-forward networks Residual connections Layer normalization Fluxo de informações dentro de um bloco TransformerSemana 3 — Como um LLM é treinadoFundamentos matemáticos e computacionais do treinamento de modelos de linguagem.Conteúdos Objetivo de previsão do próximo token Labels e deslocamento da sequência Cross-entropy loss Backpropagation Gradient descent e algoritmos de otimização Learning rate e schedulers Batch size e gradient accumulation Épocas, steps e checkpoints Overfitting e generalização Gradient clipping FP32, FP16 e BF16 Uso de memória durante treinamento e inferência Parâmetros, gradientes, ativações e estados do otimizadorSemana 4 — Preparação e curadoria de datasetsConstrução de datasets confiáveis para treinamento e customização de LLMs.Conteúdos Coleta, limpeza e normalização de dados Formatos de instrução, entrada e resposta Datasets conversacionais Chat templates System prompts Tokenização, padding e truncamento Attention masks Separação entre treino, validação e teste Deduplicação Balanceamento e diversidade Controle de qualidade Prevenção de data leakage Geração de dados sintéticos Licenciamento, privacidade e governança dos dados Semana 5 — Supervised Fine-Tuning e Instruction TuningIntrodução ao processo de adaptação supervisionada de modelos.Conteúdos Diferenças entre prompting, RAG e fine-tuning Full fine-tuning Supervised Fine-Tuning — SFT Instruction tuning Domain adaptation Continual pre-training Escolha do modelo-base Configuração dos hiperparâmetros Treinamento por resposta completa ou apenas assistant Checkpoints e experiment tracking Catastrophic forgetting Avaliação antes e depois do fine-tuningSemana 6 — Fine-tuning eficiente com LoRA e QLoRAAplicação de técnicas de Parameter-Efficient Fine-Tuning para reduzir memória e custo computacional.Conteúdos Parameter-Efficient Fine-Tuning — PEFT Matrizes de baixo rank Arquitetura LoRA Rank, alpha e dropout Seleção dos módulos-alvo LoRA em attention e feed-forward layers QLoRA Treinamento sobre modelos quantizados NF4 e double quantization Merge de adapters Carregamento de múltiplos adapters Versionamento e distribuição Comparação entre full fine-tuning, LoRA e QLoRASemana 7 — Reasoning e dados de raciocínioDesenvolvimento e avaliação da capacidade dos modelos para resolver problemas complexos.Conteúdos Diferença entre geração textual e reasoning Decomposição de problemas Chain-of-Thought Self-consistency ReAct Tool use Planejamento e execução Geração de dados sintéticos de raciocínio Reasoning traces Verificadores de respostas Process supervision Outcome supervision Recompensas verificáveis Avaliação da resposta final e do processo Limitações e riscos associados a dados de raciocínioSemana 8 — Alinhamento por preferênciasIntrodução às técnicas utilizadas para adaptar o comportamento de um LLM a preferências humanas ou critérios definidos.Conteúdos Objetivos do alinhamento Dados escolhidos e rejeitados Preference datasets Reward Models RLHF e RLAIF Direct Preference Optimization — DPO Identity Preference Optimization — IPO Odds Ratio Preference Optimization — ORPO Kahneman-Tversky Optimization — KTO SimPO e métodos relacionados Construção de pares de preferência Qualidade, factualidade, segurança e estilo Diferenças entre SFT e Preference Optimization Avaliação de modelos alinhados Semana 9 — Reinforcement Learning para LLMs: PPO e GRPOAplicação de técnicas de Reinforcement Learning no pós-treinamento de modelos de linguagem.Conteúdos Fundamentos de Reinforcement Learning Policy, action, reward e trajectory On-policy e off-policy learning Proximal Policy Optimization — PPO Group Relative Policy Optimization — GRPO Geração de múltiplas respostas por prompt Cálculo de recompensas relativas dentro de grupos Reward functions Verificadores programáticos Recompensas de precisão, formato e consistência KL divergence Controle de mudança da política Advantage estimation Credit assignment Reward hacking Instabilidade e colapso de treinamento Comparação entre PPO, GRPO, DPO e SFT GRPO aplicado a matemática, código e reasoning Semana 10 — Model DistillationSemana dedicada à transferência de capacidades de modelos maiores para modelos menores, rápidos e economicamente eficientes.Conteúdos Conceitos de modelo teacher e modelo student Knowledge Distillation Response Distillation Sequence-Level Distillation Logit Distillation Feature Distillation Distillation com temperatura Self-Distillation Progressive Distillation Geração de dados sintéticos pelo modelo professor Filtragem, ranking e validação das respostas Uso de múltiplos modelos professores Destilação combinada com SFT Destilação combinada com LoRA e QLoRA Reasoning Distillation Transferência de capacidades matemáticas e de programação Destilação baseada em resposta final Destilação baseada em verificadores Process supervision e outcome supervision Retenção de capacidades Catastrophic forgetting Comparação de qualidade, latência, memória e custo Licenciamento e governança dos dados gerados pelo teacher Laboratório em GPUDesenvolvimento de um pipeline completo: Seleção do modelo professor Geração de respostas sintéticas Aplicação de filtros e verificadores Construção do dataset de destilação Treinamento do modelo estudante Comparação entre teacher, student original e student destilado Avaliação de qualidade, latência, memória e custo computacionalSemana 11 — Mixture of Experts, quantização e inferência eficienteEstudo de arquiteturas esparsas e técnicas para reduzir o custo de treinamento e implantação.Destaque: Mixture of Experts — MoE Diferenças entre modelos densos e modelos MoE Conceito de experts Router e gating network Seleção Top-K de especialistas Sparse activation Expert specialization Capacidade por expert Load balancing Auxiliary loss Expert collapse Parâmetros totais versus parâmetros ativos Fine-tuning de routers e experts LoRA aplicado a modelos MoE Especialização de experts por domínio Diagnóstico da utilização dos experts Custos de comunicação entre GPUs Quantização Fundamentos de quantização INT8 e INT4 Weight-only quantization Post-Training Quantization — PTQ Quantization-Aware Training — QAT Quantização por tensor, canal e grupo Calibração Impacto da quantização na qualidade Quantização de modelos densos e MoE Inferência eficiente KV cache Batching e continuous batching Latência e throughput Uso de memória Servidores de inferência Monitoramento e avaliação em produção Relação entre qualidade, velocidade e custoSemana 12 — Projeto final de customização de LLMsConsolidação dos conhecimentos por meio do desenvolvimento de uma solução completa.Estrutura do projeto Definição do problema e do caso de uso Seleção do modelo-base Preparação e validação do dataset Construção da baseline Escolha da estratégia de customização SFT, LoRA ou QLoRA Alinhamento com DPO, GRPO ou método relacionado Model Distillation, quando aplicável Customização de arquiteturas MoE, quando aplicável Treinamento utilizando as GPUs disponibilizadas Quantização e otimização da inferência Definição de benchmarks Avaliação quantitativa e qualitativa Comparação com o modelo original Análise de qualidade, latência, memória e custo Documentação das decisões técnicas Apresentação dos resultados Competências desenvolvidasAo concluir a certificação, o participante estará preparado para: Compreender internamente o funcionamento de LLMs e Transformers Interpretar tokens, embeddings, logits, Softmax, attention e QKV Preparar e validar datasets para treinamento Executar Supervised Fine-Tuning Aplicar LoRA, QLoRA e outras técnicas de PEFT Construir datasets de reasoning e preferência Aplicar DPO, IPO, ORPO, KTO e métodos relacionados Desenvolver pipelines com PPO e GRPO Criar funções de recompensa e verificadores Realizar Knowledge Distillation e Reasoning Distillation Compreender e customizar arquiteturas Mixture of Experts Quantizar e otimizar modelos para inferência Utilizar GPUs em pipelines reais de treinamento Avaliar modelos customizados com métricas técnicas e de negócio Desenvolver uma solução completa de customização de LLMs Principais diferenciais Customização de LLMs como eixo central do programa Semana especial de Model Distillation Destaque para Mixture of Experts — MoE Aplicação prática de GRPO, DPO, LoRA e QLoRA Acesso a GPUs para treinamento e experimentação Laboratórios com modelos reais Projeto final aplicado Comparação entre qualidade, desempenho e custo computacionalPúblico-alvoO programa é destinado a profissionais e estudantes que desejam atuar de forma prática na customização, treinamento, alinhamento e otimização de Large Language Models.É especialmente indicado para: Engenheiros de Machine Learning e Inteligência Artificial Cientistas e analistas de dados Desenvolvedores de software e engenheiros de dados Pesquisadores e estudantes de graduação ou pós-graduação em computação, engenharia e áreas relacionadas Arquitetos de soluções, profissionais de MLOps e infraestrutura de IA Líderes técnicos e profissionais responsáveis por projetos de IA generativa Consultores e empreendedores que desejam desenvolver soluções próprias baseadas em LLMs Profissionais que já utilizam APIs de modelos e querem avançar para treinamento, fine-tuning e implantação de modelos customizados