Summary
本课讲解Transformer模型的推理管线实现，涵盖模型加载、文本生成的完整流程。课程重点介绍了torch.no_grad()上下文管理器的作用、train/eval模式切换的意义、超参数配置管理的最佳实践，以及分布式训练的核心概念（数据并行与模型并行）。通过本课，学员能够将训练好的模型部署为可用的文本生成服务。
Key Claims
- torch.no_grad()关闭梯度计算，推理时节省大量显存和计算资源
- model.eval()将Dropout和BatchNorm切换到推理模式，避免随机性干扰输出
- 推理时的超参数配置（温度、Top-K、Top-P、最大长度）应集中管理，便于实验和部署
- 数据并行（Data Parallelism）将同一模型复制到多GPU，不同GPU处理不同数据批次
- 模型并行（Model Parallelism）将同一模型的不同层分布到不同GPU，适合单卡装不下的大模型
- 自回归推理的瓶颈在于顺序依赖——每个token必须等前一个生成完毕才能开始
Key Quotes
“推理和训练最大的区别就是：训练需要记住怎么走的，推理只需要知道走到哪了。” — 对比训练与推理
“数据并行是’多个厨师做同一道菜的不同份’，模型并行是’多个厨师合作做一道菜’。” — 区分两种并行策略
“eval()不是摆设——忘记切换模式是推理结果不稳定的头号原因。” — 强调模式切换的重要性
Connections
- Transformer — 被推理的模型架构
- TrainingPipeline — 推理是训练管线的下游环节