Overview

DeepMind 是 Alphabet(Google 母公司)旗下的 AI 研究实验室,总部位于伦敦。DeepMind 提出了 Chinchilla Scaling Law,指出训练数据量应约为模型参数量的 20 倍(D 约等于 20*N),挑战了此前 OpenAI 的 Scaling Law 假设,推动了行业从单纯增大参数量转向数据质量与规模的平衡策略。

Mentions

  • llm-lesson-03-scaling-laws — 作为 Chinchilla Scaling Law 的提出者被讨论,核心观点是最优训练数据量 D 约等于 20 倍模型参数量 N