Overview
Meta（前 Facebook）是推出 LLaMA 系列开源大语言模型的科技公司。LLaMA 系列模型以较小的参数量实现了与更大模型相媲美的性能，推动了开源大模型生态的蓬勃发展。Meta 在注意力机制优化方面也有重要贡献，Llama 系列广泛采用了 Grouped Query Attention (GQA) 技术。
Mentions
- llm-lesson-03-scaling-laws — 提及 Llama 3 模型作为 Scaling Law 实践的重要案例
- llm-lesson-09-attention-optimization — 讨论 Llama 系列对 GQA（分组查询注意力）的采用，是 GQA 推广的关键推动者