Overview
Mistral AI 是一家总部位于巴黎的法国人工智能公司，由前 DeepMind 和 Meta 研究员创立。Mistral AI 以高效的小型模型闻名，其 Mistral 7B 模型在多项基准测试中超越了更大的竞争对手。在注意力机制策略上，Mistral 采用了独特的滑动窗口注意力（Sliding Window Attention）方案来平衡性能与效率。
Mentions
- llm-lesson-09-attention-optimization — 讨论 Mistral 模型的注意力策略选择，作为不同注意力优化技术路线的代表