Overview
Google 是全球最大的科技公司之一，在大语言模型和长序列处理方面有深厚积累。Google 提出了 Big Bird 稀疏注意力机制，用于高效处理超长序列；同时其 Gemini 1.5 模型以百万级 token 的超长上下文窗口而闻名，是长上下文技术的重要里程碑。
Mentions
- llm-lesson-10-long-context — 提及 Big Bird 稀疏注意力机制和 Gemini 1.5 的长上下文能力，作为长序列处理技术路线的代表
Google 是全球最大的科技公司之一，在大语言模型和长序列处理方面有深厚积累。Google 提出了 Big Bird 稀疏注意力机制，用于高效处理超长序列；同时其 Gemini 1.5 模型以百万级 token 的超长上下文窗口而闻名，是长上下文技术的重要里程碑。