Cerebras 部署万亿参数人工智能模型
真正值得关注的不是这条新闻本身，而是它可能把「综合」的竞争焦点推向更大范围的连锁反应。
原文链接：https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras
我们收到的最常见问题之一是如何在 Cerebras 晶圆级芯片上部署大型模型。单个 Cerebras WSE-3T 晶圆具有 44 GB 片上存储器，万亿参数前沿模型仅其权重就需要 TB 字节。在这篇文章中，我们将解释如何将大型前沿模型分割到多个 WSE-3T 晶圆上，以每秒 1000-2000+ 代币的速度运行数万亿参数模型。我们将使用具有约 3 万亿个参数的开源模型 Kimi K3 作为说明性示例。
Kimi K3 是一个开源的 3T 参数模型，具有 69 个线性注意力层和 24 个密集层。它在 Terminal-Bench 2.1 上的得分高达 88.3%（相对于 GPT-5.6 Sol 的 88.8%），在 BrowseComp 上得分为 91.2%（相对于 GPT-5.6 Sol 的 90.4%）。这些结果展示了前沿水平的编码和代理能力，甚至在某些基准测试中优于领先的专有模型。点击此处了解有关 Kimi K3 的更多信息。为了计算我们需要支持 Kimi K3 的 Cerebras WSE-3T 晶圆总数，我们首先计算每个模型层的大小。现在我们知道每层大约需要 16 GB，我们可以计算出每个 44 GB 晶圆上可以容纳多少层。答案取决于层类型：密集层需要额外的空间用于 KV 缓存，因为每个密集（全注意力）层都存储每个活动请求中每个令牌的键和值。因此，我们在每个晶圆上放置一层致密层，并将剩余的 SRAM 留给其 KV 缓存。线性注意力层不需要额外的 KV 缓存空间。线性注意力层不是为每个标记存储键和值，而是为每个请求保留一个小的、固定大小的状态，而不管上下文长度如何。这为每个晶圆留出了两个线性层的空间 (2 × 16 GB = 32 GB)。这使得我们的晶圆总数为 35 + 24 = 59 个晶圆。
Cerebras 在管道中执行模型。在 Cerebras 编译器跨晶圆区域映射模型层后，运行时会映射令牌在晶圆之间流动的路径。对于超快延迟，仅需要在晶圆之间传递激活，这可以通过以太网上的 RDMA 来完成。每跳大约为 2 微秒。需要强调的是，由于每个 Cerebras 晶圆都有 44 GB 片上 SRAM，而每层只有 16 GB，因此我们通常能够将模型的整个层直接安装在芯片上。