月之暗面Kimi K3模型发布：全球首个3万亿级开源模型

7月17日凌晨，月之暗面正式推出 Kimi K3，迄今能力最强的模型。

Kimi K3 是一个 2.8 万亿参数模型，基于 KDA 混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术构建，原生支持视觉理解，并拥有 100 万 token 上下文窗口。它是全球首个开源的 3 万亿级别模型，面向长程编程、知识工作和推理等前沿智能场景而设计。

虽然 Kimi K3 的整体表现仍落后于最强的闭源模型 Claude Fable 5 和 GPT-5.6 Sol，但它在整套评测中展现出前沿水平的能力，并稳定超过了其他所有模型。

据了解，Kimi K3 是首个达到 2.8 万亿参数规模的开源模型。这是 Kimi 持续推进模型规模边界的最新一步：在过去 12 个月中的 9 个月里，Kimi 模型都保持着开源模型的规模上限。

Kimi K3 基于 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）构建。这两项架构更新，都是为了让信息在更长序列和更深模型中流动得更顺畅。Kimi K3 也进一步扩大了 Mixture of Experts（MoE）的稀疏度：结合 Stable LatentMoE 框架后，模型可以在 896 个专家中高效激活 16 个。再加上训练方法和数据配方的优化，这些结构性改进让 Kimi K3 相比 K2 的整体扩展效率提升约 2.5 倍，能更有效地把算力转化为能力。

Kimi K3 具备很强的长程编码能力。在极少人工监督的情况下，它可以持续完成长时间工程任务，理解和处理大型代码库，并协调使用终端工具。

Kimi K3 也擅长结合软件工程与视觉推理的任务。它能够利用截图和视觉反馈，优化游戏开发、前端和 CAD 等场景。

作为早期概念验证，Kimi K3 设计了一款芯片，用于运行一个基于自身架构构建的 nano 模型。在连续 48 小时的自主 Agent 运行中，K3 基于开源 EDA 工具和 Nangate 45nm 工艺库，独立完成了芯片的构建、优化与验证。该芯片面积 4 mm²，集成 146 万个标准单元、0.277 MB SRAM 以及带融合反量化的 INT4 MAC 阵列，在 100 MHz 下完成时序收敛，仿真解码吞吐持续超过每秒 8,700 个 token。一颗由模型设计、为模型服务的芯片，正是 K3 长程 Agent 能力的写照。