K3 open-source model combines KDA, MLA, Stable LatentMoE, and AttnRes
#k3#moe#attention#open-source-model
The K3 model, the largest open-source model released last month by the team behind K2, is described as an evolutionary successor rather than a redesign. Its architecture combines KDA, MLA, Stable LatentMoE, and AttnRes, with the Moonlight version of the Muon optimizer and per-head attention weights. The article details these design choices, emphasizing efficiency, stability, and performance improvements.
Coverage timeline
科学空间 (苏剑林)苏剑林
上个月，我们发布了迄今为止最大的开源模型 K3 。 作为K2的继任者，K3并不是一次从零开始的重新设计，而是沿着我们过去一系列工作自然演化而来，并融合了我们对效果、效率、稳定性的一些最新理解和改进。可以说，它是一项持续的、“集大成”的研究成果，而非孤注一掷的豪赌。 这篇文章，我们来聊聊K3在架构上的一些设计思路。 写在前面 简单来说，在架构方面K3 = KDA + MLA + Stable LatentMoE + AttnRes，训练优化器依然是Moonlight版Muon，但Attention部分的权重改成了Per-Head形式来优化。 [...]