Study Characterizes Massive Activations in Hybrid Linear Attention LLMs
Researchers from StartLux, Tsinghua University, and other institutions published a study using massive activations (MAs) as probes to systematically characterize cross-layer traces of full attention layers in hybrid linear attention LLMs, identifying two core patterns: pre-attention spikes (PAS) and inter-spike plateaus (ISP). The study covers five linear attention architectures, six hybrid configurations, five data domains, and 12 public HLA LLM checkpoints, with model sizes ranging from 1.2B to 397B parameters.
Coverage timeline
机器之心机器之心
Full Attention 层尚未开始计算，它前一层的激活值已提前「冲上峰值」—— 这就像演唱会主角尚未登台，观众席已提前沸腾。来自 StartLux、清华大学等机构的研究者以 Massive Activations 为探针，首次系统刻画了少数 Full Attention 层在混合线性注意力大模型中留下的「跨层痕迹」，并识别出「注意力前尖峰」（PAS）与「尖峰间平台」（ISP）两种核心形态。 兼顾线性注意力（Linear Attention）的效率与全注意力（Full Attention）的建模能力，混合线性注意力大模型（HLA LLM）已成为 Qwen3.5、Kimi Linear、Nemotron-H、Zamba 等模型采用的一条重要架构路线。然而，当两类序列混合机制被交错放进同一个深层网络，它们会如何相互影响？少数 Full Attention 层又会怎样改变前后 Linear Attention 层的激活动态？ 本研究由以 StartLux 为核心的联合团队完成。StartLux 是专注全本地智能解决方案的科技企业，致力于打造可部署于个人终端的高性能人工智能系统。StartLux 携手清华大学、中国科学院大学、香港大学、悉尼大学和哥伦比亚大学的研究者，选择以 Massive Activations（MAs，大值激活）为「探针」，对这一问题展开系统研究。研究覆盖五种 Linear Attention 架构、六种混合配置、五个数据域，以及 12 个公开 HLA LLM 检查点，模型总参数量从 1.2B 横跨至 397B。 论文标题：Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus 论文链接：https://arxiv.org/abs/2608.12149 Hugging Face：https://huggingface.co/papers/2608.12149 代码链接：https://github.com/StartLuxLabs/Massive-Activations-HLA Full Attention 前一层的「尖峰」 研究者首先汇总所有 Full Attention 层
