17-year-old AI researcher Chen Guangyu joins Jeff Dean's startup Discovery Loop
Chen Guangyu, a 17-year-old AI researcher who left Moonshot AI (Kimi) on October 15, has joined Discovery Loop, a startup founded by Jeff Dean and others. During his year at Kimi, he contributed to core technologies including the Kimi Delta Attention (KDA) kernel and co-authored the paper "Attention Residuals" in March, which was later used in the 2.8-trillion-parameter Kimi K3 model.
Coverage timeline
机器之心机器之心
编辑|牛来 据机器之心了解, 17 岁 AI 研究者陈广宇,已经加入 Jeff Dean 等人创立的 Discovery Loop 团队 。 10 月 15 日,陈广宇在 X 上宣布离开月之暗面,称过去一年是迄今为止最美好的时光,并感谢曾经共事的同事,尤其是当初愿意聘用 16 岁自己的杜雨伦。 对于下一站,他只留下了一句话:「还有更多事情值得探索。」 离职消息公布后,Anthropic 可扩展强化学习方向负责人 Sholto Douglas 与他进行了互动。 Douglas 表示,两人前一周刚见过面,并问他是否仍计划前往卡内基梅隆大学,同时邀请他到旧金山一起工作。 陈广宇回复:「谢谢 Sholto!我正准备去湾区。」 这一互动一度让外界猜测他将加入 Anthropic,但陈广宇随后用一句「no :)」否认了这一说法。 16 岁加入 Kimi,参与万亿参数模型研发 陈广宇加入月之暗面时,还是一名高三学生。 在 Kimi 期间,他参与了多项核心技术研发,包括优化 Kimi Delta Attention(KDA)的计算内核、研究 Attention Residuals,以及探索大模型训练优化器。 今年 3 月,陈广宇与张宇、苏剑林共同以第一作者身份发表论文《Attention Residuals》。 论文链接:https://arxiv.org/pdf/2603.15031 这项研究改进了 Transformer 的残差连接机制,使模型能够有选择地利用此前不同层的信息,改善深层网络的信息传递。 论文发布后,马斯克曾转发并评价「令人印象深刻」。 7 月,月之暗面发布总参数量达 2.8 万亿的 Kimi K3。Attention Residuals 成为其核心架构技术之一,陈广宇也参与了模型发布前的案例制作。 在个人研究方向上,陈广宇专注于模型架构、优化器,以及与硬件特性相适配的高效算法和计算内核。 加入 Kimi 之前,他还曾在 Tilde Research 从事应用型模型可解释性研究。 此外,他还在个人网站上列出了自己秉持的一些理念: 自主行动力是一种超能力。 品味是可以培养的。 把想法写下来。 和朋友一起,任何问题都能找到解决办法。 可以用积极、有益的方式探索和改造这个世界。 不要陷入局部最优解。 有意思的是,他在「喜欢的东西」一栏写道「向我的老师 Gemini 学习

News updates every hour. Subscribe in your RSS reader to get new stories automatically.
Subscribe