Tsinghua TianMou team publishes Nature Sensors cover study on visual-primitive complementary vision, open-sources TianMouCV
Tsinghua University's Tianmou core team published a new study on the cover of Nature Sensors, extending their visual-primitive-based complementary vision paradigm to a learnable, transferable, and scalable system. The work introduces a self-supervised representation learning framework for degraded visual data without ground-truth labels and open-sources the TianMouCV toolchain for algorithm research and application development.
Coverage timeline
机器之心机器之心
多模态大模型、世界模型与具身模型正不断重塑 AI 能力的边界，但一个更基础的问题却长期被忽略：开放世界中的视觉退化。高速运动模糊、频率混叠、强光过曝、闪烁干扰… 这些现实环境中的复杂退化现象，会造成图像结构失真、信息缺失。而由于缺乏可靠真值，这类数据很难用于传统监督学习，往往成为 AI 训练中的盲区。因此，即便拥有强大的模型，AI 系统仍可能因为错误或缺失的视觉信息而做出错误判断。如何在有限硬件资源下获取高质量视觉信息，为机器人和具身智能提供可靠感知基础，已成为 Physical AI 发展的关键问题。 继《Nature》封面后，天眸芯相关工作又登《Nature Sensors》封面 —— “Seeing through visual primitives” 2024 年，清华大学类脑计算研究中心团队研发的 “天眸芯” 登上《Nature》封面，首次提出基于视觉原语（Visual Primitives）的类脑互补视觉感知新范式，并研制出全球首款基于原语的双通路互补视觉感知芯片 “天眸芯”，为机器视觉提供了一条区别于传统 RGB 成像的新技术方案。 时隔两年，团队在这一方向上的最新进展又登上《Nature Sensors》封面。 如果说 2024 年的工作完成了互补视觉从 0 到 1 的感知范式和芯片硬件创新，那么此次研究则实现了从 “1 到 10” 的系统级算法软件生态飞跃。研究借鉴人类视觉原语的自监督表征构建与内部模型（Internal Model）形成机制，将互补视觉扩展为一个可学习、可迁移、可 Scaling up 的完整技术体系。具体而言，研究建立了基于天眸数据构造视觉原语的方法，并提出了无需真值标注的退化数据自监督表征学习框架，使模型能够直接从真实退化数据中学习有效视觉表示，再高效迁移到不同下游视觉任务。同时，团队还开源了配套算法软件工具链 TianMouCV，为互补视觉算法研究、应用开发以及社区生态建设提供了统一的平台。 论文通讯作者为清华大学精密仪器系施路平教授与赵蓉教授；共同第一作者为原清华 “天眸芯” 算法负责人、现厦门大学智能制造学院助理教授林逸晗博士（兼晰见科技首席科学顾问）与清华大学博士生陈雨过。此外，2024 年《Nature》封面文章第一作者、现晰见科技 CTO 王韬毅博士，以及博士生孟亚鹏、陈相儒等核心成员也为本工作做出了重要贡献。 截
