NUS Showlab Unveils Show-Harness Interface for VLM Agents to Control Real Robots
Researchers at NUS Showlab introduced Show-Harness, an interface that enables vision-language model (VLM) agents to control real robots directly, moving beyond computer-use to robot-use. The project releases open-source code, models, and data, targeting the gap between frontier models' intelligence and physical robot execution.
Coverage timeline
机器之心机器之心
标题:Show-Harness: Just a VLM Agent Can Play Robots 作者:Yanzhe Chen*, Zechen Bai*, Zhijun Cao*, Wenzheng Zeng*, Kevin Qinghong Lin, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Qiming Huang, Mike Zheng Shou† 单位:新加坡国立大学 Showlab 项目主页:https://showlab.github.io/Show-Harness/ 论文链接:https://arxiv.org/abs/2609.10522 开源代码:https://github.com/showlab/Show-Harness 开源模型:https://huggingface.co/showlab/Show-Harness-VLMs 开源数据:https://huggingface.co/datasets/showlab/Show-Harness-Data 今天的 Agent 已经能看懂屏幕、理解任务,并通过 click、type、scroll 等鼠标键盘操作来完成数字世界的任务,那么它距离操控真实世界里的机器人,还差什么? 过去一段时间,越来越多工作开始尝试让 GPT、Claude、Gemini 等 frontier models 参与真实机器人控制。这背后有一个很直接的判断:当我们讨论具身智能时,常常强调 “具身”,但核心仍然是 “智能”。而今天最强的智能,包括视觉理解、空间推理和任务分解等能力,都逐渐集中到 frontier foundation models 中。 问题在于,这些能力并不会自然的变成机器人动作。过去的研究尝试了不同的路线去利用 foundation model。传统的 VLA 往往让模型基于图像和任务指令直接回归连续控制量;另一类系统则让大模型只负责规划,再由独立的控制器完成物理执行。前者需要为不同机器人和数据分布反复适配,后者又拉开了语义决策与实际动作之间的距离。 新加坡国立大学 Show Lab 的研究者提出 Show-Harness 。这个工作的出发点不是再训练一个更大的机器人策略,而是追问: 如果给 foundation model 一个它能够理解、组合并持
