Back to News

Runway unveils Solaris, an 'Interface World Model' generating app interfaces frame-by-frame

#runway#world-model#interface-generation#ai-research

Runway announced Solaris, described as the first 'Interface World Model,' a research project that generates interactive app interfaces frame-by-frame like video, eliminating the need for code. The model responds to clicks, drags, or text input by continuing to generate the next frame based on the current state, potentially turning visual designs directly into runnable software.

Coverage timeline

  1. 机器之心机器之心

    过去,AI 改写软件开发的方式,大体遵循着同一条路径。人说一句话,模型写代码;代码跑起来,再变成网页、App 和各种可以点击的界面。从 Copilot 到 Cursor,再到越来越多 Coding Agent,模型已经接手了相当一部分编程工作。但有一件事没变:代码仍然夹在人的想法和最终界面之间。 现在,Runway 想把这一层直接拿掉。 今天凌晨, Runway 公布了一项新研究 Solaris,并将其定义为首个 Interface World Model,界面世界模型 。 它提出的问题很直接:如果操作系统里的 App 和网站,不再提前写好,而是在你使用的过程中实时生成,会发生什么?Solaris 给出的答案是,界面可以像视频一样生成。 你点一下、拖一下,或者输入一句话,模型便根据当前状态继续生成下一帧。按钮、物体、场景以及随之发生的变化,都不必由开发者提前逐项写进代码里。 换句话说,在 Solaris 的设想里,你眼前看到的画面,本身就可以成为软件。这也是 Runway 从视频生成走到世界模型之后,又一次明显的方向扩张。 有人感叹道,「太猛了,你们还是一如既往地领跑。已经迫不及待想看看未来半年世界模型会进化到什么程度。」 当一张图真的可以「运行」 今天的 AI 已经很会画界面了。给模型一句 Prompt,它可以生成一张完成度很高的电商页面、产品官网,甚至一整套 App 设计稿。问题在于,这些图只能看,不能真正运行。 想让图片里的衣服可以被拖动,让购物车能够计算价格,让页面根据点击发生变化,设计最终还是要经过 HTML、CSS、JavaScript 或其他程序语言,转换成计算机能够执行的结构。 Runway 对这件事的看法相当激进。在它看来,这次转换本身就是一种信息损失。 一张复杂的视觉设计里,可能包含材质、光影、空间关系、细微的物体状态。但当它被重新表达成组件、布局和代码后,程序保留下来的,只是开发者提前决定要实现的那一部分行为。软件最终能够发生什么,也因此在上线之前就基本确定了。 Solaris 试图换一条路: 不再先把画面翻译成代码,再让代码驱动画面;模型直接在视觉空间里处理界面和交互。 例如,在 Runway 展示的一个虚拟服装店场景里,整个店面本身就是界面。用户可以从衣架上拿起一件衣服,把它拖到自己身上试穿,也可以直接移动店里的陈设。 传统网页需要开发者预