Back to News

ByteDance Doubao Work Upgrades Computer Use: Record Operations as Skills, Continue Tasks on Locked Mac

#doubao#computer-use#ai-agent#byte-dance

ByteDance's Doubao Work has upgraded its computer-use capabilities, improving screen click precision and speed, and allowing users to record computer operations as reusable skills. Tasks requiring computer operation can now continue on a locked Mac, with users able to assign tasks and view results via their phones.

Coverage timeline

  1. 机器之心新闻资讯

    近期,豆包工作电脑操作能力升级,屏幕点击精度、速度提升,更准、更快。直接在对话中提出操作电脑的相关需求,经用户授权后,豆包工作就可以自动查看电脑屏幕,模拟人工鼠标和键盘操作相关应用。与此同时,在原有跨应用操作、将浏览器操作录制成技能的基础上,用户现在可以录制电脑操作,把演示过程保存为可复用技能;另外,需要操作电脑的任务可在 Mac 锁屏后继续执行,用户也可通过手机下达任务、查看结果。 在对话界面“更多技能”中找到“录制操作生成技能”,按提示完成授权后,用户可以像平时一样在操作电脑,并通过语音补充要求。例如,整理文件时,可以说明“只整理这个文件夹,文件按日期命名”,将操作范围和命名规则一并交代清楚。录制期间,豆包工作会记录鼠标点击、输入文字和窗口内容,用户可随时取消;使用时应避免展示账号密码等敏感信息。 录制结束后,豆包工作会将操作流程和讲解整理成个人技能。下次执行同类任务时选用对应技能,再说明此次要处理的对象和要求,就可以省去重复解释操作步骤。这样,多步操作、临时条件和处理习惯能够从一次演示沉淀为可调用的技能,减少同类任务的重复说明。 在任务执行方面,用户可进入“设置→工作任务模式设置”,开启“允许豆包在锁屏时工作”。启动该功能并经过用户授权后,豆包工作可在Mac 锁屏时继续执行需要操作电脑的任务。用户离开电脑时,还可以通过手机向这台锁屏的 Mac 下达任务,并在手机上查看返回结果;回到电脑前,解锁后可以随时接管。对于需要连续执行、又不便一直守在电脑前的任务,这一能力提供了更灵活的交付方式。 Mac 锁屏后,豆包工作可继续执行需要操作电脑的任务(界面示意) 使用时,Mac 需保持开机、联网,豆包客户端持续运行,设备保持唤醒。 随着 AI Agent 向真实工作场景延伸,Computer Use 正成为其操作软件、执行任务的重要能力。豆包工作此次升级,让用户熟悉的操作方法可以保存为可复用技能,并支持任务在 Mac 锁屏后继续执行,有助于减少重复交代和持续守在电脑前的负担。对于普通用户,这意味着有机会把一部分重复操作交给 AI,把更多时间和精力留给判断、创作及需要经验的工作,让 AI 释放生产力的价值逐步落到日常流程中。

Related stories

  • ByteDance's Doubao Work adds canvas feature and Doubao 2.1 Lite model

    ByteDance's Doubao Work has introduced a new canvas feature for complex creative tasks, allowing users to manage materials, designs, and outputs on a single infinite canvas, with support for the new Seedream 5.0 Flash image model. The update also integrates the lightweight Doubao 2.1 Lite model, optimized for high-frequency office scenarios like Q&A, document writing, spreadsheet handling, and PPT creation, with improved response speed and quota consumption. The features are available in the latest client version, accessible via the 'Skills' menu or 'Creative Design' skill.

    1 reports · 1 sources

News updates every hour. Subscribe in your RSS reader to get new stories automatically.

Subscribe