过去让 AI 帮你操作电脑,基本停在"我告诉你步骤、你照着点"的阶段。最近 Google 把 Computer Use 从实验功能转为正式可用,覆盖两类 Gemini API,意味着"AI 自己看屏幕、自己决定下一步点哪里"这件事,开始能进实际工作流了。本文带你理解它是什么、怎么用、适合谁。
它和普通"自动化脚本"的区别
传统 RPA 或脚本,是写好固定坐标和流程,环境一变就失效。Computer Use 不一样:它靠大模型"看"屏幕截图,理解当前界面上有什么按钮、输入框、文字,再决定下一步动作(点击、输入、滚动、打开应用)。它不是死流程,而是"看一步走一步",对环境变化更耐受。
一、基本工作方式
典型的 Computer Use 流程是:模型拿到当前屏幕截图 → 分析界面元素和你的目标 → 输出一个动作(比如"在搜索框输入 X 并回车""点击右上角登录")→ 系统执行 → 再截图回传 → 模型继续。如此循环,直到任务完成。你可以把它理解为一个"会看屏幕的实习生",你给目标,它自己想办法点。和写脚本最大的不同是:它不需要你提前知道每个按钮的精确位置,界面稍微挪动也不容易全盘崩掉。
二、能用在哪些场景
适合规则明确但跨多个界面、人工点起来繁琐的任务:比如每天登录后台导出数据、在网页表单里批量录入、跨系统核对信息、把网页内容整理进表格。它特别适合"界面没有现成 API、又不想写脆弱脚本"的情况。举个例子,你让它"打开电商后台,把昨天的订单导出成表格,按地区汇总",它能自行完成登录、翻页、勾选、下载这几步。注意,涉及资金、隐私或不可逆操作的环节,建议保留人工确认。当然,它也不是万能的:遇到验证码、需要手机二次确认、或者界面本身就是反自动化设计的场景,它一样会卡住,这种时候还是得人亲自上。
三、给目标怎么说才靠谱
这是最容易踩坑的地方。模糊的指令如"帮我处理一下报表"几乎一定翻车;有效的指令要写清:打开哪个网站、用什么账号、点哪个入口、导出的时间范围、存到哪个文件夹。一个好习惯是先把任务拆成你平时会做的几步,再把这些步骤用自然语言连起来交给它。首次跑复杂任务时盯着看,确认它点对了地方再放手,别一开始就完全托管。
四、安全和权限要注意
第一,敏感操作加确认步骤,别让 AI 直接执行删除、付款、发送这类动作。第二,界面变化大时它也可能看错,重要任务要留复核。第三,尽量在受限账号或沙盒里运行,别给它超出任务需要的权限。第四,把"哪些动作必须人工点头"写进流程,比事后补救稳妥得多。把它当成需要监督的实习生,而不是全自动机器人。
五、它也有边界,别神化
Computer Use 擅长的是"看得见的界面操作",对藏在背后的逻辑判断帮不上忙。比如它分不清两条看起来一样的记录哪条才是你要的,这种需要业务判断的环节,最好由你来拍板。把它用在"操作固定、判断简单"的任务上,性价比高;硬塞进"又操作又决策"的复杂流程,反而容易出错返工。
适合谁
Computer Use 适合经常做跨网页、跨软件重复操作的人,比如运营、数据分析、客服、行政。对完全不懂技术的人也相对友好,因为不需要写代码,只要把任务描述清楚,让它照着屏幕一步步执行即可。
小结
Computer Use 把"AI 操作电脑"从演示拉到了可用。它不是要取代你,而是接手那些机械、重复、占时间的点击活儿。先把一两个小任务交给它,体会一下"说目标、它执行"的节奏,再逐步扩范围。