腾讯 Hy4 上手:770B 开源模型能看懂屏幕、替你操作电脑

11 月 4 日,腾讯发布旗舰 MoE 开源模型 Hy4,总参数约 770B,主打原生视觉推理与电脑操控(computer-use)能力。它可以理解屏幕截图、在浏览器和桌面软件里自动点击操作,相当于给 AI 配上了"眼睛"和"手"。对想了解 Agent 落地的人来说,Hy4 是一个能本地或云端部署、可实操的电脑操控样本,既适合学习,也适合在私有环境里做合规试验。

一、Hy4 能做什么

视觉推理:把界面截图喂给它,它能识别按钮、输入框、报错信息并给出操作建议。电脑操控:它可自动在网页和桌面应用里完成多步任务,比如填表、查数据、导出文件。开源权重意味着你可以私有化部署,数据不出内网,适合对合规敏感的场景,也能在自己的机器上调试玩法。它把"看"和"做"连成一条链路,比纯文本助理更接近真实办公动作,也更容易接进你现有的工作流。

二、怎么用起来

通过腾讯云 TokenHub 或开源社区权重获取模型。轻量试用可用官方对话入口;要跑 computer-use,需要配合支持截图与操作的运行环境,比如浏览器自动化或桌面代理。提示词要给清"目标 + 当前界面状态 + 终止条件",并让它在每步操作后汇报结果,方便你随时接管,避免它一路跑偏。新手建议先从一个固定网页上的单一操作练起,比如登录后导出一份报表,先把链路跑通再叠加复杂度。

三、一个操作示例

假设你要从后台导出当月订单:你可以让 Hy4"打开后台,进入订单页,选本月,点导出 CSV,保存到桌面"。它会先截一张图识别页面,找到对应按钮逐一点击,每步都把结果回传给你看。中途若弹出验证码或页面改版,它把当前截图丢回来问你下一步,而不是瞎点。这种"看得见、问得清、收得住"的特性,正是电脑操控 Agent 能否放心用的关键,也决定了它适合辅助而非完全托管。

四、提升稳定性的技巧

  • 分步确认:先让它列出操作计划,你同意后再执行,避免误操作带来损失。
  • 截图反馈:每步操作后回传截图,让它对照判断是否达成目标。
  • 设安全边界:限定可访问的网址和文件夹,防止越权访问重要资料。
  • 失败重试:卡住时把报错和截图一起丢回去,让它换路径重来,常常比硬撑更有效。
  • 留审计日志:记录它每一步动作,事后复盘哪步出了偏差,下次提示词写得更准。

五、注意事项

电脑操控有真实操作风险,首次务必在测试环境或无关紧要的账号上跑,确认行为可控再放开。开源模型能力会随版本变化,以官方文档为准。涉及资金、隐私的操作必须人工复核,不要把关键凭证交给自动执行的流程。把它当实习生而不是正式员工,关键节点你把关,它负责把机械步骤跑通,这样既能省力又不至于失控。

此外,电脑操控类任务对网络和环境很敏感,页面一改版就可能前功尽弃,所以别把它接进不可逆的操作里。像"删除数据""发送邮件"这类动作,宁可多一步人工确认,也不要图省事直接放开。把高风险按钮留在你手里,低风险重复活交给它,这套分工最稳,也最能让你放心把日常杂活托付出去。

Hy4 把"看懂屏幕 + 动手操作"打包成开源模型,是体验电脑操控 Agent 的实在入口,值得动手玩一遍。

本文为原创内容,版权归本站所有。转载请注明出处:

如果这篇文章对你有帮助,欢迎扫码打赏。