OpenAI让AI自己操作电脑，ChatGPT要成办公助手了

自2015年成立以来，OpenAI一直朝着让AI像人类一样熟练操作电脑的目标前进。如今他们终于突破训练数据不足的核心难题，正式向客户逐步开放这一革命性功能，标志着人机交互方式即将迎来根本性变革。

据内部团队乐观估计，AI操作电脑的速度有望超越普通员工。电脑操作团队经理阿里·韦恩斯坦明确表示，一旦AI操作速度超过人类，人们与电脑交互的默认方式将被彻底改变。这不仅仅是技术升级，更是工作模式的颠覆。

最新模型从基础训练到后期强化都专门加入了电脑操作能力提升的内容。研究人员在大规模基础训练阶段就引入了逐帧屏幕截图，让模型提前接触电脑操作场景，为后续能力打下坚实基础。

后续训练阶段向模型展示完成特定任务的正确操作流程。例如填写税务表格或生成3D模型，都需要模型学习对应的操作步骤序列。部分训练数据来自真人示范，虽然成本高昂但效果显著。

OpenAI很可能还利用强化学习继续提高模型的电脑操作能力。模型在虚拟环境中反复尝试任务，成功完成任务的行为会得到奖励，从而学会更多"获得过奖励的操作"。这种方法大幅提升了模型解决实际问题的能力。

同时，模型获取信息的方式也发生了质变。过去需要反复截取屏幕、分析像素、发送操作指令，现在打开网站后可以直接快速读取网页底层信息。这些能力结合后，Codex能自行测试代码、发现问题并修改，形成完整闭环。

电脑操作技术的核心价值在于让AI智能体进入互联网中大量彼此独立的服务和长尾网站。从预约网站、企业内部库存系统到社媒平台，许多在线工具最初就是为人类手动点击设计的。

目前已有用户利用电脑操作功能自动处理数据录入、合规任务和日程安排。韦恩斯坦指出，随着模型能力提升，AI越来越能主动发现错误并自行修正，任务完成率和准确率显著提升。

尽管进展显著，但电脑操作技术的速度距离消费者期待仍有明显差距。在训练数据非常充足的有限领域，电脑操作智能体表现良好，但要适应任何网页、应用程序和操作系统仍然困难重重。

目前该功能还不能迅速批量处理邮件回复，浏览社交媒体信息流时也较为迟缓。团队希望随着模型继续升级，电脑操作最终能达到AI编程目前的效率，让AI直接操作网络工具比用户亲自动手更快。

2025年CEO萨姆·奥尔特曼曾公开提醒，电脑操作功能实用价值很大，但潜在风险同样不小。建议只向智能体提供完成任务所必需的最低权限，以降低隐私和安全风险。

目前团队正在研究确认策略，明确AI执行下一步操作前应在什么情况下请求用户授权。原则是只要智能体准备向外传输数据或删除内容，就必须先征得用户同意。团队正在寻找易用性和安全性之间的最佳平衡点。

如果AI真的能完全替代你手动操作电脑，你最希望它帮你自动完成哪项日常工作？欢迎在评论区分享你的想法，点赞收藏本文获取更多AI前沿资讯。