跳到主要内容

本文为非官方中文翻译，内容以 OpenAI 官方英文文档为准。
官方来源：https://developers.openai.com/codex/app/computer-use

Computer Use

让 Codex 在工作时使用桌面应用

在 Codex 应用中，computer use 目前可在 macOS 上使用，但在上线时欧洲经济区、英国和瑞士除外。安装 Computer Use 插件，然后在 macOS 提示时授予屏幕录制和辅助功能权限。

借助 computer use，Codex 可以查看并操作 macOS 上的图形用户界面。可将其用于命令行工具或结构化集成不足以完成的任务，例如检查桌面应用、使用浏览器、更改应用设置、处理某个无法作为插件提供的数据源，或复现只会在图形用户界面中发生的 bug。

由于 computer use 可能会影响项目工作区之外的应用和系统状态，因此请将其用于范围明确的任务，并在继续前查看权限提示。

设置 computer use​

在 Codex 设置中，打开 Computer Use，然后点击 Install 安装 Computer Use 插件，再让 Codex 操作桌面应用。当 macOS 提示访问权限时，如果你希望 Codex 查看并与目标应用交互，请授予屏幕录制和辅助功能权限。

要使用 computer use，请授予：

  • Screen Recording 权限，以便 Codex 可以查看目标应用。
  • Accessibility 权限，以便 Codex 可以点击、输入和导航。

何时使用 computer use​

当任务依赖图形用户界面，且难以仅通过文件或命令输出进行验证时，请选择 computer use。

适合的场景包括：

  • 测试 Codex 正在构建的 macOS 应用、iOS 模拟器流程或其他桌面应用。
  • 执行需要你的网页浏览器的任务。
  • 复现仅出现在图形界面中的 bug。
  • 更改需要通过 UI 点击完成的应用设置。
  • 检查某个无法通过插件获取的应用或数据源中的信息。
  • 在后台运行一个范围明确的任务，同时你继续处理别的工作。
  • 执行跨多个应用的工作流。

对于你在本地构建的 Web 应用，请先使用应用内浏览器。

启动 computer use 任务​

在提示词中提及 @Computer 或 @AppName，或者要求 Codex 使用 computer use。描述 Codex 应操作的确切应用、窗口或流程。

使用 computer use 打开应用，复现 onboarding bug，并修复导致它的最小代码路径。每次修改后，再次运行相同的 UI 流程。
打开 @Chrome，并验证 checkout 页面在最新更改后仍然正常工作。

如果目标应用提供了专用插件或 MCP server，请优先使用该结构化集成来进行数据访问和可重复操作。当 Codex 需要以视觉方式检查或操作应用时，再选择 computer use。

权限和批准​

computer use 的 macOS 系统权限与 Codex 中的应用批准是分开的。macOS 权限让 Codex 可以查看和操作应用。应用批准决定了你允许 Codex 使用哪些应用。文件读取、文件编辑和 shell 命令仍然遵循该线程的沙箱和批准设置。

借助 computer use，Codex 只能在你允许的应用中查看和执行操作。在任务期间，Codex 会在使用你电脑上的某个应用之前请求你的许可。你可以选择 Always allow，这样 Codex 以后使用该应用时就无需再次询问。你可以在 Codex 设置的 Computer Use 部分中，将应用从 Always allow 列表中移除。

Codex 应用请求使用 computer use 操作 Calculator 的权限

Codex 在执行敏感或破坏性操作之前，也可能会请求许可。

如果 Codex 无法查看或控制某个应用，请打开 System Settings > Privacy & Security，并检查 Codex 应用的 Screen Recording 和 Accessibility 设置。

安全指南​

借助 computer use，Codex 可以查看屏幕内容、截取屏幕截图，并与目标应用中的窗口、菜单、键盘输入和剪贴板状态进行交互。请将可见的应用内容、浏览器页面、屏幕截图以及在目标应用中打开的文件视为 Codex 在任务运行期间可能处理的上下文。

请将任务范围保持狭窄，并在敏感流程中保持在场：

  • 一次只给 Codex 一个明确的目标应用或流程。
  • 你可以随时停止任务或接管你的电脑。
  • 除非任务需要，否则请关闭敏感应用。
  • 避免需要秘密信息的任务，除非你在场并且可以批准每一步。
  • 在允许 Codex 使用某个应用之前，请查看应用权限提示。
  • 仅对你信任 Codex 在未来任务中自动使用的应用使用 Always allow。
  • 对于账户、安全、隐私、网络、付款或凭据相关设置，请保持在场。
  • 如果 Codex 开始与错误的窗口交互，请取消任务。

如果 Codex 使用你的浏览器，它可以与您已登录的页面交互。请像亲自执行这些操作一样审查网站操作：网页可能包含恶意或误导性内容，而网站可能会将已批准的点击、表单提交和登录状态下的操作视为来自你的账户。若要在 Codex 工作时继续使用你的浏览器，请要求 Codex 使用其他浏览器。

该功能无法自动化终端应用或 Codex 本身，因为自动化它们可能绕过 Codex 安全策略。它也无法以管理员身份进行身份验证，或批准你电脑上的安全与隐私权限提示。

在适用情况下，文件编辑和 shell 命令仍然遵循 Codex 的批准和沙箱设置。通过桌面应用进行的更改，在保存到磁盘并被项目跟踪之前，可能不会出现在审查面板中。你的 ChatGPT 数据控制适用于通过 Codex 处理的内容，包括由 computer use 截取的屏幕截图。