声明 CLI 的版本和安装方式
先在 Agent 上写清楚要哪个 CLI、哪个版本、怎么装。Node.js CLI 用createNpmCliInstaller。下面的代码把 npm 包 my-agent@1.0.0 接进一个自定义 Adapter:
my-agent run --json 输出一个和 OpenAI Responses 兼容的 JSON 对象。turnFromResponses 把其中的 output 和用量转成 NiceEval 的 Turn。CLI 输出的是别的格式时,把这一行换成你自己对 events、status 和 usage 的映射,写法见编写 Send。
identity.version写 CLI 的精确版本,不要写latest。版本悄悄变了,两次评估比的就不是同一个 Agent。- 版本不变、但安装步骤改了时,同时提高
identity.revision。 setup只写鉴权和运行配置。安装交给installer,这样每个 Attempt 开始前都会先检查版本。progress里的文案会在检查、安装和就绪时显示在终端上。
在 Experiment 中运行
把 Agent 和 Sandbox Provider 放进 Experiment:progress 里的检查、安装和就绪文案。Sandbox 里已经有正确版本时,NiceEval 直接使用它,跳过安装。跑完后用 pnpm exec niceeval show 在终端看结果,或用 pnpm exec niceeval view 在浏览器里看。
普通 npm 包要求 Sandbox 里有 Node.js 和 npm。createNpmCliInstaller 在宿主机打包、上传,再在 Sandbox 里执行 npm install -g。只有自带运行时的 platformPackage 才不需要 Node.js 和 npm。
安装层可以提供 repair(sandbox, context),在版本正确但缺少链接等条件时就地补齐。NiceEval 先运行它,再用原来的探测复检;命中后跳过 payload 准备和上传。修复只使用已有安装,不联网、不下载、不换版本;抛错或复检未命中时才继续安装。progress.repairing 提供修复期间的终端文案,verify-only 始终不执行修复。
codexAgent 自带这项修复:npm 安装的 JS 启动器满足锁定版本时,会从已有安装中找到原生二进制并补上登录 shell 的 apply_patch 链接。
检查安装失败
安装或安装后的复检失败时,这个 Attempt 会在agent.install 阶段变成 errored,终端会给出它的 locator:
identity、npm 包或安装步骤后,重新运行原命令。
选择其他安装模式
宿主机打包上传不适合你的场景时,AgentInstaller 还有两种模式:
sandbox-network:让 Sandbox 用自己的网络安装 CLI。只在题目明确允许这种网络访问时使用。verify-only:只接受镜像里预装好的精确版本。版本不对时,Attempt 直接报错,不尝试安装。
AgentInstaller。完整字段见 defineSandboxAgent 参考。