在一批评估中复用 Sandbox

import { defineExperiment } from "niceeval";
import { e2bSandbox } from "niceeval/sandbox";
import { codexAgent } from "niceeval/adapter";

export default defineExperiment({
  evals: ["react-datepicker/"],
  agent: codexAgent(),
  sandbox: e2bSandbox({
    template: "acme-evals",
    lifetimeMs: 60 * 60_000,   // ① Sandbox 的寿命：复用时必填，不填在派发前报错
  }),
  sandboxReuse: true,          // ② 声明复用
  maxConcurrency: 3,           // ③ 几条 Sandbox 泳道并行，每条依次承接多个 Attempt
  timeoutMs: 20 * 60_000,
});

export default defineExperiment({
  sandbox: e2bSandbox({ template: "mempal" })
    .before(async (sandbox, context) => {
      await restoreMempal(sandbox);
      context.onCleanup(async (sandbox) => {
        await saveMempal(sandbox);
      });
    }),
  sandboxReuse: true,
  maxConcurrency: 1,
  sharedState: { key: "mempal/codex/cohort-a" },
});

# 反例：探测到就整块跳过。rustup 装了一半（有 cargo、没配默认工具链）时，
# 探测通过、安装跳过，下一步 cargo build 报错，整个 Attempt errored。
if ! command -v cargo; then curl https://sh.rustup.rs | sh; fi

# 正例：把目标状态直接声明出来，重复多少次都得到同一个结果。
rustup default 1.79.0
npm install          # 按 package.json/lockfile 装齐，本身就可以重复执行

# 1. 改完公共配置，先看计划再花钱
pnpm exec niceeval exp smoke memory/commit0 --dry

# 2. 用声明了 sandboxReuse 的实验，快速过一遍
pnpm exec niceeval exp smoke memory/commit0

# 3. 某道题失败，换一个不声明复用的实验单独重跑，保留现场
pnpm exec niceeval exp baseline memory/commit0/tool-first --keep-sandbox

# 4. 修完，用不声明复用的实验验证，得到可信的结果
pnpm exec niceeval exp baseline memory/commit0

export default defineExperiment({
  // 不声明 sandboxReuse：每个 Attempt 用全新 Sandbox，不留任何残留
  maxConcurrency: 8,   // 照样并行
  // ...
});