niceeval exp 被 kill -9、CI 时限或断电直接中断时,进程没有机会收尾。已经跑完的 Attempt 仍保存在项目的 .niceeval/record.sqlite 里,可以照常查看;还没跑完的不会留下写了一半的结果。
正常按 Ctrl+C 或发送 SIGTERM 时,NiceEval 会自己收尾:保存已经完成的 Attempt,并把其余计划要跑的 Attempt 标成被中断。本页只处理进程没有机会收尾的情况。
先看保存下来的结果
列出这次运行创建过的 Run。如果你从--json 输出或 CI 日志里拿到了 invocationId,用它缩小范围:
pnpm exec niceeval view run:<run-id>。
被强杀的 Run 状态仍是 active。它会显示已经跑完的 Attempt,还没跑的显示为 pending。不要根据运行时长、PID 过期或心跳停止就认定它可以被接管。
不知道 Invocation ID 时,可以用 pnpm exec niceeval run list --state active --state recovering --experiment <experiment-prefix> --limit 20 找到待处理的 Run。--experiment 按路径前缀匹配;列表按新到旧排列,并说明省略了多少项。
owner 为 gone 表示已证明原进程终止;alive 表示观察时仍在运行;unknown 表示证据不足,并会写出原因。外部 Record 的 owner 始终显示为 unknown。这些都是观察时的结果,恢复时还会重新核实。
结束失去进程的 Run
确认原进程已经终止后,再执行恢复:run recover 会先核实原进程确实已经终止。核实通过后,它把 Run 标成 interrupted,并为没跑完的 Attempt 写明缺失原因。它不会删除 Run 或已经跑完的 Attempt,原进程即使残留也不能再写入。
证据不足时,命令会拒绝恢复。这时先确认原进程、CI job 和可能的远程 worker 都已停止,再重试。不要因为“已经等了很久”就绕过这个检查。
集合恢复会跳过 alive、unknown owner,并逐项报告原因。单项失败不阻止其余项,但整条命令会非零退出。JSON 模式需要 --yes;交互终端可以不传,核对候选后确认一次。
如果恢复本身被中断,Run 可能停在 recovering。确认上一次恢复进程已结束后,重试同一命令即可继续。它保留已发布的 Attempt,不会替你释放共享 State、执行 Experiment after 或清理 Sandbox。
补跑没完成的部分
需要拿到完整结果时,重新运行原来的 Experiment。新的运行会创建新的 Run;上次已经跑完、符合沿用条件的 Attempt 会被沿用,其余的重新跑。运行前可以先加--dry 看清哪些会沿用、哪些会重跑,规则见修改后只重跑受影响的评估。
收回强杀留下的 Sandbox
强杀时正在运行的 Sandbox 实例已委托给底层的原生成熟工具链,直接通过对应的 Provider CLI 查看和回收:- Docker 与 Compose:
niceeval.host和niceeval.keep-candidate=true都可能出现在活跃 Run 的容器上。标签不证明资源已遗留,不能仅按标签批量删除。 - 云端 Sandbox(Instabox / E2B):创建时发送服务端生命周期上限。到期动作与计费规则由 Provider 决定,客户端强杀后仍应通过原生工具核对资源状态。
- 保留现场:先确认无需继续排查,再删除指定实例,见保留 Sandbox 现场排查问题。
恢复共享状态租约
声明了sharedState.key 的 Experiment,同一个 key 同时只能有一次运行持有。原运行没有正常释放时,新的运行会一直等待,直到你显式恢复。
先运行不带 token 的检查命令,查看当前持有者的信息:
after。token 错误、token 已过期或 after 失败时,租约不会被释放,也不会影响之后新持有者的租约。修好 after 后,用当前显示的 token 再试。