跳转到主要内容
你修好了 Agent 的一个工具调用 bug,想确认它真的修好了。一整套评估要跑一个小时、花几十美元,而这次改动只影响其中几道题。 NiceEval 会记住每道题上次的结果。再次运行同一个 Experiment 时,没受这次改动影响、上次已经有结论的题直接沿用旧结果,其余的重新跑。你不需要手动挑题。

运行前先看计划

加上 --dry,NiceEval 只列计划,不调用模型,也不创建 Sandbox:
每行是实验与评估用例的组合。reused 0 表示第 0 次 Attempt 会沿用,source 后是旧结果 locator;gap 0:... 表示该槽位不能沿用,后面给出原因与差异。 上面第二行表示这道题的评估用例文件内容变了。改模型会显示 config:model,改判分标准文件会显示 data: 开头的路径。 结果和你预期的不一样时,先看这些具体差异。例如你只改了报告里的分组名,却看到整批要重跑,差异会指出一起变了的那项输入。 看到 locked · gap 0:source-member-missing 时,表示检测到了执行锁,而对应槽位还没有发布成员;它不是一次新的失败判定。 先等持锁执行结束,用 niceeval show run:<run-id> 查看,再运行 --dry。状态词、全部缺口代码和处理命令见 CLI Reference。 结构化值可能只保存了有界摘要。两侧的 summary sha256: 用来区分摘要;若显示 comparison unavailable,说明现有摘要无法解释具体差异。 这不会改变沿用决定。先用 --dry --json 查看已保存的比较信息,确认范围和费用后再执行。

哪些结果会被沿用

一个旧 Attempt 同时满足下面几条才会被自动沿用:
  • 它已经有明确结论,passed 或 failed。errored 说明上次没跑成,总会重跑。
  • 评估用例、Fixture、模型、Agent、判分标准和运行条件都和这次相同。
  • 它的耗时没有超过这次的 timeout。
  • 这次的 --rerun 没有要求重跑它。
  • 这次没有用 --keep-sandbox 要求真实执行。
只改 Experiment 的 description 或 labels 不会让旧结果失效。评估用例的执行内容或实际依赖变化会让这道题重跑; 普通注释、缩进与空行在规范化源码相同时不影响沿用。

控制重跑范围

单独写 --rerun 等于 --rerun failed,已经通过的题不会重跑。要连通过的一起重做,必须写 --rerun all。 --rerun 只影响这一次运行,不会改动已有的结果。

确认旧结果在新配置下仍然成立

有时改动会让 NiceEval 判定旧结果不能沿用,但你知道它其实不受影响。例如你把基础镜像迁到了新仓库,镜像内容一字节没变,只是地址换了。NiceEval 不会替你猜,需要你明确接受,它再自己验证这次变化确实不影响结果:
accept 会新建一个 Run 引用这个旧 Attempt,原 Attempt 保持不变。要接受多条时,把所有 locator 写进同一条命令,NiceEval 会先检查全部输入,不会只接受一半。 只有少数几种可以验证的变化能被接受。模型、flags、Judge、任务或判分标准变了,accept 会拒绝,这时应该重跑。 怎样取得候选 locator、接受前要核对什么,见审阅并采用历史 Attempt。

升级 NiceEval 之后

升级后先确认存储能否打开,再预览哪些评估需要执行:
NiceEval 只读取当前存储格式。格式不符时,命令保留原文件并明确拒绝。 停止仍在使用它的进程,归档旧存储后在新结果目录重跑;不要删改数据库字段来绕过检查。 存储可读时,计划分别说明用户输入与 NiceEval 自身的变化。 niceeval-identity-changed 表示库的内容或行为输入不同;config:、source:、data: 等条目说明项目输入的差异。 输入不同的结果需要重新执行,accept 不用于确认库升级后的等价。 重跑之前核对范围和费用,只运行已获授权的评估。 普通注释、缩进与空行在规范化源码相同时不会使结果失效。 字符串、编译指令、实际依赖以及影响自动分号插入的换行仍属于输入。 出现 dynamic-module-unresolved 时,计划给出无法确定依赖的文件与行列;使用字面量导入或受管 loader 后可以恢复结果沿用。

跑完之后看结果

运行结束时,终端的 NEXT 面板会列出这次新建的 Run,并给出在终端和浏览器里查看它的两条命令:
沿用的题和重跑的题都会出现在这个 Run 里,通过率按完整的一批题计算。 运行期间也可用 show run:<run-id> 读取已发布的 Attempt;尚未完成的位置显示为 pending。 想看每格当前阶段与 Sandbox 实例时,用 niceeval invocation show <invocation-id>。 查看结果的完整方式见查看运行结果。沿用和重跑的判定原理见 Runner。