运行前先看计划
加上--dry,NiceEval 只列计划,不调用模型,也不创建 Sandbox:
reused 0 表示第 0 次 Attempt 会沿用,source 后是旧结果 locator;gap 0:... 表示该槽位不能沿用,后面给出原因与差异。
上面第二行表示这道题的评估用例文件内容变了。改模型会显示 config:model,改判分标准文件会显示 data: 开头的路径。
结果和你预期的不一样时,先看这些具体差异。例如你只改了报告里的分组名,却看到整批要重跑,差异会指出一起变了的那项输入。
看到 locked · gap 0:source-member-missing 时,表示检测到了执行锁,而对应槽位还没有发布成员;它不是一次新的失败判定。
先等持锁执行结束,用 niceeval show run:<run-id> 查看,再运行 --dry。状态词、全部缺口代码和处理命令见 CLI Reference。
结构化值可能只保存了有界摘要。两侧的 summary sha256: 用来区分摘要;若显示 comparison unavailable,说明现有摘要无法解释具体差异。
这不会改变沿用决定。先用 --dry --json 查看已保存的比较信息,确认范围和费用后再执行。
哪些结果会被沿用
一个旧 Attempt 同时满足下面几条才会被自动沿用:- 它已经有明确结论,
passed或failed。errored说明上次没跑成,总会重跑。 - 评估用例、Fixture、模型、Agent、判分标准和运行条件都和这次相同。
- 它的耗时没有超过这次的
timeout。 - 这次的
--rerun没有要求重跑它。 - 这次没有用
--keep-sandbox要求真实执行。
description 或 labels 不会让旧结果失效。评估用例的执行内容或实际依赖变化会让这道题重跑;
普通注释、缩进与空行在规范化源码相同时不影响沿用。
控制重跑范围
--rerun 等于 --rerun failed,已经通过的题不会重跑。要连通过的一起重做,必须写 --rerun all。
--rerun 只影响这一次运行,不会改动已有的结果。
确认旧结果在新配置下仍然成立
有时改动会让 NiceEval 判定旧结果不能沿用,但你知道它其实不受影响。例如你把基础镜像迁到了新仓库,镜像内容一字节没变,只是地址换了。NiceEval 不会替你猜,需要你明确接受,它再自己验证这次变化确实不影响结果:accept 会新建一个 Run 引用这个旧 Attempt,原 Attempt 保持不变。要接受多条时,把所有 locator 写进同一条命令,NiceEval 会先检查全部输入,不会只接受一半。
只有少数几种可以验证的变化能被接受。模型、flags、Judge、任务或判分标准变了,accept 会拒绝,这时应该重跑。
怎样取得候选 locator、接受前要核对什么,见审阅并采用历史 Attempt。
升级 NiceEval 之后
升级后先确认存储能否打开,再预览哪些评估需要执行:niceeval-identity-changed 表示库的内容或行为输入不同;config:、source:、data: 等条目说明项目输入的差异。
输入不同的结果需要重新执行,accept 不用于确认库升级后的等价。
重跑之前核对范围和费用,只运行已获授权的评估。
普通注释、缩进与空行在规范化源码相同时不会使结果失效。
字符串、编译指令、实际依赖以及影响自动分号插入的换行仍属于输入。
出现 dynamic-module-unresolved 时,计划给出无法确定依赖的文件与行列;使用字面量导入或受管 loader 后可以恢复结果沿用。
跑完之后看结果
运行结束时,终端的NEXT 面板会列出这次新建的 Run,并给出在终端和浏览器里查看它的两条命令:
show run:<run-id> 读取已发布的 Attempt;尚未完成的位置显示为 pending。
想看每格当前阶段与 Sandbox 实例时,用 niceeval invocation show <invocation-id>。
查看结果的完整方式见查看运行结果。沿用和重跑的判定原理见 Runner。