Skip to main content
运行评估使用 niceeval exp。NiceEval 提供三条读取路径:给 AI、脚本和 CI 的 niceeval query,给终端中人读的 niceeval show,以及在浏览器中审阅的 niceeval view。三者都经固定 Inspection operation 读取一个 PublicationCutoff 内的已发布事实;origin Run 仍为 active 的 Attempt 也可见。 将 niceeval exp 的人读输出接入管道时,stdout 仍会显示运行中的进度。每行带 Experiment、Eval 与 Attempt 序号;每个 Attempt 最多每秒输出一次变化,相同文本不会刷屏。终端中继续显示动态面板,脚本读取结构化结果时使用 --json。 用重复的 --experiment 精确选择多个实验,例如 niceeval exp --experiment baseline --experiment memory --max-concurrency 4。它们在同一次 Invocation 中共享并发限制和预算。重复 ID 只运行一次;任一 ID 不存在时,整次请求会在执行前失败。指定这些选项后,位置参数用于筛选评估用例。

niceeval query

query 是 versioned niceeval.query/v1 JSON operation protocol。成功和协议级领域失败都会向 stdout 写入恰好一个 JSON document。命令用法错误和无法形成 document 的进程失败只写 stderr。
  • discover 返回静态、紧凑的 operation ID catalog。它不接受 --record,也不读取 Record;它不会返回 request schema。
  • explain 验证完整 request,说明将运行的 operation 与合法的后续请求。
  • run 执行 request,并返回该 operation 的完整结果。
先调用 discover 确认当前版本有哪些 operation,再按本页或查看结果中的最小 request 构造请求,并用 explain 校验。不要猜字段,也不要用 SQL、JSON path 或公式拼出另一种查询语言。 continuation token 绑定 operation、规范化后的 request、source identity 和 PublicationCutoff。任一绑定变化都会得到 restart correction。

niceeval show

show 是固定的终端排版入口。省略 selector 时显示默认 overview。--run <run-id> 显示一个精确 Run,可重复传入。--experiment <experiment-id> 显示一个精确 Experiment,也可重复传入。 通过制显示 Verdicts 与 Pass rate;纯计分制显示 Verdicts 与 Score,不显示通过率。Score 的完整度只说明数值能否计算:failed + complete 必须显示失败并保留 earned score,只有 passed + complete 才进入成功排名。混合范围只在适用的行显示通过率。 完整评分且 Verdict 为 passed 时,人读详情显示 scored,浏览器显示“评分完成”。完整零分也表示评分完成,不表示目标已经达成,也没有默认通过阈值。failed gate 仍显示失败;partial 只保留已知分数下界,不称为有效评分。 @<locator> 选择一个 Attempt。它不能与 --run 或 --experiment 一起使用,后两者也不能一起使用。一个命令最多只能给出一个 Attempt locator。 在 Attempt 上,--source 显示已捕获的 source facts 和 Assertion sites。--execution 显示有界 execution outline,--timing 显示 timing activities。 --usage 显示 usage totals 和 observations,--diff 显示 file-change windows。这五个选项互斥,且都要求一个 Attempt locator。 --expand <stable-id> 只可与 --execution 一起使用。stable ID 必须是 outline 返回的 itemId、toolOccurrenceId 或 commandId,不能使用位置序号或旧式 execution handle。

niceeval view

view 是固定的第一方本地 Insight。省略 --run 时打开默认 overview;重复 --run 可预选多个 exact Run。它不接受位置参数,也不装载项目页面、主题、组件或 renderer。 --no-open 不请求操作系统打开浏览器。--port 选择 127.0.0.1 listener 的端口。SPA assets、本机授权 session 与 generation-bound Inspection endpoint 就绪后,命令向 stdout 写出一次可打开的 loopback URL。传入 --json 时改为输出 niceeval.view/v1 NDJSON 的 ready 与 closed lifecycle event。启动或运行失败通过退出码与 stderr 反馈。 View 只读取当前项目的 .niceeval/record.sqlite。新 publication 出现后,页面提示 refresh;用户确认后才切换到新的 cutoff。它不提供 --record、SQL、部署、分享、Report、Page、theme、renderer、route 或 operation 参数。

选择读取方式

CLI flags

下表从各命令自己的 option schema 生成。表中没有出现的 flag 会作为未知参数拒绝。 query、show 与 view 共享同一份 Inspection operation 结果,但不共享 formatter、路由、组件、主题或呈现 schema。 show @<locator> --execution 分别显示采集状态、生产者声明的完整性和分页状态。 即使当前页为空或已到末页,生产者的 partial 与限制原因仍会保留。 使用 --actor <id> 与 --type <event-type> 精确筛选事件;带 --continuation <token> 续读时保持相同筛选。 --expand <stable-id> 直接展开一项详情,与列表筛选和续页参数互斥。