把结果上报到 Braintrust 与其它目的地

• niceeval.config.ts 的 reporters：观测整次运行的每个评估用例。共享目的地（比如一个 Braintrust 实验）通常写在这里。
• 单个评估用例的 reporters：实例只观测引用它的评估用例。多个评估用例引用同一个实例时合并观测，结果落进同一个目的地；已经写在 config 里的实例在评估用例上再列一遍也不会重复上报。

​

Braintrust

import { defineConfig } from "niceeval";
import { Braintrust } from "niceeval/reporters";

export default defineConfig({
  reporters: [Braintrust({ project: "weather-agent" })],
});

import { defineEval } from "niceeval";
import { Braintrust } from "niceeval/reporters";

export default defineEval({
  reporters: [Braintrust({ project: "weather-agent" })],
  async test(t) {
    await t.send("北京今天适合骑车吗?");
    t.succeeded();
  },
});

​

上报口径

• 每个 attempt 是 Braintrust 里的一行；runs: 3 会产生三行，靠 metadata 里的 attempt 区分。
• soft 断言按名字记为 score；gate 断言记在 gate: 前缀下。这样在 Braintrust 的实验对比里，gate 回归和 soft 分数回归用同一套 diff 看。
• metrics 带开始/结束时间、token 用量和估算成本；缺的数据不写，不补零。
• metadata 带 agent、model、experiment、flags、verdict 和失败断言明细，方便在 Braintrust 里按维度过滤。

​

配置项

​

JUnit 与 Json

​

自定义 reporter

import type { Reporter } from "niceeval";

const notify: Reporter = {
  async onEvalComplete(result) {
    if (result.verdict === "failed") {
      await fetch("http://localhost:3000/notify", {
        method: "POST",
        body: JSON.stringify({ eval: result.id, agent: result.agent }),
      });
    }
  },
};

• onRunStart(evals, agent, shape)：运行开始，收到本次实际要跑的评估用例列表和运行规模。
• onEvalComplete(result)：每个 attempt 完成即时触发，回调串行化，不会交错。
• onRunComplete(summary)：运行结束，收到聚合汇总。
• onEvent(event)：更细粒度的事件流（eval:start、run:budgetExceeded 等）。