NiceEval：面向 Agent 的评估工具

// evals/eval-tool-call.eval.ts
import { defineEval } from "niceeval";
import { includes } from "niceeval/expect";

export default defineEval({
  judge: true,
  description: "测试 agent 在实时天气问题中正确调用工具并基于结果作答的能力",

  async test(t) {
    const turn = await t.send("北京今天天气怎么样？");
    turn.succeeded().label("Turn 成功");

    await t.group("调用 get_weather 且回答天气", () => {
      t.calledTool("get_weather").label("调用天气工具");
      t.check(turn.message, includes("天气")).label("说明天气");
    });

    const second = await t.send("上海明天天气怎么样?");
    t.check(second.message, includes("上海")).label("第二轮回答上海");

    turn.judge.autoevals.closedQA("助手是否基于工具返回的天气数据作答？")
      .atLeast(0.7)
      .label("回答有依据");
  },
});

pnpm exec niceeval exp local eval-tool-call  # 用 local experiment 只跑 eval-tool-call
pnpm exec niceeval show             # 当前项目全部仍有效的结果，适合人和 AI
pnpm exec niceeval view             # 在网页中浏览同一份 Sample