更适合 Agent 的评估。

1import { defineEval } from "niceeval";
2import { pattern } from "niceeval/expect";
3
4export default defineEval({
5  judge: true,
6  description: "评估 agent 在多轮对话中多模态的能力",
7
8  async test(t) {
    const first = await t.sendFile("evals/sample.png", "这张图片里有什么？");
    await first.succeeded().orStop();
    first.usedNoTools();
    const second = await t.send("图片里的背景是什么颜色？");
    t.check(second.message, pattern(/蓝|blue|白|方块|square/i));
    const third = await t.send("中间那个形状是什么颜色的？");
15
16    await t.group("后续追问能联系图片上下文", () => {
      t.check(third.message, pattern(/白|white/i));
18    });
19
20    t.judge.autoevals
21      .closedQA("助手是否在三轮对话中始终基于第一轮发送的图片内容作答，而不是凭空发挥？", {
22        input: "用户先询问一张蓝底白色方块图片，再追问背景和中间形状的颜色。",
23        output: [first.message, second.message, third.message].join("\n"),
24      })
      .gate(0.7);1/0.7
26  },
27});