NiceEval Taste：写出一眼能看懂判据的评估

import { defineScoreEval } from "niceeval";
import { atMost, jsonMatch, toolMatch } from "niceeval/expect";

export default defineScoreEval({
  description: "查天气后给出有依据的出门建议",
  async test(t) {
    const weather = await t.send("查询台北当前天气，温度使用摄氏度。");
    await weather.succeeded().gate().orStop();

    // 本轮必须完成正确查询，不能借用其它轮次的工具调用。
    await weather.calledTool(toolMatch("get_weather", {
      input: jsonMatch({ city: "Taipei", unit: "celsius" }),
      status: "completed",
    }).exactly(1)).gate().score(20).label("正确查询").orStop();

    const advice = await t.send("根据刚才查到的天气，说明是否需要带伞及理由。");
    await advice.succeeded().gate().orStop();

    // 验收需要查询结果和后续建议，交给 Judge 的是完整交互历史。
    t.closeQA("最后的带伞建议是否符合工具返回的天气，且理由没有编造天气事实？", {
      maxMaterialBytes: 256 * 1024,
      maxAuditBytes: 1024 * 1024,
    }).score(80).label("建议有依据");

    t.check(t.usage.totalTokens, atMost(10_000)).gate().label("用量上限");
    t.check(t.elapsedMs, atMost(30_000)).gate().label("运行耗时上限");
  },
});

import { and, countWhere, equals, greaterThan } from "niceeval/expect";

// 指定人物中，生命值恰为 0 的有 3 个。
t.hp(npcMatch({ ids }), countWhere(equals(0), equals(3))).gate();

// 同一行动的身份、模型结果、决策采用与操作类型必须同时满足。
t.systemOne(and(
  npcMatch({ id }),
  modelMatch({ outcome: "succeeded" }),
  decisionMatch({ outcome: "adopted" }),
  operationMatch({ ids: operationIds }),
)).gate();

// 选择指定货箱，要求它仍有耐久且位于目标位置。
t.objects(
  objectMatch({ id: 剧本.carry.objectId }),
  and(
    durabilityMatch(greaterThan(0)),
    positionMatch({ map: 剧本.map.name, ...剧本.destination }),
  ),
).score(50);

import { defineAdapter, type AdapterCreateContext } from "niceeval";
import {
  atLeast, atMost, countWhere, defineContextMatch, defineMaterialMatch,
  equals, filterWhere, mapEach, mapValue,
  type BooleanMatch, type CollectionValue, type MaterialCollection, type MatchFact,
  type NumericMaterial,
} from "niceeval/expect";

export type Speech = {
  readonly actorId: string;
  readonly text: string;
  readonly delivered: boolean;
  readonly modelOrigin: "verified" | "unknown";
};
export type Completion =
  | { readonly completed: true; readonly eventId: string; readonly businessSeconds: number }
  | { readonly completed: false; readonly observationEndId: string };
export type SupportFacts = {
  readonly speeches: MaterialCollection<Speech>;
  readonly completion: MatchFact<Completion>;
};

export const 人物 = (actorId: string) =>
  mapValue("人物", (speech: Speech) => speech.actorId, equals(actorId));

export const 发言材料 = (match: BooleanMatch<Speech, Speech>) =>
  defineMaterialMatch<SupportFacts, Speech>({
    name: "actor-speeches",
    read: ctx => ctx.speeches,
    match,
    capture: { maxItems: 1024, maxBytes: 512 * 1024,
      maxNodes: 65536, maxDepth: 32 },
  });

export function createSupportReview(
  observe: (ctx: AdapterCreateContext) => Promise<SupportFacts>,
) {
  const adapter = defineAdapter({
    name: "support-review",
    create: observe,
    assertions({ check }) {
      return {
        said(match: BooleanMatch<Speech, Speech>) {
          return check(发言材料(match));
        },
        speechDelivery(
          selector: BooleanMatch<Speech, Speech>,
          aggregate: BooleanMatch<CollectionValue<boolean>, CollectionValue<boolean>>,
        ) {
          return check(defineContextMatch<SupportFacts, MaterialCollection<Speech>>({
            name: "speech-delivery",
            read: ctx => ({ state: "available", value: ctx.speeches }),
            match: filterWhere(selector, mapEach(
              (speech: Speech) => speech.delivered, aggregate,
            )),
          }));
        },
      };
    },
  });
  const evaluation = adapter.defineScoreEval({
    description: "客服正式发言质量与任务完成效率",
    test(t) {
      // 参与是加分；至少一次送达是这道题独立的业务门槛。
      t.said(人物("agent")).score(5).label("参与交流");
      t.speechDelivery(人物("agent"), countWhere(equals(true), atLeast(1)))
        .gate().label("至少一次送达");

      // 全部发言参与质量判断；不按送达或模型来源筛选。
      t.closeQA(发言材料(人物("agent")), "每句发言是否自然完整、意思清楚？", {
        maxMaterialBytes: 256 * 1024,
        maxAuditBytes: 1024 * 1024,
      }).score(45).label("表达质量");

      // 普通公式就在正文；未知仍占固定权重，不能当作未完成的 0。
      const completion = t.completion;
      const ratio: number | NumericMaterial = completion.state === "unavailable"
        ? { state: "unavailable", reason: completion.reason }
        : completion.value.completed
          ? Math.max(0, 1 - completion.value.businessSeconds / 180)
          : 0;
      t.score(ratio, { weight: 50 }).label("完成耗时");

      const usage = t.usage;
      t.check(usage.totalTokens, atMost(10_000)).gate().label("用量上限");
      t.check(t.elapsedMs, atMost(30_000)).gate().label("运行耗时上限");
    },
  });
  return { adapter, evaluation };
}

场景：甲不知道路线；乙知道路线；两者处于可交谈范围。
目标：甲问路后自主前往指定地点，与乙会面。

观察：运行应用直到任务结束或业务观察期限到达。

前提：确认当前 Attempt 的对话、行动和结果记录完整可关联。
      无法确认则报告证据不可用，停止依赖它们的检查。

检查点一：存在甲向乙送达的问路发言。
          通过门槛；同一发言同时满足人物、接收者与送达事实。

检查点二：分别选择与两个验收问题对应的完整材料。
          表达质量：甲全部正式发言是否自然、完整，可结合上下文理解？权重 2。
          不排除无人听见、内容错误或模型来源尚未核验的发言。
          信息有效：实际送达对话是否给出足以找到目标地点的信息？权重 3。
          同时提供该场景的正式地图与目标信息作为判断依据。
          模型来源另行检查；来源不明不能当作模型已自主表达。

检查点三：甲的模型选择了移动；应用实际执行；最终到达并会面。
          三项分别记录；最终会面必须关联到甲的自主行动。
          自主会面设为通过门槛，并计 5 分；玩家代走不得满足。

结果：逐项显示判断与理由。完整评分范围为 0 至 10 分。
      未通过门槛仍保留已取得分数；证据不可用不伪造完整零分。