自定义应用的评估判据：业务事实、领域 Match 与普通计算

import { and, countWhere, equals, greaterThan } from "niceeval/expect";

// 指定人物中，生命值恰为 0 的有 3 个。
t.hp(npcMatch({ ids }), countWhere(equals(0), equals(3))).gate();

// 同一行动的身份、模型结果、决策采用与操作类型必须同时满足。
t.systemOne(and(
  npcMatch({ id }),
  modelMatch({ outcome: "succeeded" }),
  decisionMatch({ outcome: "adopted" }),
  operationMatch({ ids: operationIds }),
)).gate();

// 选择指定货箱，要求它仍有耐久且位于目标位置。
t.objects(
  objectMatch({ id: 剧本.carry.objectId }),
  and(
    durabilityMatch(greaterThan(0)),
    positionMatch({ map: 剧本.map.name, ...剧本.destination }),
  ),
).score(50);

import { defineAdapter, type AdapterCreateContext } from "niceeval";
import {
  atLeast, atMost, countWhere, defineContextMatch, defineMaterialMatch,
  equals, filterWhere, mapEach, mapValue,
  type BooleanMatch, type CollectionValue, type MaterialCollection, type MatchFact,
  type NumericMaterial,
} from "niceeval/expect";

export type Speech = {
  readonly actorId: string;
  readonly text: string;
  readonly delivered: boolean;
  readonly modelOrigin: "verified" | "unknown";
};
export type Completion =
  | { readonly completed: true; readonly eventId: string; readonly businessSeconds: number }
  | { readonly completed: false; readonly observationEndId: string };
export type SupportFacts = {
  readonly speeches: MaterialCollection<Speech>;
  readonly completion: MatchFact<Completion>;
};

export const 人物 = (actorId: string) =>
  mapValue("人物", (speech: Speech) => speech.actorId, equals(actorId));

export const 发言材料 = (match: BooleanMatch<Speech, Speech>) =>
  defineMaterialMatch<SupportFacts, Speech>({
    name: "actor-speeches",
    read: ctx => ctx.speeches,
    match,
    capture: { maxItems: 1024, maxBytes: 512 * 1024,
      maxNodes: 65536, maxDepth: 32 },
  });

export function createSupportReview(
  observe: (ctx: AdapterCreateContext) => Promise<SupportFacts>,
) {
  const adapter = defineAdapter({
    name: "support-review",
    create: observe,
    assertions({ check }) {
      return {
        said(match: BooleanMatch<Speech, Speech>) {
          return check(发言材料(match));
        },
        speechDelivery(
          selector: BooleanMatch<Speech, Speech>,
          aggregate: BooleanMatch<CollectionValue<boolean>, CollectionValue<boolean>>,
        ) {
          return check(defineContextMatch<SupportFacts, MaterialCollection<Speech>>({
            name: "speech-delivery",
            read: ctx => ({ state: "available", value: ctx.speeches }),
            match: filterWhere(selector, mapEach(
              (speech: Speech) => speech.delivered, aggregate,
            )),
          }));
        },
      };
    },
  });
  const evaluation = adapter.defineScoreEval({
    description: "客服正式发言质量与任务完成效率",
    test(t) {
      // 参与是加分；至少一次送达是这道题独立的业务门槛。
      t.said(人物("agent")).score(5).label("参与交流");
      t.speechDelivery(人物("agent"), countWhere(equals(true), atLeast(1)))
        .gate().label("至少一次送达");

      // 全部发言参与质量判断；不按送达或模型来源筛选。
      t.closeQA(发言材料(人物("agent")), "每句发言是否自然完整、意思清楚？", {
        maxMaterialBytes: 256 * 1024,
        maxAuditBytes: 1024 * 1024,
      }).score(45).label("表达质量");

      // 普通公式就在正文；未知仍占固定权重，不能当作未完成的 0。
      const completion = t.completion;
      const ratio: number | NumericMaterial = completion.state === "unavailable"
        ? { state: "unavailable", reason: completion.reason }
        : completion.value.completed
          ? Math.max(0, 1 - completion.value.businessSeconds / 180)
          : 0;
      t.score(ratio, { weight: 50 }).label("完成耗时");

      const usage = t.usage;
      t.check(usage.totalTokens, atMost(10_000)).gate().label("用量上限");
      t.check(t.elapsedMs, atMost(30_000)).gate().label("运行耗时上限");
    },
  });
  return { adapter, evaluation };
}

场景：甲不知道路线；乙知道路线；两者处于可交谈范围。
目标：甲问路后自主前往指定地点，与乙会面。

观察：运行应用直到任务结束或业务观察期限到达。

前提：确认当前 Attempt 的对话、行动和结果记录完整可关联。
      无法确认则报告证据不可用，停止依赖它们的检查。

检查点一：存在甲向乙送达的问路发言。
          通过门槛；同一发言同时满足人物、接收者与送达事实。

检查点二：分别选择与两个验收问题对应的完整材料。
          表达质量：甲全部正式发言是否自然、完整，可结合上下文理解？权重 2。
          不排除无人听见、内容错误或模型来源尚未核验的发言。
          信息有效：实际送达对话是否给出足以找到目标地点的信息？权重 3。
          同时提供该场景的正式地图与目标信息作为判断依据。
          模型来源另行检查；来源不明不能当作模型已自主表达。

检查点三：甲的模型选择了移动；应用实际执行；最终到达并会面。
          三项分别记录；最终会面必须关联到甲的自主行动。
          自主会面设为通过门槛，并计 5 分；玩家代走不得满足。

结果：逐项显示判断与理由。完整评分范围为 0 至 10 分。
      未通过门槛仍保留已取得分数；证据不可用不伪造完整零分。