评测 RAG 与知识库助手：检索、依据与防幻觉

// evals/rag-search.eval.ts
import { defineEval } from "niceeval";
import { jsonMatch, toolMatch } from "niceeval/expect";

export default defineEval({
  description: "准确调用检索工具并传递正确查询实体",
  async test(t) {
    const turn = await t.send("帮我查一下 2026 年夏季产品退换货政策。");
    turn.succeeded().label("Turn 成功");

    // 检查是否调用了检索工具，且查询词包含核心实体
    turn.calledTool(
      toolMatch("knowledge_search", {
        input: jsonMatch({ query: /退换货政策/ }),
      })
    ).label("发起知识库检索");
  },
});

import { includes, pattern } from "niceeval/expect";

// 检查是否包含统一的文档引用格式，如 [doc-1] 或【参考来源】
t.check(turn.reply, pattern(/\[doc-\d+\]|【参考来源】/)).label("包含文档引用标记");

// 检查是否准确提到了关键政策条款
t.check(turn.reply, includes("7天无理由退货")).label("说明退货期限");

// evals/rag-groundedness.eval.ts
import { defineEval } from "niceeval";
import { defineJudge } from "niceeval/expect";

const groundednessJudge = defineJudge({ rubric: "评估 answer 中的事实声明是否完全由 context 支持。如果 answer 包含 context 中没有提及的政策细节或条款，判为不通过。",
});

export default defineEval({
  description: "回答内容完全忠实于检索结果",
  judge: groundednessJudge,
  async test(t) {
    const turn = await t.send("退货运费由谁承担？");
    turn.succeeded();

    // 假定检索到的上下文片段
    const retrievedDocs = "非质量问题退换货，退回运费由买家自行承担；质量问题由平台承担。";

    t.judge(
      {
        question: turn.input,
        context: retrievedDocs,
        answer: turn.reply,
      },
      groundednessJudge
    ).gate(0.8).label("回答完全忠实于上下文");
  },
});

// evals/rag-refusal.eval.ts
import { defineEval } from "niceeval";
import { pattern } from "niceeval/expect";

export default defineEval({
  description: "知识库无对应内容时诚实拒答",
  async test(t) {
    // 提问一个知识库明确没有收录的无关问题
    const turn = await t.send("公司今年内部晋升答辩的时间表是什么？");
    turn.succeeded();

    // 检查回复是否表达了未找到相关信息或建议咨询对应部门
    t.check(
      turn.reply,
      pattern(/未找到|暂无相关|未查询到|没有记录|无法解答/)
    ).label("明确说明未检索到信息");
  },
});