defineEval 是编写 eval 的主要入口。每个 eval 文件调用一次，传入描述和 test(t)，并默认导出结果。
import { defineEval } from "niceeval";
export default defineEval({
description: "Brooklyn weather query",
async test(t) {
await t.send("What's the weather like in Brooklyn today?");
t.succeeded();
},
});
不要提供 id 或 name。niceeval 从文件路径推导 eval ID。
defineEval 选项
当前 eval 使用的 agent 名。省略时使用配置或 CLI 的默认值。
test
(t: TestContext) => Promise<void>
必填
eval 主体。你在这里驱动 agent 并声明断言。
Test context: t
总是可用
t.send(text)
(text: string) => Promise<Turn>
给 agent 发送消息，并返回当前 turn。
t.check(value, assertion)
(value: unknown, assertion: Assertion) => void
记录值断言，失败不会立即中断 test。
t.require(value, assertion)
(value: unknown, assertion: Assertion) => void
记录前置条件断言，失败会立即中断 test。
对话能力
当前 session 中最后一条 assistant 文本回复。
工具可观测性
t.calledTool(name, opts?)
断言某个工具被调用。
t.notCalledTool(name, opts?)
断言某个工具未被调用。
Workspace / sandbox 能力
t.check(commandResult, commandSucceeded())
断言 sandbox 验证测试通过。
Judge 断言
t.judge.autoevals.factuality(expected, { on: t.reply }).atLeast(0.8);
t.judge.autoevals.closedQA(question, { on: t.reply }).atLeast(0.7);
t.judge.autoevals.closedQA(rubric, { on: t.reply }).atLeast(0.75);
Turn 返回类型
status
"completed" | "failed" | "waiting"
当前 turn 状态。
数据集导出
export default rows.map((row) =>
defineEval({
description: row.task,
async test(t) {
await t.send(row.prompt);
},
}),
);
file/0000、file/0001 等。