Sandbox 模式
被测对象需要一个能改文件、跑命令的工作区
evals/*.eval.ts
▼
niceeval
发现评估用例、排期、判定、出报告
Agent 适配器（官方）
▼
Docker Sandbox
每个 Attempt 一个干净工作区
Codex / Claude Code
需要隔离工作区的应用
Fixture 写进这个工作区，跑完在里面收文件与命令结果。
;
[NiceEval](https://niceeval.com/) 是一个 Agent 评估工具，帮助团队衡量、评估并改进生产环境中的 AI。借助 NiceEval，团队可以比较模型、迭代 Agent、发现回归问题，并利用真实用户数据持续改进 AI 应用。
NiceEval 以本地优先为核心：你的评估在你自己的环境中运行。当团队需要分享评估结果、做回归跟踪时，可以通过 Report 上报到 BrainTrust 等平台，或者自定义报告导出。
它既能评估用于 Claude Code / Codex 的 Plugins、Hook 和 Skill，也能直接评你自己的 AI Agent 应用。无论你的 Agent 基于 AI SDK、LangGraph、Pi 还是自研 Agent SDK，都可以通过 Adapter 接入同一套评估体系。
## 构建评估用例
```ts theme={null}
// evals/eval-tool-call.eval.ts
import { defineEval } from "niceeval";
import { includes } from "niceeval/expect";
export default defineEval({
judge: true,
description: "测试 agent 在实时天气问题中正确调用工具并基于结果作答的能力",
async test(t) {
const turn = await t.send("北京今天天气怎么样？");
turn.succeeded().label("Turn 成功");
await t.group("调用 get_weather 且回答天气", () => {
t.calledTool("get_weather").label("调用天气工具");
t.check(turn.message, includes("天气")).label("说明天气");
});
const second = await t.send("上海明天天气怎么样?");
t.check(second.message, includes("上海")).label("第二轮回答上海");
turn.judge.autoevals.closedQA("助手是否基于工具返回的天气数据作答？")
.atLeast(0.7)
.label("回答有依据");
},
});
```
```sh theme={null}
pnpm exec niceeval exp local eval-tool-call # 用 local experiment 只跑 eval-tool-call
pnpm exec niceeval show # 当前项目全部仍有效的结果，适合人和 AI
pnpm exec niceeval view # 在网页中浏览同一份 Sample
```
## 为什么有了 DeepEval、LangFuse、BrainTrust 还需要 NiceEval
NiceEval 是一个 Agent-Native 的评估工具。Dataset / golden 那一套「构建 Input 与 Expected Output」的模式，并不适合真实的 Agent 评估。现在的 Agent 要在多轮对话、多 agent 协作、工具调用、Skill 加载等细粒度场景下被检查，NiceEval 就是为这类场景设计的：断言直接落在工具调用、消息内容、结构化输出和用量上，而不是要求你先手工准备一份 golden 测试集。
像 LangFuse、BrainTrust 这类工具更偏 tracing 和监控，对「写评估用例、跑评估用例、看结果」这条路径来说太重。NiceEval 从一开始就针对这条路径做了友好的开发体验。两者也不冲突：NiceEval 能与 LangFuse、BrainTrust 共存——可以用它们做 tracing，或者把评估结果上传到两者。
## 你可以评什么