跳转到主要内容

NiceEval

像写单元测试一样写评估，像做实验一样比较 Agent
你改了 prompt、换了模型、给 Coding Agent 写了一个新 Skill，或者调了 LLM 游戏里的 NPC，想知道它到底有没有变好。NiceEval 让你用 TypeScript 写下“什么算做对”，然后反复运行、打分、比较，并回到每一次失败去看 Agent 实际做了什么。 所有运行都在你自己的机器和 CI 里完成，不需要注册账号。

一套评估，对比多种配置

NiceEval 将评估用例（要做什么、怎样算做对）与 Experiment（对着谁跑、跑几次）解耦。写好评估后，可以直接拿它对比两个模型或两版 prompt：

从这里开始

NiceEval 是什么

适合评什么、一条评估用例长什么样、和其它工具有什么不同。

快速开始

十分钟左右跑通第一条评估用例，并看到结果。

可运行示例

AI SDK、Claude SDK、Codex SDK、Pi、LangGraph 的完整接入项目。

按你要评的对象

你自己的 AI Agent

写一个 Adapter 连上 Agent 接口，断言回复、工具调用和结构化输出。

Coding Agent 和它的扩展

在 Sandbox 里给 Agent 一个真实仓库，用对照实验衡量 Skill 和 Plugin 的效果。

任何 AI 应用，比如 LLM 游戏

把发帖、回复、NPC 行动这类业务操作原样交给评估用例，检查结构化结果和世界状态。

常见问题

不需要。运行评估和查看结果都在本地完成。只有被测对象需要隔离环境时，才会用到 Docker 或 E2B 这类 Sandbox Provider。
能。评估用例和 Adapter 用 TypeScript 写，被测应用可以是任何语言。Adapter 只是通过 HTTP、gRPC 或 WebSocket 请求应用已有的接口，见 Adapter。
能。在 CI 里运行同一条 niceeval exp 命令，退出码反映评估是否通过，见 CI 集成。