> ## Documentation Index
> Fetch the complete documentation index at: https://niceeval.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# NiceEval

> 像写单元测试一样写评估，像做实验一样比较 Agent。用 TypeScript 断言工具调用、回复、代码改动和业务结果，在本地反复运行并追查每一次失败。

# NiceEval

**像写单元测试一样写评估，像做实验一样比较 Agent**

你改了 prompt、换了模型、给 Coding Agent 写了一个新 Skill，或者调了 LLM 游戏里的 NPC，想知道它到底有没有变好。NiceEval 让你用 TypeScript 写下“什么算做对”，然后反复运行、打分、比较，并回到每一次失败去看 Agent 实际做了什么。

所有运行都在你自己的机器和 CI 里完成，不需要注册账号。

## 一套评估，对比多种配置

NiceEval 将评估用例（要做什么、怎样算做对）与 Experiment（对着谁跑、跑几次）解耦。写好评估后，可以直接拿它对比两个模型或两版 prompt：

```bash theme={null}
pnpm exec niceeval exp local-gpt4o   # 运行 GPT-4o 实验
pnpm exec niceeval exp local-claude  # 运行 Claude 实验
pnpm exec niceeval show              # 在终端直观查看对比，失败项排在最前
```

## 从这里开始

> [card] [NiceEval 是什么](https://niceeval.com/docs/zh/introduction.md)
>
> 适合评什么、一条评估用例长什么样、和其它工具有什么不同。

> [card] [快速开始](https://niceeval.com/docs/zh/tutorials/quickstart.md)
>
> 十分钟左右跑通第一条评估用例，并看到结果。

> [card] [可运行示例](https://niceeval.com/docs/zh/examples.md)
>
> AI SDK、Claude SDK、Codex SDK、Pi、LangGraph 的完整接入项目。

## 按你要评的对象

> [card] [你自己的 AI Agent](https://niceeval.com/docs/zh/tutorials/connect-your-agent.md)
>
> 写一个 Adapter 连上 Agent 接口，断言回复、工具调用和结构化输出。

> [card] [Coding Agent 和它的扩展](https://niceeval.com/docs/zh/examples/coding-agent-extensions.md)
>
> 在 Sandbox 里给 Agent 一个真实仓库，用对照实验衡量 Skill 和 Plugin 的效果。

> [card] [任何 AI 应用，比如 LLM 游戏](https://niceeval.com/docs/zh/tutorials/custom-application.md)
>
> 把发帖、回复、NPC 行动这类业务操作原样交给评估用例，检查结构化结果和世界状态。

## 常见问题

> [accordion] 需要注册账号吗？
>
> 不需要。运行评估和查看结果都在本地完成。只有被测对象需要隔离环境时，才会用到 Docker 或 E2B 这类 Sandbox Provider。

> [accordion] 我的 Agent 不是用 TypeScript 写的，能接吗？
>
> 能。评估用例和 Adapter 用 TypeScript 写，被测应用可以是任何语言。Adapter 只是通过 HTTP、gRPC 或 WebSocket 请求应用已有的接口，见 [Adapter](https://niceeval.com/docs/zh/explanation/adapter.md)。

> [accordion] 能接到 CI 里吗？
>
> 能。在 CI 里运行同一条 `niceeval exp` 命令，退出码反映评估是否通过，见 [CI 集成](https://niceeval.com/docs/zh/tutorials/ci-integration.md)。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.