| {"类别"} | {"文件数"} | {"行数"} |
|---|---|---|
| {"应用侧配置（必要：依赖声明）"} | {"3"} | {"+7 −1"} |
| {"adapter（必要：传输粘合，协议映射在官方包里）"} | {"2"} | {"+113"} |
| {"evals 与 experiments（评测内容，按需增长）"} | {"6"} | {"+118"} |
| {"合计"} | {"11"} | {"+238 −1"} |
| {"⇕"} | {"展开 8 行未变更代码"} | ||
| {"1"} | {"1"} | {"{"} | |
| {"2"} | {"2"} | {" "} {"\"name\""} {": "} {"\"pi-sdk-example\""} {","} | |
| {"3"} | {"3"} | {" "} {"\"version\""} {": "} {"\"0.1.0\""} {","} | |
| {"4"} | {"4"} | {" "} {"\"private\""} {": "} {"true"} {","} | |
| {"5"} | {"5"} | {" "} {"\"type\""} {": "} {"\"module\""} {","} | |
| {"6"} | {"6"} | {" "} {"\"scripts\""} {": {"} | |
| {"7"} | {"7"} | {" "} {"\"dev\""} {": "} {"\"lsof -ti tcp:5299 | xargs kill -9 2>/dev/null; concurrently -k -n server,web -c blue,green "} {"\\\""} {"pnpm dev:server"} {"\\\""} {" "} {"\\\""} {"pnpm dev:web"} {"\\\""} {"\""} {","} | |
| {"8"} | {"8"} | {" "} {"\"dev:server\""} {": "} {"\"node --env-file .env --import tsx/esm --watch src/backend/server.ts\""} {","} | |
| {"9"} | {"9"} | {" "} {"\"dev:web\""} {": "} {"\"wait-on -t 30000 tcp:127.0.0.1:5299 && vite\""} {","} | |
| {"10"} | {"10"} | {" "} {"\"build\""} {": "} {"\"vite build\""} {","} | |
| {"11"} | {"11"} | {" "} {"\"start\""} {": "} {"\"node --env-file .env --import tsx/esm src/backend/server.ts\""} {","} | |
| {"12"} | {"+"} | {" "} {"\"eval\""} {": "} {"\"niceeval\""} {","} | |
| {"12"} | {"13"} | {" "} {"\"typecheck\""} {": "} {"\"tsc --noEmit\""} | |
| {"13"} | {"14"} | {" },"} | |
| {"14"} | {"15"} | {" "} {"\"dependencies\""} {": {"} | |
| {"⇕"} | {"展开 9 行未变更代码"} | ||
| {"15"} | {"16"} | {" "} {"\"@assistant-ui/react\""} {": "} {"\"^0.14.24\""} {","} | |
| {"16"} | {"17"} | {" "} {"\"@earendil-works/pi-agent-core\""} {": "} {"\"0.80.3\""} {","} | |
| {"17"} | {"18"} | {" "} {"\"@earendil-works/pi-ai\""} {": "} {"\"0.80.3\""} {","} | |
| {"18"} | {"19"} | {" "} {"\"react\""} {": "} {"\"^19.0.0\""} {","} | |
| {"19"} | {"20"} | {" "} {"\"react-dom\""} {": "} {"\"^19.0.0\""} | |
| {"20"} | {"21"} | {" },"} | |
| {"21"} | {"22"} | {" "} {"\"devDependencies\""} {": {"} | |
| {"22"} | {"23"} | {" "} {"\"@types/node\""} {": "} {"\"^26.1.0\""} {","} | |
| {"23"} | {"24"} | {" "} {"\"@types/react\""} {": "} {"\"^19.0.0\""} {","} | |
| {"24"} | {"25"} | {" "} {"\"@types/react-dom\""} {": "} {"\"^19.0.0\""} {","} | |
| {"25"} | {"26"} | {" "} {"\"@vitejs/plugin-react\""} {": "} {"\"^5.0.0\""} {","} | |
| {"26"} | {"27"} | {" "} {"\"concurrently\""} {": "} {"\"^9.0.0\""} {","} | |
| {"28"} | {"+"} | {" "} {"\"niceeval\""} {": "} {"\"file:../../../..\""} {","} | |
| {"27"} | {"29"} | {" "} {"\"tsx\""} {": "} {"\"^4.22.4\""} {","} | |
| {"28"} | {"30"} | {" "} {"\"typescript\""} {": "} {"\"^6.0.3\""} {","} | |
| {"29"} | {"31"} | {" "} {"\"vite\""} {": "} {"\"^7.0.0\""} {","} | |
| {"30"} | {"32"} | {" "} {"\"wait-on\""} {": "} {"\"^9.0.0\""} | |
| {"31"} | {"33"} | {" }"} | |
| {"32"} | {"34"} | {"}"} |
| {"⇕"} | {"展开 12 行未变更代码"} | ||
| {"1"} | {"1"} | {"{"} | |
| {"2"} | {"2"} | {" "} {"\"compilerOptions\""} {": {"} | |
| {"3"} | {"3"} | {" "} {"\"target\""} {": "} {"\"ES2022\""} {","} | |
| {"4"} | {"4"} | {" "} {"\"module\""} {": "} {"\"NodeNext\""} {","} | |
| {"5"} | {"5"} | {" "} {"\"moduleResolution\""} {": "} {"\"NodeNext\""} {","} | |
| {"6"} | {"6"} | {" "} {"\"lib\""} {": ["} {"\"ES2023\""} {", "} {"\"DOM\""} {", "} {"\"DOM.Iterable\""} {"],"} | |
| {"7"} | {"7"} | {" "} {"\"types\""} {": ["} {"\"node\""} {", "} {"\"vite/client\""} {"],"} | |
| {"8"} | {"8"} | {" "} {"\"jsx\""} {": "} {"\"react-jsx\""} {","} | |
| {"9"} | {"9"} | {" "} {"\"strict\""} {": "} {"true"} {","} | |
| {"10"} | {"10"} | {" "} {"\"esModuleInterop\""} {": "} {"true"} {","} | |
| {"11"} | {"11"} | {" "} {"\"skipLibCheck\""} {": "} {"true"} {","} | |
| {"12"} | {"12"} | {" "} {"\"allowImportingTsExtensions\""} {": "} {"true"} {","} | |
| {"13"} | {"13"} | {" "} {"\"noEmit\""} {": "} {"true"} {","} | |
| {"14"} | {"14"} | {" "} {"\"forceConsistentCasingInFileNames\""} {": "} {"true"} | |
| {"15"} | {"15"} | {" },"} | |
| {"16"} | {"−"} | {" "} {"\"include\""} {": ["} {"\"src\""} {", "} {"\"vite.config.ts\""} {"]"} | |
| {"16"} | {"+"} | {" "} {"\"include\""} {": ["} {"\"src\""} {", "} {"\"vite.config.ts\""} {", "} {"\"niceeval.config.ts\""} {", "} {"\"agents\""} {", "} {"\"evals\""} {", "} {"\"experiments\""} {"]"} | |
| {"17"} | {"17"} | {"}"} |
| {"1"} | {"1"} | {"packages"} {": []"} | |
| {"2"} | {"2"} | {"allowBuilds"} {":"} | |
| {"3"} | {"3"} | {" "} {"'@google/genai'"} {": "} {"false"} | |
| {"4"} | {"4"} | {" "} {"esbuild"} {": "} {"true"} | |
| {"5"} | {"5"} | {" "} {"protobufjs"} {": "} {"false"} | |
| {"6"} | {"+"} | {"overrides"} {":"} | |
| {"7"} | {"+"} | {" "} {"niceeval"} {": "} {"link:../../../.."} | |
| {"8"} | {"+"} | {"minimumReleaseAgeExclude"} {":"} | |
| {"9"} | {"+"} | {" - "} {"niceeval@0.1.1"} |
| {"1"} | {"+"} | {"import"} {" { defineConfig } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineConfig"} {"({"} | |
| {"4"} | {"+"} | {" name: { "} {"\"zh-CN\""} {": "} {"\"pi-agent-core 示例\""} {", en: "} {"\"pi-agent-core example\""} {" },"} | |
| {"5"} | {"+"} | {" judge: { model: "} {"\"gpt-5.4\""} {" },"} | |
| {"6"} | {"+"} | {" timeoutMs: "} {"120_000"} {","} | |
| {"7"} | {"+"} | {" "} {"// 每个 attempt 都要经一个真实子进程(server.ts)+ DeepSeek 网络调用,偏重,别开太高并发。"} | |
| {"8"} | {"+"} | {" maxConcurrency: "} {"2"} {","} | |
| {"9"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"// pi-sdk 的 adapter:无侵入对接一个**已经在跑**的应用(../src/backend/server.ts,pi 的原生"} | |
| {"2"} | {"+"} | {"// `AgentEvent` 原样透传成 SSE,外加三种自定义传输帧:session / approval_request /"} | |
| {"3"} | {"+"} | {"// server_error,见 server.ts 头注释)。"} | |
| {"4"} | {"+"} | {"//"} | |
| {"5"} | {"+"} | {"// `AgentEvent` → 标准事件的映射是官方转换器 `fromPiAgentEvents`(`\"niceeval/adapter\"` 导出)"} | |
| {"6"} | {"+"} | {"// 的事;逐帧驱动 + HITL 挂起也是官方件(`driveFrameStream` / `pausable`)。这里只剩传输粘合:"} | |
| {"7"} | {"+"} | {"// 端点在哪、三种传输帧怎么处理、审批打哪个端点——不再手写循环和模块级 Map。"} | |
| {"8"} | {"+"} | {"// 无 OTel(pi-agent-core 没有官方集成),事件全部来自转换器。"} | |
| {"9"} | {"+"} | {"//"} | |
| {"10"} | {"+"} | {"// HITL:calculate 工具经服务端 beforeToolCall 挂审批。approval_request 帧到达时,流并不关闭——"} | |
| {"11"} | {"+"} | {"// 服务端把执行卡在一个 Promise 上等 POST /api/chat/approve。所以 `driveFrameStream` 在这一帧"} | |
| {"12"} | {"+"} | {"// 返回 `{ pause }`,`pausable()` 记住\"读了一半的 SSE 流\"(连同转换器状态);下一次 send"} | |
| {"13"} | {"+"} | {"// (即 t.respond)先打 approve 端点、再继续读同一条流到结束——不重新发 /api/chat。"} | |
| {"14"} | {"+"} | {"import"} {" { defineAgent, sseJsonFrames, fromPiAgentEvents, driveFrameStream, pausable, serverSession } "} {"from"} {" "} {"\"niceeval/adapter\""} {";"} | |
| {"15"} | {"+"} | {"import"} {" "} {"type"} {" { AgentContext, PiAgentStream, SseFrameCursor } "} {"from"} {" "} {"\"niceeval/adapter\""} {";"} | |
| {"16"} | {"+"} | {"import"} {" "} {"type"} {" { JsonValue, Turn, TurnInput } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"17"} | {"+"} | {"import"} {" "} {"type"} {" { AgentEvent } "} {"from"} {" "} {"\"@earendil-works/pi-agent-core\""} {";"} | |
| {"18"} | {"+"} | {" "} | |
| {"19"} | {"+"} | {"// 被测应用由你自己按它的方式启动(pnpm start / 部署在哪都行),eval 不代管进程、不另开端口。"} | |
| {"20"} | {"+"} | {"const"} {" "} {"BASE_URL"} {" "} {"="} {" process.env."} {"PI_SDK_URL"} {" "} {"??"} {" "} {"\"http://127.0.0.1:5299\""} {";"} | |
| {"21"} | {"+"} | {" "} | |
| {"22"} | {"+"} | {"type"} {" "} {"TransportFrame"} {" "} {"="} | |
| {"23"} | {"+"} | {" "} {"|"} {" { "} {"type"} {":"} {" "} {"\"session\""} {"; "} {"sessionId"} {":"} {" "} {"string"} {" }"} | |
| {"24"} | {"+"} | {" "} {"|"} {" { "} {"type"} {":"} {" "} {"\"approval_request\""} {"; "} {"toolCallId"} {":"} {" "} {"string"} {"; "} {"toolName"} {":"} {" "} {"string"} {"; "} {"args"} {":"} {" "} {"unknown"} {" }"} | |
| {"25"} | {"+"} | {" "} {"|"} {" { "} {"type"} {":"} {" "} {"\"server_error\""} {"; "} {"message"} {":"} {" "} {"string"} {" };"} | |
| {"26"} | {"+"} | {" "} | |
| {"27"} | {"+"} | {"type"} {" "} {"PiFrame"} {" "} {"="} {" "} {"AgentEvent"} {" "} {"|"} {" "} {"TransportFrame"} {";"} | |
| {"28"} | {"+"} | {" "} | |
| {"29"} | {"+"} | {"async"} {" "} {"function"} {" "} {"appFetch"} {"("} {"path"} {":"} {" "} {"string"} {", "} {"body"} {":"} {" "} {"unknown"} {", "} {"signal"} {":"} {" "} {"AbortSignal"} {")"} {":"} {" "} {"Promise"} {"<"} {"Response"} {"> {"} | |
| {"30"} | {"+"} | {" "} {"try"} {" {"} | |
| {"31"} | {"+"} | {" "} {"return"} {" "} {"await"} {" "} {"fetch"} {"("} {"`${"} {"BASE_URL"} {"}${"} {"path"} {"}`"} {", {"} | |
| {"32"} | {"+"} | {" method: "} {"\"POST\""} {","} | |
| {"33"} | {"+"} | {" headers: { "} {"\"content-type\""} {": "} {"\"application/json\""} {" },"} | |
| {"34"} | {"+"} | {" body: "} {"JSON"} {"."} {"stringify"} {"(body),"} | |
| {"35"} | {"+"} | {" signal,"} | |
| {"36"} | {"+"} | {" });"} | |
| {"37"} | {"+"} | {" } "} {"catch"} {" (err) {"} | |
| {"38"} | {"+"} | {" "} {"if"} {" (signal.aborted) "} {"throw"} {" err;"} | |
| {"39"} | {"+"} | {" "} {"throw"} {" "} {"new"} {" "} {"Error"} {"("} | |
| {"40"} | {"+"} | {" "} {"`连不上 ${"} {"BASE_URL"} {"}${"} {"path"} {"}。被测应用在跑吗?先起它:cd examples/zh/tier1/pi-sdk && pnpm start(或设 PI_SDK_URL 指向已部署实例)。`"} {","} | |
| {"41"} | {"+"} | {" );"} | |
| {"42"} | {"+"} | {" }"} | |
| {"43"} | {"+"} | {"}"} | |
| {"44"} | {"+"} | {" "} | |
| {"45"} | {"+"} | {"interface"} {" "} {"Pending"} {" {"} | |
| {"46"} | {"+"} | {" "} {"readonly"} {" "} {"cursor"} {":"} {" "} {"SseFrameCursor"} {"<"} {"PiFrame"} {">;"} | |
| {"47"} | {"+"} | {" "} {"readonly"} {" "} {"stream"} {":"} {" "} {"PiAgentStream"} {";"} | |
| {"48"} | {"+"} | {" "} {"readonly"} {" "} {"toolCallId"} {":"} {" "} {"string"} {";"} | |
| {"49"} | {"+"} | {"}"} | |
| {"50"} | {"+"} | {"const"} {" "} {"pendingApprovals"} {" "} {"="} {" "} {"pausable"} {"<"} {"Pending"} {">();"} | |
| {"51"} | {"+"} | {"// 会话续接走「服务端记历史」范式:请求带 session.id(ctx),回传的 sessionId 用 capture 写回。"} | |
| {"52"} | {"+"} | {"const"} {" "} {"session"} {" "} {"="} {" "} {"serverSession"} {"();"} | |
| {"53"} | {"+"} | {" "} | |
| {"54"} | {"+"} | {"function"} {" "} {"readStream"} {"("} {"cursor"} {":"} {" "} {"SseFrameCursor"} {"<"} {"PiFrame"} {">, "} {"ctx"} {":"} {" "} {"AgentContext"} {", "} {"stream"} {":"} {" "} {"PiAgentStream"} {")"} {":"} {" "} {"Promise"} {"<"} {"Turn"} {"> {"} | |
| {"55"} | {"+"} | {" "} {"return"} {" "} {"driveFrameStream"} {"(cursor, stream, ctx, ("} {"frame"} {") "} {"=>"} {" {"} | |
| {"56"} | {"+"} | {" "} {"if"} {" (frame.type "} {"==="} {" "} {"\"session\""} {") {"} | |
| {"57"} | {"+"} | {" session."} {"capture"} {"(ctx, frame.sessionId);"} | |
| {"58"} | {"+"} | {" "} {"return"} {";"} | |
| {"59"} | {"+"} | {" }"} | |
| {"60"} | {"+"} | {" "} {"if"} {" (frame.type "} {"==="} {" "} {"\"approval_request\""} {") {"} | |
| {"61"} | {"+"} | {" pendingApprovals."} {"hold"} {"(ctx, { cursor, stream, toolCallId: frame.toolCallId });"} | |
| {"62"} | {"+"} | {" "} {"return"} {" {"} | |
| {"63"} | {"+"} | {" pause: { id: frame.toolCallId, action: frame.toolName, input: frame.args "} {"as"} {" "} {"JsonValue"} {", options: [{ id: "} {"\"approve\""} {" }, { id: "} {"\"deny\""} {" }] },"} | |
| {"64"} | {"+"} | {" };"} | |
| {"65"} | {"+"} | {" }"} | |
| {"66"} | {"+"} | {" "} {"if"} {" (frame.type "} {"==="} {" "} {"\"server_error\""} {") "} {"return"} {" { fail: frame.message };"} | |
| {"67"} | {"+"} | {" });"} | |
| {"68"} | {"+"} | {"}"} | |
| {"69"} | {"+"} | {" "} | |
| {"70"} | {"+"} | {"async"} {" "} {"function"} {" "} {"send"} {"("} {"input"} {":"} {" "} {"TurnInput"} {", "} {"ctx"} {":"} {" "} {"AgentContext"} {")"} {":"} {" "} {"Promise"} {"<"} {"Turn"} {"> {"} | |
| {"71"} | {"+"} | {" "} {"const"} {" "} {"pending"} {" "} {"="} {" pendingApprovals."} {"take"} {"(ctx);"} | |
| {"72"} | {"+"} | {" "} {"if"} {" (pending) {"} | |
| {"73"} | {"+"} | {" "} {"const"} {" "} {"approved"} {" "} {"="} {" input.text."} {"trim"} {"()."} {"toLowerCase"} {"() "} {"==="} {" "} {"\"approve\""} {";"} | |
| {"74"} | {"+"} | {" "} {"if"} {" ("} {"!"} {"approved) pending.stream."} {"markRejected"} {"(pending.toolCallId);"} | |
| {"75"} | {"+"} | {" "} {"const"} {" "} {"approveRes"} {" "} {"="} {" "} {"await"} {" "} {"appFetch"} {"("} {"\"/api/chat/approve\""} {", { toolUseId: pending.toolCallId, approved }, ctx.signal);"} | |
| {"76"} | {"+"} | {" "} {"if"} {" ("} {"!"} {"approveRes.ok) {"} | |
| {"77"} | {"+"} | {" "} {"throw"} {" "} {"new"} {" "} {"Error"} {"("} {"`POST /api/chat/approve 失败: ${"} {"approveRes"} {"."} {"status"} {"} ${"} {"await"} {" "} {"approveRes"} {"."} {"text"} {"()"} {"}`"} {");"} | |
| {"78"} | {"+"} | {" }"} | |
| {"79"} | {"+"} | {" "} {"return"} {" "} {"readStream"} {"(pending.cursor, ctx, pending.stream);"} | |
| {"80"} | {"+"} | {" }"} | |
| {"81"} | {"+"} | {" "} | |
| {"82"} | {"+"} | {" "} {"const"} {" "} {"res"} {" "} {"="} {" "} {"await"} {" "} {"appFetch"} {"("} | |
| {"83"} | {"+"} | {" "} {"\"/api/chat\""} {","} | |
| {"84"} | {"+"} | {" { message: input.text, sessionId: session."} {"id"} {"(ctx) },"} | |
| {"85"} | {"+"} | {" ctx.signal,"} | |
| {"86"} | {"+"} | {" );"} | |
| {"87"} | {"+"} | {" "} {"if"} {" ("} {"!"} {"res.ok "} {"||"} {" "} {"!"} {"res.body) {"} | |
| {"88"} | {"+"} | {" "} {"throw"} {" "} {"new"} {" "} {"Error"} {"("} {"`POST /api/chat 失败: ${"} {"res"} {"."} {"status"} {"} ${"} {"await"} {" "} {"res"} {"."} {"text"} {"()."} {"catch"} {"(() "} {"=>"} {" "} {"\"\""} {")"} {"}`"} {");"} | |
| {"89"} | {"+"} | {" }"} | |
| {"90"} | {"+"} | {" "} {"return"} {" "} {"readStream"} {"("} {"sseJsonFrames"} {"<"} {"PiFrame"} {">(res.body), ctx, "} {"fromPiAgentEvents"} {"());"} | |
| {"91"} | {"+"} | {"}"} | |
| {"92"} | {"+"} | {" "} | |
| {"93"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineAgent"} {"({"} | |
| {"94"} | {"+"} | {" name: "} {"\"pi-sdk\""} {","} | |
| {"95"} | {"+"} | {" capabilities: {"} | |
| {"96"} | {"+"} | {" "} {"// 验证过:isNew 时不带 sessionId 开新会话、server.ts 回传的 sessionId 写回 ctx.session.id、"} | |
| {"97"} | {"+"} | {" "} {"// 非 isNew 时带 id 续接同一条服务端内存历史(见 evals/session-isolation.eval.ts)。"} | |
| {"98"} | {"+"} | {" conversation: "} {"true"} {","} | |
| {"99"} | {"+"} | {" "} {"// 验证过:get_weather / calculate 每次调用都有配对的 tool_execution_start → action.called、"} | |
| {"100"} | {"+"} | {" "} {"// tool_execution_end → action.result,无遗漏(映射见 fromPiAgentEvents)。"} | |
| {"101"} | {"+"} | {" toolObservability: "} {"true"} {","} | |
| {"102"} | {"+"} | {" },"} | |
| {"103"} | {"+"} | {" send,"} | |
| {"104"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"// 这条 eval 验证 agent 能正常问答、不瞎调工具,顺带冒烟 usage 有没有正确从"} | |
| {"4"} | {"+"} | {"// message_end 的 AssistantMessage.usage 累加进 Turn.usage。"} | |
| {"5"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"6"} | {"+"} | {" description: "} {"\"测试 agent 能正常问答且不瞎调工具\""} {","} | |
| {"7"} | {"+"} | {" "} | |
| {"8"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"9"} | {"+"} | {" "} {"const"} {" "} {"turn"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"用一句话介绍一下你自己,这轮不用查天气也不用算数。\""} {");"} | |
| {"10"} | {"+"} | {" turn."} {"expectOk"} {"();"} | |
| {"11"} | {"+"} | {" "} | |
| {"12"} | {"+"} | {" "} {"await"} {" t."} {"group"} {"("} {"\"正常收发、没有多余工具调用\""} {", () "} {"=>"} {" {"} | |
| {"13"} | {"+"} | {" t."} {"succeeded"} {"();"} | |
| {"14"} | {"+"} | {" t."} {"usedNoTools"} {"();"} | |
| {"15"} | {"+"} | {" });"} | |
| {"16"} | {"+"} | {" "} | |
| {"17"} | {"+"} | {" "} {"// usage 冒烟:拿不到就应该是 0,不该抛错;上限给得宽松,只为证明数字不是编的。"} | |
| {"18"} | {"+"} | {" t."} {"maxTokens"} {"("} {"20_000"} {");"} | |
| {"19"} | {"+"} | {" "} | |
| {"20"} | {"+"} | {" t.judge.autoevals."} {"closedQA"} {"("} {"\"助手是否用一两句话正常介绍了自己,而不是报错或答非所问?\""} {")."} {"gate"} {"("} {"0.6"} {");"} | |
| {"21"} | {"+"} | {" },"} | |
| {"22"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" { equals } "} {"from"} {" "} {"\"niceeval/expect\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// calculate 工具经服务端 beforeToolCall 挂了审批(见 agents/pi-sdk.ts、origin src/backend/server.ts)。"} | |
| {"5"} | {"+"} | {"// 这条验证批准分支:approve 之后工具正常执行,calledTool 的 status 是 \"completed\"。"} | |
| {"6"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"7"} | {"+"} | {" description: "} {"\"HITL:calculate 经批准后正常执行\""} {","} | |
| {"8"} | {"+"} | {" "} | |
| {"9"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"10"} | {"+"} | {" "} {"// 提示词不提\"审批\"——一提审批,deepseek-v4-flash 就倾向于用文字问\"可以吗\",而不是真的发起"} | |
| {"11"} | {"+"} | {" "} {"// 工具调用;审批门是服务端 beforeToolCall 自动挂的,跟用户怎么问无关,越自然越准确触发工具。"} | |
| {"12"} | {"+"} | {" "} {"const"} {" "} {"draft"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"用计算器算一下 (23+19)*3 等于多少\""} {");"} | |
| {"13"} | {"+"} | {" "} {"// t.parked() 之类的作用域断言是延迟求值的(评到 run 结束时的最终状态),这一轮结束后马上"} | |
| {"14"} | {"+"} | {" "} {"// continue 到 approve,run 早就不再\"停着\"了——判\"当下有没有停在审批上\"只能看这个"} | |
| {"15"} | {"+"} | {" "} {"// TurnHandle 自己的 status,不能用 t.parked()。"} | |
| {"16"} | {"+"} | {" t."} {"check"} {"(draft.status, "} {"equals"} {"("} {"\"waiting\""} {"));"} | |
| {"17"} | {"+"} | {" "} | |
| {"18"} | {"+"} | {" t."} {"requireInputRequest"} {"({ action: "} {"\"calculate\""} {" });"} | |
| {"19"} | {"+"} | {" "} | |
| {"20"} | {"+"} | {" "} {"const"} {" "} {"approved"} {" "} {"="} {" "} {"await"} {" t."} {"respond"} {"("} {"\"approve\""} {");"} | |
| {"21"} | {"+"} | {" approved."} {"succeeded"} {"();"} | |
| {"22"} | {"+"} | {" t."} {"calledTool"} {"("} {"\"calculate\""} {", { status: "} {"\"completed\""} {" });"} | |
| {"23"} | {"+"} | {" t."} {"messageIncludes"} {"("} {"/"} {"126"} {"/"} {");"} | |
| {"24"} | {"+"} | {" },"} | |
| {"25"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"// deny 分支:人否决和工具故障是两回事——calledTool 的 status 应该是 \"rejected\","} | |
| {"4"} | {"+"} | {"// noFailedActions() 依然通过(拒绝是预期路径,不是执行错误)。"} | |
| {"5"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"6"} | {"+"} | {" description: "} {"\"HITL:calculate 被拒绝后标记 rejected 而不是 failed\""} {","} | |
| {"7"} | {"+"} | {" "} | |
| {"8"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"9"} | {"+"} | {" "} {"// 提示词不提\"审批\"——一提审批,deepseek-v4-flash 就倾向于用文字问\"可以吗\",而不是真的发起"} | |
| {"10"} | {"+"} | {" "} {"// 工具调用;审批门是服务端 beforeToolCall 自动挂的,跟用户怎么问无关,越自然越准确触发工具。"} | |
| {"11"} | {"+"} | {" "} {"await"} {" t."} {"send"} {"("} {"\"用计算器算一下 (23+19)*3 等于多少\""} {");"} | |
| {"12"} | {"+"} | {" t."} {"requireInputRequest"} {"({ action: "} {"\"calculate\""} {" });"} | |
| {"13"} | {"+"} | {" "} | |
| {"14"} | {"+"} | {" "} {"const"} {" "} {"denied"} {" "} {"="} {" "} {"await"} {" t."} {"respond"} {"("} {"\"deny\""} {");"} | |
| {"15"} | {"+"} | {" denied."} {"succeeded"} {"();"} | |
| {"16"} | {"+"} | {" t."} {"calledTool"} {"("} {"\"calculate\""} {", { status: "} {"\"rejected\""} {" });"} | |
| {"17"} | {"+"} | {" t."} {"noFailedActions"} {"();"} | |
| {"18"} | {"+"} | {" },"} | |
| {"19"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" { includes, excludes } "} {"from"} {" "} {"\"niceeval/expect\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// 这条 eval 专门验证 conversation 能力位的两半承诺:同一 session 里第二轮记得住第一轮说的名字"} | |
| {"5"} | {"+"} |
{"// (server.ts 内存 Map |
|
| {"6"} | {"+"} | {"// 不共享历史(常见 bug:adapter 忽略 ctx.session.isNew 一律续接,隔离会静默失真且不报错)。"} | |
| {"7"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"8"} | {"+"} | {" description: "} {"\"测试跨轮记忆与 newSession() 隔离\""} {","} | |
| {"9"} | {"+"} | {" "} | |
| {"10"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"11"} | {"+"} | {" "} {"await"} {" t."} {"send"} {"("} {"\"我叫小明,帮我记住这个名字。\""} {");"} | |
| {"12"} | {"+"} | {" "} {"const"} {" "} {"recall"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"我刚才说我叫什么名字?\""} {");"} | |
| {"13"} | {"+"} | {" recall."} {"messageIncludes"} {"("} {"\"小明\""} {");"} | |
| {"14"} | {"+"} | {" t."} {"check"} {"(t.reply, "} {"includes"} {"("} {"\"小明\""} {"));"} | |
| {"15"} | {"+"} | {" "} | |
| {"16"} | {"+"} | {" "} {"const"} {" "} {"fresh"} {" "} {"="} {" t."} {"newSession"} {"();"} | |
| {"17"} | {"+"} | {" "} {"await"} {" fresh."} {"send"} {"("} {"\"我叫什么名字?\""} {");"} | |
| {"18"} | {"+"} | {" "} {"// 新 session 没有历史,不应该知道\"小明\"这个事实——用 fresh.* 只看这条新 session 自己的事件,"} | |
| {"19"} | {"+"} | {" "} {"// 不是 t.*(t.* 是 run 级聚合,会同时看到主 session 的事件)。"} | |
| {"20"} | {"+"} | {" t."} {"check"} {"(fresh.reply, "} {"excludes"} {"("} {"\"小明\""} {"));"} | |
| {"21"} | {"+"} | {" },"} | |
| {"22"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"// 这条 eval 验证 agent 遇到实时天气问题时会调 get_weather,而不是直接编一个答案。"} | |
| {"4"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"5"} | {"+"} | {" description: "} {"\"测试 agent 在天气问题中正确调用 get_weather 并基于结果作答\""} {","} | |
| {"6"} | {"+"} | {" "} | |
| {"7"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"8"} | {"+"} | {" "} {"const"} {" "} {"turn"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"北京今天天气怎么样?\""} {");"} | |
| {"9"} | {"+"} | {" turn."} {"expectOk"} {"();"} | |
| {"10"} | {"+"} | {" "} | |
| {"11"} | {"+"} | {" "} {"await"} {" t."} {"group"} {"("} {"\"调用 get_weather 且城市正确\""} {", () "} {"=>"} {" {"} | |
| {"12"} | {"+"} | {" t."} {"calledTool"} {"("} {"\"get_weather\""} {", { input: { city: "} {"\"北京\""} {" } });"} | |
| {"13"} | {"+"} | {" t."} {"messageIncludes"} {"("} {"/"} {"°C"} {"|"} {"气温"} {"|"} {"天气"} {"|"} {"晴"} {"|"} {"多云"} {"|"} {"雨"} {"|"} {"阴"} {"/"} {");"} | |
| {"14"} | {"+"} | {" });"} | |
| {"15"} | {"+"} | {" "} | |
| {"16"} | {"+"} | {" "} {"// 「是否走了工具」由上面的 t.calledTool 确定性把关;judge 只评回复本身的质量。"} | |
| {"17"} | {"+"} | {" t.judge.autoevals"} | |
| {"18"} | {"+"} | {" ."} {"closedQA"} {"("} {"\"助手是否给出了具体的天气数据(温度或天气状况),而不是拒绝回答或含糊其辞?\""} {")"} | |
| {"19"} | {"+"} | {" ."} {"atLeast"} {"("} {"0.7"} {");"} | |
| {"20"} | {"+"} | {" },"} | |
| {"21"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineExperiment } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" agent "} {"from"} {" "} {"\"../agents/pi-sdk.ts\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// 单配置基线:不比较模型,用 .env 里的默认模型(deepseek-v4-flash)。"} | |
| {"5"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineExperiment"} {"({"} | |
| {"6"} | {"+"} | {" description: "} {"\"pi-sdk:真实 DeepSeek 后端(默认模型)\""} {","} | |
| {"7"} | {"+"} | {" agent,"} | |
| {"8"} | {"+"} | {" runs: "} {"1"} {","} | |
| {"9"} | {"+"} | {"});"} |