| {"类别"} | {"文件数"} | {"行数"} |
|---|---|---|
| {"应用侧配置（必要：依赖声明）"} | {"3"} | {"+6 −1"} |
| {"adapter（必要：传输粘合，协议映射在官方包里）"} | {"2"} | {"+129"} |
| {"evals 与 experiments（评测内容，按需增长）"} | {"6"} | {"+120"} |
| {"合计"} | {"11"} | {"+255 −1"} |
| {"⇕"} | {"展开 8 行未变更代码"} | ||
| {"1"} | {"1"} | {"{"} | |
| {"2"} | {"2"} | {" "} {"\"name\""} {": "} {"\"claude-sdk-example\""} {","} | |
| {"3"} | {"3"} | {" "} {"\"version\""} {": "} {"\"0.1.0\""} {","} | |
| {"4"} | {"4"} | {" "} {"\"private\""} {": "} {"true"} {","} | |
| {"5"} | {"5"} | {" "} {"\"type\""} {": "} {"\"module\""} {","} | |
| {"6"} | {"6"} | {" "} {"\"scripts\""} {": {"} | |
| {"7"} | {"7"} | {" "} {"\"dev\""} {": "} {"\"lsof -ti tcp:5189 | xargs kill -9 2>/dev/null; concurrently -k -n server,web -c blue,green "} {"\\\""} {"pnpm dev:server"} {"\\\""} {" "} {"\\\""} {"pnpm dev:web"} {"\\\""} {"\""} {","} | |
| {"8"} | {"8"} | {" "} {"\"dev:server\""} {": "} {"\"node --env-file .env --import tsx/esm --watch src/backend/server.ts\""} {","} | |
| {"9"} | {"9"} | {" "} {"\"dev:web\""} {": "} {"\"wait-on -t 30000 tcp:127.0.0.1:5189 && vite\""} {","} | |
| {"10"} | {"10"} | {" "} {"\"build\""} {": "} {"\"vite build\""} {","} | |
| {"11"} | {"11"} | {" "} {"\"start\""} {": "} {"\"node --env-file .env --import tsx/esm src/backend/server.ts\""} {","} | |
| {"12"} | {"+"} | {" "} {"\"eval\""} {": "} {"\"niceeval\""} {","} | |
| {"12"} | {"13"} | {" "} {"\"typecheck\""} {": "} {"\"tsc --noEmit\""} | |
| {"13"} | {"14"} | {" },"} | |
| {"14"} | {"15"} | {" "} {"\"dependencies\""} {": {"} | |
| {"⇕"} | {"展开 9 行未变更代码"} | ||
| {"15"} | {"16"} | {" "} {"\"@anthropic-ai/claude-agent-sdk\""} {": "} {"\"^0.3.198\""} {","} | |
| {"16"} | {"17"} | {" "} {"\"@assistant-ui/react\""} {": "} {"\"^0.14.24\""} {","} | |
| {"17"} | {"18"} | {" "} {"\"react\""} {": "} {"\"^19.0.0\""} {","} | |
| {"18"} | {"19"} | {" "} {"\"react-dom\""} {": "} {"\"^19.0.0\""} {","} | |
| {"19"} | {"20"} | {" "} {"\"zod\""} {": "} {"\"^4.1.8\""} | |
| {"20"} | {"21"} | {" },"} | |
| {"21"} | {"22"} | {" "} {"\"devDependencies\""} {": {"} | |
| {"22"} | {"23"} | {" "} {"\"@types/node\""} {": "} {"\"^22.0.0\""} {","} | |
| {"23"} | {"24"} | {" "} {"\"@types/react\""} {": "} {"\"^19.0.0\""} {","} | |
| {"24"} | {"25"} | {" "} {"\"@types/react-dom\""} {": "} {"\"^19.0.0\""} {","} | |
| {"25"} | {"26"} | {" "} {"\"@vitejs/plugin-react\""} {": "} {"\"^5.0.0\""} {","} | |
| {"26"} | {"27"} | {" "} {"\"concurrently\""} {": "} {"\"^9.0.0\""} {","} | |
| {"28"} | {"+"} | {" "} {"\"niceeval\""} {": "} {"\"file:../../../..\""} {","} | |
| {"27"} | {"29"} | {" "} {"\"tsx\""} {": "} {"\"^4.19.2\""} {","} | |
| {"28"} | {"30"} | {" "} {"\"typescript\""} {": "} {"\"^5.7.2\""} {","} | |
| {"29"} | {"31"} | {" "} {"\"vite\""} {": "} {"\"^7.0.0\""} {","} | |
| {"30"} | {"32"} | {" "} {"\"wait-on\""} {": "} {"\"^9.0.0\""} | |
| {"31"} | {"33"} | {" }"} | |
| {"32"} | {"34"} | {"}"} |
| {"⇕"} | {"展开 13 行未变更代码"} | ||
| {"1"} | {"1"} | {"{"} | |
| {"2"} | {"2"} | {" "} {"\"compilerOptions\""} {": {"} | |
| {"3"} | {"3"} | {" "} {"\"target\""} {": "} {"\"ES2022\""} {","} | |
| {"4"} | {"4"} | {" "} {"\"module\""} {": "} {"\"NodeNext\""} {","} | |
| {"5"} | {"5"} | {" "} {"\"moduleResolution\""} {": "} {"\"NodeNext\""} {","} | |
| {"6"} | {"6"} | {" "} {"\"lib\""} {": ["} {"\"ES2023\""} {", "} {"\"DOM\""} {", "} {"\"DOM.Iterable\""} {"],"} | |
| {"7"} | {"7"} | {" "} {"\"types\""} {": ["} {"\"node\""} {"],"} | |
| {"8"} | {"8"} | {" "} {"\"jsx\""} {": "} {"\"react-jsx\""} {","} | |
| {"9"} | {"9"} | {" "} {"\"strict\""} {": "} {"true"} {","} | |
| {"10"} | {"10"} | {" "} {"\"noUncheckedIndexedAccess\""} {": "} {"false"} {","} | |
| {"11"} | {"11"} | {" "} {"\"esModuleInterop\""} {": "} {"true"} {","} | |
| {"12"} | {"12"} | {" "} {"\"skipLibCheck\""} {": "} {"true"} {","} | |
| {"13"} | {"13"} | {" "} {"\"allowImportingTsExtensions\""} {": "} {"true"} {","} | |
| {"14"} | {"14"} | {" "} {"\"noEmit\""} {": "} {"true"} {","} | |
| {"15"} | {"15"} | {" "} {"\"forceConsistentCasingInFileNames\""} {": "} {"true"} | |
| {"16"} | {"16"} | {" },"} | |
| {"17"} | {"−"} | {" "} {"\"include\""} {": ["} {"\"src\""} {", "} {"\"vite.config.ts\""} {"]"} | |
| {"17"} | {"+"} | {" "} {"\"include\""} {": ["} {"\"src\""} {", "} {"\"vite.config.ts\""} {", "} {"\"niceeval.config.ts\""} {", "} {"\"agents\""} {", "} {"\"evals\""} {", "} {"\"experiments\""} {"]"} | |
| {"18"} | {"18"} | {"}"} |
| {"1"} | {"1"} | {"packages"} {": []"} | |
| {"2"} | {"2"} | {"allowBuilds"} {":"} | |
| {"3"} | {"3"} | {" "} {"esbuild"} {": "} {"true"} | |
| {"4"} | {"+"} | {"overrides"} {":"} | |
| {"5"} | {"+"} | {" "} {"niceeval"} {": "} {"link:../../../.."} | |
| {"4"} | {"6"} | {"minimumReleaseAgeExclude"} {":"} | |
| {"7"} | {"+"} | {" - "} {"niceeval@0.1.1"} | |
| {"5"} | {"8"} | {" - "} {"'@anthropic-ai/claude-agent-sdk-darwin-arm64@0.3.198'"} | |
| {"6"} | {"9"} | {" - "} {"'@anthropic-ai/claude-agent-sdk-darwin-x64@0.3.198'"} | |
| {"7"} | {"10"} | {" - "} {"'@anthropic-ai/claude-agent-sdk-linux-arm64-musl@0.3.198'"} | |
| {"⇕"} | {"展开 6 行未变更代码"} | ||
| {"8"} | {"11"} | {" - "} {"'@anthropic-ai/claude-agent-sdk-linux-arm64@0.3.198'"} | |
| {"9"} | {"12"} | {" - "} {"'@anthropic-ai/claude-agent-sdk-linux-x64-musl@0.3.198'"} | |
| {"10"} | {"13"} | {" - "} {"'@anthropic-ai/claude-agent-sdk-linux-x64@0.3.198'"} | |
| {"11"} | {"14"} | {" - "} {"'@anthropic-ai/claude-agent-sdk-win32-arm64@0.3.198'"} | |
| {"12"} | {"15"} | {" - "} {"'@anthropic-ai/claude-agent-sdk-win32-x64@0.3.198'"} | |
| {"13"} | {"16"} | {" - "} {"'@anthropic-ai/claude-agent-sdk@0.3.198'"} |
| {"1"} | {"+"} | {"import"} {" { defineConfig } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineConfig"} {"({"} | |
| {"4"} | {"+"} | {" name: { "} {"\"zh-CN\""} {": "} {"\"Claude Agent SDK 示例\""} {", en: "} {"\"Claude Agent SDK example\""} {" },"} | |
| {"5"} | {"+"} | {" judge: { model: "} {"\"gpt-5.4\""} {" },"} | |
| {"6"} | {"+"} | {" timeoutMs: "} {"120_000"} {","} | |
| {"7"} | {"+"} | {" "} {"// 每个 attempt 都要经一个真实子进程(server.ts)+ Claude Code CLI 子进程 + 网络调用。"} | |
| {"8"} | {"+"} | {" "} {"// 钉死串行(不是\"偏保守\",是必须):同一 model 分桶下两个并发的"} | |
| {"9"} | {"+"} | {" "} {"// HITL 审批打到同一个 server 实例时,POST /api/chat/approve 会对其中一个 toolUseId"} | |
| {"10"} | {"+"} | {" "} {"// 永久 404(canUseTool 的 resolver 没注册成功),见 memory/claude-sdk-concurrent-hitl-approve-race.md。"} | |
| {"11"} | {"+"} | {" maxConcurrency: "} {"1"} {","} | |
| {"12"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"// claude-sdk 的 adapter:无侵入对接一个**已经在跑**的应用(../src/backend/server.ts,原生"} | |
| {"2"} | {"+"} | {"// `SDKMessage` 流原样透传成 SSE,外加自定义 { type: \"server_error\" } 传输帧)。"} | |
| {"3"} | {"+"} | {"//"} | |
| {"4"} | {"+"} | {"// `SDKMessage` → 标准事件的映射是官方转换器 `fromClaudeSdkMessages`(`\"niceeval/adapter\"`"} | |
| {"5"} | {"+"} | {"// 导出)的事;逐帧驱动 + HITL 挂起也是官方件(`driveFrameStream` / `pausable`)。这里只剩"} | |
| {"6"} | {"+"} | {"// 传输粘合:端点在哪、审批打哪个端点、HITL 停轮怎么判。"} | |
| {"7"} | {"+"} | {"// 无 OTel(CLI 原生遥测只有 metrics+logs,niceeval 不消费),事件全部来自转换器。"} | |
| {"8"} | {"+"} | {"//"} | |
| {"9"} | {"+"} | {"// HITL 没有显式的\"等审批\"帧——`canUseTool` 把流卡在一个 Promise 上,客户端只能从"} | |
| {"10"} | {"+"} | {"// \"gated 工具的 tool_use 到了、之后没动静\"推断。Tier 1 的确定性做法:被门控的工具就"} | |
| {"11"} | {"+"} | {"// mcp__demo-tools__calculate 一个(应用 agent.ts 里的 GATED_TOOL_NAME,这里必须写死同一个"} | |
| {"12"} | {"+"} | {"// 字符串),`driveFrameStream` 的 onFrame 钩子扫 derived 事件认出它就返回 `{ pause }`;"} | |
| {"13"} | {"+"} | {"// 下一轮先打 /api/chat/approve 再继续读同一条流。"} | |
| {"14"} | {"+"} | {"import"} {" { defineAgent, sseJsonFrames, fromClaudeSdkMessages, driveFrameStream, pausable, serverSession } "} {"from"} {" "} {"\"niceeval/adapter\""} {";"} | |
| {"15"} | {"+"} | {"import"} {" "} {"type"} {" { AgentContext, ClaudeSdkStream, SseFrameCursor } "} {"from"} {" "} {"\"niceeval/adapter\""} {";"} | |
| {"16"} | {"+"} | {"import"} {" "} {"type"} {" { Turn, TurnInput } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"17"} | {"+"} | {"import"} {" "} {"type"} {" { SDKMessage } "} {"from"} {" "} {"\"@anthropic-ai/claude-agent-sdk\""} {";"} | |
| {"18"} | {"+"} | {" "} | |
| {"19"} | {"+"} | {"// 必须和 ../src/backend/agent.ts 里的 GATED_TOOL_NAME 完全一致(MCP 命名空间下的真实工具名)。"} | |
| {"20"} | {"+"} | {"const"} {" "} {"GATED_TOOL_NAME"} {" "} {"="} {" "} {"\"mcp__demo-tools__calculate\""} {";"} | |
| {"21"} | {"+"} | {" "} | |
| {"22"} | {"+"} | {"// 被测应用由你自己按它的方式启动(pnpm start / 部署在哪都行),eval 不代管进程、不另开端口。"} | |
| {"23"} | {"+"} | {"const"} {" "} {"BASE_URL"} {" "} {"="} {" process.env."} {"CLAUDE_SDK_URL"} {" "} {"??"} {" "} {"\"http://127.0.0.1:5189\""} {";"} | |
| {"24"} | {"+"} | {" "} | |
| {"25"} | {"+"} | {"type"} {" "} {"TransportFrame"} {" "} {"="} {" { "} {"type"} {":"} {" "} {"\"server_error\""} {"; "} {"message"} {":"} {" "} {"string"} {" };"} | |
| {"26"} | {"+"} | {"type"} {" "} {"ClaudeFrame"} {" "} {"="} {" "} {"SDKMessage"} {" "} {"|"} {" "} {"TransportFrame"} {";"} | |
| {"27"} | {"+"} | {" "} | |
| {"28"} | {"+"} | {"async"} {" "} {"function"} {" "} {"appFetch"} {"("} {"path"} {":"} {" "} {"string"} {", "} {"body"} {":"} {" "} {"unknown"} {", "} {"signal"} {":"} {" "} {"AbortSignal"} {")"} {":"} {" "} {"Promise"} {"<"} {"Response"} {"> {"} | |
| {"29"} | {"+"} | {" "} {"try"} {" {"} | |
| {"30"} | {"+"} | {" "} {"return"} {" "} {"await"} {" "} {"fetch"} {"("} {"`${"} {"BASE_URL"} {"}${"} {"path"} {"}`"} {", {"} | |
| {"31"} | {"+"} | {" method: "} {"\"POST\""} {","} | |
| {"32"} | {"+"} | {" headers: { "} {"\"content-type\""} {": "} {"\"application/json\""} {" },"} | |
| {"33"} | {"+"} | {" body: "} {"JSON"} {"."} {"stringify"} {"(body),"} | |
| {"34"} | {"+"} | {" signal,"} | |
| {"35"} | {"+"} | {" });"} | |
| {"36"} | {"+"} | {" } "} {"catch"} {" (err) {"} | |
| {"37"} | {"+"} | {" "} {"if"} {" (signal.aborted) "} {"throw"} {" err;"} | |
| {"38"} | {"+"} | {" "} {"throw"} {" "} {"new"} {" "} {"Error"} {"("} | |
| {"39"} | {"+"} | {" "} {"`连不上 ${"} {"BASE_URL"} {"}${"} {"path"} {"}。被测应用在跑吗?先起它:cd examples/zh/tier1/claude-sdk && pnpm start(或设 CLAUDE_SDK_URL 指向已部署实例)。`"} {","} | |
| {"40"} | {"+"} | {" );"} | |
| {"41"} | {"+"} | {" }"} | |
| {"42"} | {"+"} | {"}"} | |
| {"43"} | {"+"} | {" "} | |
| {"44"} | {"+"} | {"interface"} {" "} {"Pending"} {" {"} | |
| {"45"} | {"+"} | {" "} {"readonly"} {" "} {"cursor"} {":"} {" "} {"SseFrameCursor"} {"<"} {"ClaudeFrame"} {">;"} | |
| {"46"} | {"+"} | {" "} {"readonly"} {" "} {"stream"} {":"} {" "} {"ClaudeSdkStream"} {";"} | |
| {"47"} | {"+"} | {" "} {"readonly"} {" "} {"toolUseId"} {":"} {" "} {"string"} {";"} | |
| {"48"} | {"+"} | {"}"} | |
| {"49"} | {"+"} | {"const"} {" "} {"pendingApprovals"} {" "} {"="} {" "} {"pausable"} {"<"} {"Pending"} {">();"} | |
| {"50"} | {"+"} | {"// 会话续接走「服务端记历史」范式:请求带 session.id(ctx),init 帧回传的 session_id 用 capture 写回。"} | |
| {"51"} | {"+"} | {"const"} {" "} {"session"} {" "} {"="} {" "} {"serverSession"} {"();"} | |
| {"52"} | {"+"} | {" "} | |
| {"53"} | {"+"} | {"function"} {" "} {"readStream"} {"("} {"cursor"} {":"} {" "} {"SseFrameCursor"} {"<"} {"ClaudeFrame"} {">, "} {"ctx"} {":"} {" "} {"AgentContext"} {", "} {"stream"} {":"} {" "} {"ClaudeSdkStream"} {")"} {":"} {" "} {"Promise"} {"<"} {"Turn"} {"> {"} | |
| {"54"} | {"+"} | {" "} {"return"} {" "} {"driveFrameStream"} {"(cursor, stream, ctx, ("} {"frame"} {", "} {"derived"} {") "} {"=>"} {" {"} | |
| {"55"} | {"+"} | {" session."} {"capture"} {"(ctx, stream.sessionId);"} | |
| {"56"} | {"+"} | {" "} | |
| {"57"} | {"+"} | {" "} {"if"} {" (frame.type "} {"==="} {" "} {"\"server_error\""} {") "} {"return"} {" { fail: (frame "} {"as"} {" "} {"TransportFrame"} {").message };"} | |
| {"58"} | {"+"} | {" "} | |
| {"59"} | {"+"} | {" "} {"// HITL 停轮:gated 工具的 tool_use 到了(canUseTool 此刻把流卡住,不会再有后续帧)。"} | |
| {"60"} | {"+"} | {" "} {"const"} {" "} {"gated"} {" "} {"="} {" derived."} {"find"} {"(("} {"e"} {") "} {"=>"} {" e.type "} {"==="} {" "} {"\"action.called\""} {" "} {"&&"} {" e.name "} {"==="} {" "} {"GATED_TOOL_NAME"} {");"} | |
| {"61"} | {"+"} | {" "} {"if"} {" (gated "} {"&&"} {" gated.type "} {"==="} {" "} {"\"action.called\""} {") {"} | |
| {"62"} | {"+"} | {" pendingApprovals."} {"hold"} {"(ctx, { cursor, stream, toolUseId: gated.callId });"} | |
| {"63"} | {"+"} | {" "} {"return"} {" { pause: { id: gated.callId, action: "} {"GATED_TOOL_NAME"} {", options: [{ id: "} {"\"approve\""} {" }, { id: "} {"\"deny\""} {" }] } };"} | |
| {"64"} | {"+"} | {" }"} | |
| {"65"} | {"+"} | {" });"} | |
| {"66"} | {"+"} | {"}"} | |
| {"67"} | {"+"} | {" "} | |
| {"68"} | {"+"} | {"/**"} | |
| {"69"} | {"+"} | {" * approve 端点在极少数情况下会在 canUseTool 真正把 resolver 存进服务端 pendingApprovals 之前"} | |
| {"70"} | {"+"} | {" * 就被我们打到——tool_use 块本身是\"模型已经决定调用\"的证据,但 SDK 内部要再过几十毫秒才跑到"} | |
| {"71"} | {"+"} | {" * canUseTool 回调去注册 resolver。404 大概率是这个注册竞态,不是真的没有这次审批,短退避重试"} | |
| {"72"} | {"+"} | {" * 几次;其它状态码直接抛。"} | |
| {"73"} | {"+"} | {" */"} | |
| {"74"} | {"+"} | {"async"} {" "} {"function"} {" "} {"postApprove"} {"("} {"toolUseId"} {":"} {" "} {"string"} {", "} {"approved"} {":"} {" "} {"boolean"} {", "} {"signal"} {":"} {" "} {"AbortSignal"} {")"} {":"} {" "} {"Promise"} {"<"} {"void"} {"> {"} | |
| {"75"} | {"+"} | {" "} {"const"} {" "} {"deadline"} {" "} {"="} {" Date."} {"now"} {"() "} {"+"} {" "} {"3_000"} {";"} | |
| {"76"} | {"+"} | {" "} {"for"} {" (;;) {"} | |
| {"77"} | {"+"} | {" "} {"const"} {" "} {"res"} {" "} {"="} {" "} {"await"} {" "} {"appFetch"} {"("} {"\"/api/chat/approve\""} {", { toolUseId, approved }, signal);"} | |
| {"78"} | {"+"} | {" "} {"if"} {" (res.ok) "} {"return"} {";"} | |
| {"79"} | {"+"} | {" "} {"if"} {" (res.status "} {"!=="} {" "} {"404"} {" "} {"||"} {" Date."} {"now"} {"() "} {">="} {" deadline) {"} | |
| {"80"} | {"+"} | {" "} {"throw"} {" "} {"new"} {" "} {"Error"} {"("} {"`POST /api/chat/approve 失败: ${"} {"res"} {"."} {"status"} {"} ${"} {"await"} {" "} {"res"} {"."} {"text"} {"()"} {"}`"} {");"} | |
| {"81"} | {"+"} | {" }"} | |
| {"82"} | {"+"} | {" "} {"await"} {" "} {"new"} {" "} {"Promise"} {"(("} {"resolve"} {") "} {"=>"} {" "} {"setTimeout"} {"(resolve, "} {"150"} {"));"} | |
| {"83"} | {"+"} | {" }"} | |
| {"84"} | {"+"} | {"}"} | |
| {"85"} | {"+"} | {" "} | |
| {"86"} | {"+"} | {"async"} {" "} {"function"} {" "} {"send"} {"("} {"input"} {":"} {" "} {"TurnInput"} {", "} {"ctx"} {":"} {" "} {"AgentContext"} {")"} {":"} {" "} {"Promise"} {"<"} {"Turn"} {"> {"} | |
| {"87"} | {"+"} | {" "} {"const"} {" "} {"pending"} {" "} {"="} {" pendingApprovals."} {"take"} {"(ctx);"} | |
| {"88"} | {"+"} | {" "} {"if"} {" (pending) {"} | |
| {"89"} | {"+"} | {" "} {"const"} {" "} {"approved"} {" "} {"="} {" input.text."} {"trim"} {"()."} {"toLowerCase"} {"() "} {"==="} {" "} {"\"approve\""} {";"} | |
| {"90"} | {"+"} | {" "} {"if"} {" ("} {"!"} {"approved) pending.stream."} {"markRejected"} {"(pending.toolUseId);"} | |
| {"91"} | {"+"} | {" "} {"await"} {" "} {"postApprove"} {"(pending.toolUseId, approved, ctx.signal);"} | |
| {"92"} | {"+"} | {" "} {"return"} {" "} {"readStream"} {"(pending.cursor, ctx, pending.stream);"} | |
| {"93"} | {"+"} | {" }"} | |
| {"94"} | {"+"} | {" "} | |
| {"95"} | {"+"} | {" "} {"const"} {" "} {"res"} {" "} {"="} {" "} {"await"} {" "} {"appFetch"} {"("} | |
| {"96"} | {"+"} | {" "} {"\"/api/chat\""} {","} | |
| {"97"} | {"+"} | {" { message: input.text, sessionId: session."} {"id"} {"(ctx) },"} | |
| {"98"} | {"+"} | {" ctx.signal,"} | |
| {"99"} | {"+"} | {" );"} | |
| {"100"} | {"+"} | {" "} {"if"} {" ("} {"!"} {"res.ok "} {"||"} {" "} {"!"} {"res.body) {"} | |
| {"101"} | {"+"} | {" "} {"throw"} {" "} {"new"} {" "} {"Error"} {"("} {"`POST /api/chat 失败: ${"} {"res"} {"."} {"status"} {"} ${"} {"await"} {" "} {"res"} {"."} {"text"} {"()."} {"catch"} {"(() "} {"=>"} {" "} {"\"\""} {")"} {"}`"} {");"} | |
| {"102"} | {"+"} | {" }"} | |
| {"103"} | {"+"} | {" "} {"return"} {" "} {"readStream"} {"("} {"sseJsonFrames"} {"<"} {"ClaudeFrame"} {">(res.body), ctx, "} {"fromClaudeSdkMessages"} {"());"} | |
| {"104"} | {"+"} | {"}"} | |
| {"105"} | {"+"} | {" "} | |
| {"106"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineAgent"} {"({"} | |
| {"107"} | {"+"} | {" name: "} {"\"claude-sdk\""} {","} | |
| {"108"} | {"+"} | {" capabilities: {"} | |
| {"109"} | {"+"} | {" "} {"// 验证过:isNew 时不带 sessionId 开新会话、system/init 帧回传的 session_id 写回"} | |
| {"110"} | {"+"} | {" "} {"// ctx.session.id、非 isNew 时带 id 经 SDK 的 resume 续接同一条历史(SDK 落盘在 ~/.claude)。"} | |
| {"111"} | {"+"} | {" conversation: "} {"true"} {","} | |
| {"112"} | {"+"} | {" "} {"// 验证过:get_weather / calculate 每次调用都有配对的 tool_use → action.called、"} | |
| {"113"} | {"+"} | {" "} {"// tool_result 或 permission_denied → action.result,无遗漏(映射见 fromClaudeSdkMessages)。"} | |
| {"114"} | {"+"} | {" toolObservability: "} {"true"} {","} | |
| {"115"} | {"+"} | {" },"} | |
| {"116"} | {"+"} | {" send,"} | |
| {"117"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"// 这条 eval 验证 agent 能正常问答、不瞎调工具,顺带冒烟 usage 有没有从 result 消息的"} | |
| {"4"} | {"+"} | {"// usage/total_cost_usd 正确映射进 Turn.usage。"} | |
| {"5"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"6"} | {"+"} | {" description: "} {"\"测试 agent 能正常问答且不瞎调工具\""} {","} | |
| {"7"} | {"+"} | {" "} | |
| {"8"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"9"} | {"+"} | {" "} {"const"} {" "} {"turn"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"用一句话介绍一下你自己,这轮不用查天气也不用算数。\""} {");"} | |
| {"10"} | {"+"} | {" turn."} {"expectOk"} {"();"} | |
| {"11"} | {"+"} | {" "} | |
| {"12"} | {"+"} | {" "} {"await"} {" t."} {"group"} {"("} {"\"正常收发、没有多余工具调用\""} {", () "} {"=>"} {" {"} | |
| {"13"} | {"+"} | {" t."} {"succeeded"} {"();"} | |
| {"14"} | {"+"} | {" t."} {"usedNoTools"} {"();"} | |
| {"15"} | {"+"} | {" });"} | |
| {"16"} | {"+"} | {" "} | |
| {"17"} | {"+"} | {" t."} {"maxTokens"} {"("} {"20_000"} {");"} | |
| {"18"} | {"+"} | {" "} | |
| {"19"} | {"+"} | {" t.judge.autoevals."} {"closedQA"} {"("} {"\"助手是否用一两句话正常介绍了自己,而不是报错或答非所问?\""} {")."} {"gate"} {"("} {"0.6"} {");"} | |
| {"20"} | {"+"} | {" },"} | |
| {"21"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" { equals } "} {"from"} {" "} {"\"niceeval/expect\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// calculate 工具经 canUseTool 挂了审批(见 agents/claude-sdk.ts、origin src/backend/agent.ts)。"} | |
| {"5"} | {"+"} | {"// 这条验证批准分支:approve 之后工具正常执行,calledTool 的 status 是 \"completed\"。"} | |
| {"6"} | {"+"} | {"//"} | |
| {"7"} | {"+"} | {"// 提示词不提\"审批\"——不同模型在提示词里看到\"审批\"字样时,有的会倾向于用文字问\"可以吗\""} | |
| {"8"} | {"+"} | {"// 而不是真的发起工具调用;审批门是服务端 canUseTool 自动挂的,跟用户怎么问无关。"} | |
| {"9"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"10"} | {"+"} | {" description: "} {"\"HITL:calculate 经批准后正常执行\""} {","} | |
| {"11"} | {"+"} | {" "} | |
| {"12"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"13"} | {"+"} | {" "} {"const"} {" "} {"draft"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"用计算器算一下 (23+19)*3 等于多少\""} {");"} | |
| {"14"} | {"+"} | {" t."} {"check"} {"(draft.status, "} {"equals"} {"("} {"\"waiting\""} {"));"} | |
| {"15"} | {"+"} | {" "} | |
| {"16"} | {"+"} | {" t."} {"requireInputRequest"} {"({ action: "} {"\"mcp__demo-tools__calculate\""} {" });"} | |
| {"17"} | {"+"} | {" "} | |
| {"18"} | {"+"} | {" "} {"const"} {" "} {"approved"} {" "} {"="} {" "} {"await"} {" t."} {"respond"} {"("} {"\"approve\""} {");"} | |
| {"19"} | {"+"} | {" approved."} {"succeeded"} {"();"} | |
| {"20"} | {"+"} | {" t."} {"calledTool"} {"("} {"\"mcp__demo-tools__calculate\""} {", { status: "} {"\"completed\""} {" });"} | |
| {"21"} | {"+"} | {" t."} {"messageIncludes"} {"("} {"/"} {"126"} {"/"} {");"} | |
| {"22"} | {"+"} | {" },"} | |
| {"23"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" { equals } "} {"from"} {" "} {"\"niceeval/expect\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// deny 分支:人否决和工具故障是两回事——calledTool 的 status 应该是 \"rejected\""} | |
| {"5"} | {"+"} | {"// (来自 system/permission_denied 帧,见 agents/claude-sdk.ts),noFailedActions() 依然通过。"} | |
| {"6"} | {"+"} | {"//"} | |
| {"7"} | {"+"} | {"// deepseek-v4-flash 被拒绝一次后,偶尔会不死心、原样再试一次同一个工具调用(新的 tool_use id,"} | |
| {"8"} | {"+"} | {"// 同一个 gated 工具),这一轮又会停在新的 input.requested 上——不是 adapter 的映射 bug(每次"} | |
| {"9"} | {"+"} | {"// 拒绝都正确落 rejected),是模型行为。deny 到它放弃为止,给个上限避免死循环。"} | |
| {"10"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"11"} | {"+"} | {" description: "} {"\"HITL:calculate 被拒绝后标记 rejected 而不是 failed\""} {","} | |
| {"12"} | {"+"} | {" "} | |
| {"13"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"14"} | {"+"} | {" "} {"await"} {" t."} {"send"} {"("} {"\"用计算器算一下 (23+19)*3 等于多少\""} {");"} | |
| {"15"} | {"+"} | {" t."} {"requireInputRequest"} {"({ action: "} {"\"mcp__demo-tools__calculate\""} {" });"} | |
| {"16"} | {"+"} | {" "} | |
| {"17"} | {"+"} | {" "} {"let"} {" denied "} {"="} {" "} {"await"} {" t."} {"respond"} {"("} {"\"deny\""} {");"} | |
| {"18"} | {"+"} | {" "} {"for"} {" ("} {"let"} {" attempt "} {"="} {" "} {"0"} {"; attempt "} {"<"} {" "} {"3"} {" "} {"&&"} {" denied.status "} {"==="} {" "} {"\"waiting\""} {"; attempt"} {"++"} {") {"} | |
| {"19"} | {"+"} | {" denied "} {"="} {" "} {"await"} {" t."} {"respond"} {"("} {"\"deny\""} {");"} | |
| {"20"} | {"+"} | {" }"} | |
| {"21"} | {"+"} | {" t."} {"check"} {"(denied.status, "} {"equals"} {"("} {"\"completed\""} {"));"} | |
| {"22"} | {"+"} | {" t."} {"calledTool"} {"("} {"\"mcp__demo-tools__calculate\""} {", { status: "} {"\"rejected\""} {" });"} | |
| {"23"} | {"+"} | {" t."} {"noFailedActions"} {"();"} | |
| {"24"} | {"+"} | {" },"} | |
| {"25"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" { includes, excludes } "} {"from"} {" "} {"\"niceeval/expect\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// 这条 eval 专门验证 conversation 能力位的两半承诺:同一 session 里第二轮记得住第一轮说的名字"} | |
| {"5"} | {"+"} | {"// (SDK 的 resume 续接同一个 claude-code 会话历史成功);t.newSession() 造出的新 session"} | |
| {"6"} | {"+"} | {"// 不共享历史(常见 bug:adapter 忽略 ctx.session.isNew 一律续接,隔离会静默失真且不报错)。"} | |
| {"7"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"8"} | {"+"} | {" description: "} {"\"测试跨轮记忆与 newSession() 隔离\""} {","} | |
| {"9"} | {"+"} | {" "} | |
| {"10"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"11"} | {"+"} | {" "} {"await"} {" t."} {"send"} {"("} {"\"我叫小明,帮我记住这个名字。\""} {");"} | |
| {"12"} | {"+"} | {" "} {"const"} {" "} {"recall"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"我刚才说我叫什么名字?\""} {");"} | |
| {"13"} | {"+"} | {" recall."} {"messageIncludes"} {"("} {"\"小明\""} {");"} | |
| {"14"} | {"+"} | {" t."} {"check"} {"(t.reply, "} {"includes"} {"("} {"\"小明\""} {"));"} | |
| {"15"} | {"+"} | {" "} | |
| {"16"} | {"+"} | {" "} {"const"} {" "} {"fresh"} {" "} {"="} {" t."} {"newSession"} {"();"} | |
| {"17"} | {"+"} | {" "} {"await"} {" fresh."} {"send"} {"("} {"\"我叫什么名字?\""} {");"} | |
| {"18"} | {"+"} | {" t."} {"check"} {"(fresh.reply, "} {"excludes"} {"("} {"\"小明\""} {"));"} | |
| {"19"} | {"+"} | {" },"} | |
| {"20"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"// 这条 eval 验证 agent 遇到实时天气问题时会调 get_weather,而不是直接编一个答案。"} | |
| {"4"} | {"+"} | {"// 工具名是 MCP 命名空间下的真实名字 mcp__demo-tools__get_weather(不是裸的 get_weather),"} | |
| {"5"} | {"+"} | {"// 见 agents/claude-sdk.ts 头注释。"} | |
| {"6"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"7"} | {"+"} | {" description: "} {"\"测试 agent 在天气问题中正确调用 get_weather 并基于结果作答\""} {","} | |
| {"8"} | {"+"} | {" "} | |
| {"9"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"10"} | {"+"} | {" "} {"const"} {" "} {"turn"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"北京今天天气怎么样?\""} {");"} | |
| {"11"} | {"+"} | {" turn."} {"expectOk"} {"();"} | |
| {"12"} | {"+"} | {" "} | |
| {"13"} | {"+"} | {" "} {"await"} {" t."} {"group"} {"("} {"\"调用 get_weather 且城市正确\""} {", () "} {"=>"} {" {"} | |
| {"14"} | {"+"} | {" t."} {"calledTool"} {"("} {"\"mcp__demo-tools__get_weather\""} {", { input: { city: "} {"\"北京\""} {" } });"} | |
| {"15"} | {"+"} | {" t."} {"messageIncludes"} {"("} {"/"} {"°C"} {"|"} {"气温"} {"|"} {"天气"} {"|"} {"晴"} {"|"} {"多云"} {"|"} {"雨"} {"|"} {"阴"} {"/"} {");"} | |
| {"16"} | {"+"} | {" });"} | |
| {"17"} | {"+"} | {" "} | |
| {"18"} | {"+"} | {" t.judge.autoevals"} | |
| {"19"} | {"+"} | {" ."} {"closedQA"} {"("} {"\"助手是否给出了具体的天气数据(温度或天气状况),而不是拒绝回答或含糊其辞?\""} {")"} | |
| {"20"} | {"+"} | {" ."} {"atLeast"} {"("} {"0.7"} {");"} | |
| {"21"} | {"+"} | {" },"} | |
| {"22"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineExperiment } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" agent "} {"from"} {" "} {"\"../agents/claude-sdk.ts\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// 单配置基线:不比较模型,用 .env 里的默认模型。"} | |
| {"5"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineExperiment"} {"({"} | |
| {"6"} | {"+"} | {" description: "} {"\"claude-sdk:真实 Claude Agent SDK 后端(默认模型)\""} {","} | |
| {"7"} | {"+"} | {" agent,"} | |
| {"8"} | {"+"} | {" runs: "} {"1"} {","} | |
| {"9"} | {"+"} | {"});"} |