| {"类别"} | {"文件数"} | {"行数"} |
|---|---|---|
| {"应用侧配置（必要：依赖声明）"} | {"3"} | {"+7 −1"} |
| {"adapter（必要：传输粘合，协议映射在官方包里）"} | {"2"} | {"+85"} |
| {"evals 与 experiments（评测内容，按需增长）"} | {"5"} | {"+107"} |
| {"合计"} | {"10"} | {"+199 −1"} |
| {"⇕"} | {"展开 8 行未变更代码"} | ||
| {"1"} | {"1"} | {"{"} | |
| {"2"} | {"2"} | {" "} {"\"name\""} {": "} {"\"codex-sdk-example\""} {","} | |
| {"3"} | {"3"} | {" "} {"\"version\""} {": "} {"\"0.1.0\""} {","} | |
| {"4"} | {"4"} | {" "} {"\"private\""} {": "} {"true"} {","} | |
| {"5"} | {"5"} | {" "} {"\"type\""} {": "} {"\"module\""} {","} | |
| {"6"} | {"6"} | {" "} {"\"scripts\""} {": {"} | |
| {"7"} | {"7"} | {" "} {"\"dev\""} {": "} {"\"lsof -ti tcp:5199 | xargs kill -9 2>/dev/null; concurrently -k -n server,web -c blue,green "} {"\\\""} {"pnpm dev:server"} {"\\\""} {" "} {"\\\""} {"pnpm dev:web"} {"\\\""} {"\""} {","} | |
| {"8"} | {"8"} | {" "} {"\"dev:server\""} {": "} {"\"node --env-file .env --import tsx/esm --watch src/backend/server.ts\""} {","} | |
| {"9"} | {"9"} | {" "} {"\"dev:web\""} {": "} {"\"wait-on -t 30000 tcp:127.0.0.1:5199 && vite\""} {","} | |
| {"10"} | {"10"} | {" "} {"\"build\""} {": "} {"\"vite build\""} {","} | |
| {"11"} | {"11"} | {" "} {"\"start\""} {": "} {"\"node --env-file .env --import tsx/esm src/backend/server.ts\""} {","} | |
| {"12"} | {"+"} | {" "} {"\"eval\""} {": "} {"\"niceeval\""} {","} | |
| {"12"} | {"13"} | {" "} {"\"typecheck\""} {": "} {"\"tsc --noEmit\""} | |
| {"13"} | {"14"} | {" },"} | |
| {"14"} | {"15"} | {" "} {"\"dependencies\""} {": {"} | |
| {"⇕"} | {"展开 8 行未变更代码"} | ||
| {"15"} | {"16"} | {" "} {"\"@assistant-ui/react\""} {": "} {"\"^0.14.24\""} {","} | |
| {"16"} | {"17"} | {" "} {"\"@openai/codex-sdk\""} {": "} {"\"^0.142.5\""} {","} | |
| {"17"} | {"18"} | {" "} {"\"react\""} {": "} {"\"^19.0.0\""} {","} | |
| {"18"} | {"19"} | {" "} {"\"react-dom\""} {": "} {"\"^19.0.0\""} | |
| {"19"} | {"20"} | {" },"} | |
| {"20"} | {"21"} | {" "} {"\"devDependencies\""} {": {"} | |
| {"21"} | {"22"} | {" "} {"\"@types/node\""} {": "} {"\"^22.0.0\""} {","} | |
| {"22"} | {"23"} | {" "} {"\"@types/react\""} {": "} {"\"^19.0.0\""} {","} | |
| {"23"} | {"24"} | {" "} {"\"@types/react-dom\""} {": "} {"\"^19.0.0\""} {","} | |
| {"24"} | {"25"} | {" "} {"\"@vitejs/plugin-react\""} {": "} {"\"^5.0.0\""} {","} | |
| {"25"} | {"26"} | {" "} {"\"concurrently\""} {": "} {"\"^9.0.0\""} {","} | |
| {"27"} | {"+"} | {" "} {"\"niceeval\""} {": "} {"\"file:../../../..\""} {","} | |
| {"26"} | {"28"} | {" "} {"\"tsx\""} {": "} {"\"^4.19.2\""} {","} | |
| {"27"} | {"29"} | {" "} {"\"typescript\""} {": "} {"\"^5.7.2\""} {","} | |
| {"28"} | {"30"} | {" "} {"\"vite\""} {": "} {"\"^7.0.0\""} {","} | |
| {"29"} | {"31"} | {" "} {"\"wait-on\""} {": "} {"\"^9.0.0\""} | |
| {"30"} | {"32"} | {" }"} | |
| {"31"} | {"33"} | {"}"} |
| {"⇕"} | {"展开 13 行未变更代码"} | ||
| {"1"} | {"1"} | {"{"} | |
| {"2"} | {"2"} | {" "} {"\"compilerOptions\""} {": {"} | |
| {"3"} | {"3"} | {" "} {"\"target\""} {": "} {"\"ES2022\""} {","} | |
| {"4"} | {"4"} | {" "} {"\"module\""} {": "} {"\"NodeNext\""} {","} | |
| {"5"} | {"5"} | {" "} {"\"moduleResolution\""} {": "} {"\"NodeNext\""} {","} | |
| {"6"} | {"6"} | {" "} {"\"lib\""} {": ["} {"\"ES2023\""} {", "} {"\"DOM\""} {", "} {"\"DOM.Iterable\""} {"],"} | |
| {"7"} | {"7"} | {" "} {"\"types\""} {": ["} {"\"node\""} {"],"} | |
| {"8"} | {"8"} | {" "} {"\"jsx\""} {": "} {"\"react-jsx\""} {","} | |
| {"9"} | {"9"} | {" "} {"\"strict\""} {": "} {"true"} {","} | |
| {"10"} | {"10"} | {" "} {"\"noUncheckedIndexedAccess\""} {": "} {"false"} {","} | |
| {"11"} | {"11"} | {" "} {"\"esModuleInterop\""} {": "} {"true"} {","} | |
| {"12"} | {"12"} | {" "} {"\"skipLibCheck\""} {": "} {"true"} {","} | |
| {"13"} | {"13"} | {" "} {"\"allowImportingTsExtensions\""} {": "} {"true"} {","} | |
| {"14"} | {"14"} | {" "} {"\"noEmit\""} {": "} {"true"} {","} | |
| {"15"} | {"15"} | {" "} {"\"forceConsistentCasingInFileNames\""} {": "} {"true"} | |
| {"16"} | {"16"} | {" },"} | |
| {"17"} | {"−"} | {" "} {"\"include\""} {": ["} {"\"src\""} {", "} {"\"vite.config.ts\""} {"]"} | |
| {"17"} | {"+"} | {" "} {"\"include\""} {": ["} {"\"src\""} {", "} {"\"vite.config.ts\""} {", "} {"\"niceeval.config.ts\""} {", "} {"\"agents\""} {", "} {"\"evals\""} {", "} {"\"experiments\""} {"]"} | |
| {"18"} | {"18"} | {"}"} |
| {"1"} | {"1"} | {"# examples/ 不属于本仓库的 monorepo —— 每个 example 是独立 npm 项目(自带"} | |
| {"2"} | {"2"} | {"# package.json),不作为本仓库根 workspace 的成员。这个空 workspace 文件让 pnpm"} | |
| {"3"} | {"3"} | {"# 把这里当独立项目安装依赖,不往上找根 workspace。"} | |
| {"4"} | {"4"} | {"packages"} {": []"} | |
| {"5"} | {"5"} | {"allowBuilds"} {":"} | |
| {"6"} | {"6"} | {" "} {"esbuild"} {": "} {"true"} | |
| {"7"} | {"+"} | {"overrides"} {":"} | |
| {"8"} | {"+"} | {" "} {"niceeval"} {": "} {"link:../../../.."} | |
| {"9"} | {"+"} | {"minimumReleaseAgeExclude"} {":"} | |
| {"10"} | {"+"} | {" - "} {"niceeval@0.1.1"} |
| {"1"} | {"+"} | {"import"} {" { defineConfig } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineConfig"} {"({"} | |
| {"4"} | {"+"} | {" name: { "} {"\"zh-CN\""} {": "} {"\"Codex SDK 示例\""} {", en: "} {"\"Codex SDK example\""} {" },"} | |
| {"5"} | {"+"} | {" judge: { model: "} {"\"gpt-5.4\""} {" },"} | |
| {"6"} | {"+"} | {" timeoutMs: "} {"180_000"} {","} | |
| {"7"} | {"+"} | {" "} {"// span 接收钉在 OTLP 标准端口:起应用时 OTEL_EXPORTER_OTLP_ENDPOINT 指过来即可(见 README)。"} | |
| {"8"} | {"+"} | {" telemetry: { port: "} {"4318"} {" },"} | |
| {"9"} | {"+"} | {" "} {"// 每个 attempt 都要经一个真实子进程(server.ts)+ Codex CLI 子进程(真的在工作目录里"} | |
| {"10"} | {"+"} | {" "} {"// 跑命令/改文件)+ 网络调用,比其它示例都重,别开太高并发。"} | |
| {"11"} | {"+"} | {" maxConcurrency: "} {"2"} {","} | |
| {"12"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"// codex-sdk 的 adapter:无侵入对接一个**已经在跑**的应用(../src/backend/server.ts,原生"} | |
| {"2"} | {"+"} | {"// `ThreadEvent` 流原样透传成 SSE,外加一个和 `ThreadErrorEvent` 同形状的 `{type:\"error\"}`"} | |
| {"3"} | {"+"} | {"// 传输帧)。没有 HITL(Codex SDK 不支持),永不返回 \"waiting\"。"} | |
| {"4"} | {"+"} | {"//"} | |
| {"5"} | {"+"} | {"// 事件分工:"} | |
| {"6"} | {"+"} | {"// · 工具调用 + usage —— `events: otelEvents({ dialects: [otel.codex] })` 官方方言,从"} | |
| {"7"} | {"+"} | {"// codex CLI 原生 OTLP(config.toml [otel] 块)的 span 派生;瀑布图经官方 `mapCodexSpans`"} | |
| {"8"} | {"+"} | {"// 归一。codex 的 span 没有工具 I/O,要做 I/O 断言时按 call_id 手写补(本示例的断言"} | |
| {"9"} | {"+"} | {"// 直接读磁盘验证,不需要)。"} | |
| {"10"} | {"+"} | {"// · 消息文本 / 终局错误 —— 官方转换器 `fromCodexThreadEvents` 从 `ThreadEvent` 帧翻译,"} | |
| {"11"} | {"+"} | {"// 逐帧驱动是官方件 `driveFrameStream`(没有 HITL,onFrame 只用来处理传输帧 + 抓 threadId)。"} | |
| {"12"} | {"+"} | {"import"} {" { defineAgent, otelEvents, otel, mapCodexSpans, sseJsonFrames, fromCodexThreadEvents, driveFrameStream, serverSession } "} {"from"} {" "} {"\"niceeval/adapter\""} {";"} | |
| {"13"} | {"+"} | {"import"} {" "} {"type"} {" { AgentContext } "} {"from"} {" "} {"\"niceeval/adapter\""} {";"} | |
| {"14"} | {"+"} | {"import"} {" "} {"type"} {" { Turn, TurnInput } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"15"} | {"+"} | {"import"} {" "} {"type"} {" { ThreadEvent } "} {"from"} {" "} {"\"@openai/codex-sdk\""} {";"} | |
| {"16"} | {"+"} | {" "} | |
| {"17"} | {"+"} | {"// 被测应用由你自己按它的方式启动(pnpm start / 部署在哪都行),eval 不代管进程、不另开端口。"} | |
| {"18"} | {"+"} | {"const"} {" "} {"BASE_URL"} {" "} {"="} {" process.env."} {"CODEX_SDK_URL"} {" "} {"??"} {" "} {"\"http://127.0.0.1:5199\""} {";"} | |
| {"19"} | {"+"} | {" "} | |
| {"20"} | {"+"} | {"type"} {" "} {"TransportFrame"} {" "} {"="} {" { "} {"type"} {":"} {" "} {"\"error\""} {"; "} {"message"} {":"} {" "} {"string"} {" };"} | |
| {"21"} | {"+"} | {"type"} {" "} {"CodexFrame"} {" "} {"="} {" "} {"ThreadEvent"} {" "} {"|"} {" "} {"TransportFrame"} {";"} | |
| {"22"} | {"+"} | {" "} | |
| {"23"} | {"+"} | {"// 会话续接走「服务端记历史」范式:请求带 session.id(ctx),thread.started 回传的 id 用 capture 写回。"} | |
| {"24"} | {"+"} | {"const"} {" "} {"session"} {" "} {"="} {" "} {"serverSession"} {"();"} | |
| {"25"} | {"+"} | {" "} | |
| {"26"} | {"+"} | {"async"} {" "} {"function"} {" "} {"send"} {"("} {"input"} {":"} {" "} {"TurnInput"} {", "} {"ctx"} {":"} {" "} {"AgentContext"} {")"} {":"} {" "} {"Promise"} {"<"} {"Turn"} {"> {"} | |
| {"27"} | {"+"} | {" "} {"let"} {" res"} {":"} {" "} {"Response"} {";"} | |
| {"28"} | {"+"} | {" "} {"try"} {" {"} | |
| {"29"} | {"+"} | {" res "} {"="} {" "} {"await"} {" "} {"fetch"} {"("} {"`${"} {"BASE_URL"} {"}/api/chat`"} {", {"} | |
| {"30"} | {"+"} | {" method: "} {"\"POST\""} {","} | |
| {"31"} | {"+"} | {" headers: { "} {"\"content-type\""} {": "} {"\"application/json\""} {" },"} | |
| {"32"} | {"+"} | {" body: "} {"JSON"} {"."} {"stringify"} {"({"} | |
| {"33"} | {"+"} | {" message: input.text,"} | |
| {"34"} | {"+"} | {" threadId: session."} {"id"} {"(ctx),"} | |
| {"35"} | {"+"} | {" }),"} | |
| {"36"} | {"+"} | {" signal: ctx.signal,"} | |
| {"37"} | {"+"} | {" });"} | |
| {"38"} | {"+"} | {" } "} {"catch"} {" (err) {"} | |
| {"39"} | {"+"} | {" "} {"if"} {" (ctx.signal.aborted) "} {"throw"} {" err;"} | |
| {"40"} | {"+"} | {" "} {"throw"} {" "} {"new"} {" "} {"Error"} {"("} | |
| {"41"} | {"+"} | {" "} {"`连不上 ${"} {"BASE_URL"} {"}/api/chat。被测应用在跑吗?先起它:cd examples/zh/tier1/codex-sdk && pnpm start(或设 CODEX_SDK_URL 指向已部署实例)。`"} {","} | |
| {"42"} | {"+"} | {" );"} | |
| {"43"} | {"+"} | {" }"} | |
| {"44"} | {"+"} | {" "} {"if"} {" ("} {"!"} {"res.ok "} {"||"} {" "} {"!"} {"res.body) {"} | |
| {"45"} | {"+"} | {" "} {"throw"} {" "} {"new"} {" "} {"Error"} {"("} {"`POST /api/chat 失败: ${"} {"res"} {"."} {"status"} {"} ${"} {"await"} {" "} {"res"} {"."} {"text"} {"()."} {"catch"} {"(() "} {"=>"} {" "} {"\"\""} {")"} {"}`"} {");"} | |
| {"46"} | {"+"} | {" }"} | |
| {"47"} | {"+"} | {" "} | |
| {"48"} | {"+"} | {" "} {"const"} {" "} {"stream"} {" "} {"="} {" "} {"fromCodexThreadEvents"} {"();"} | |
| {"49"} | {"+"} | {" "} {"return"} {" "} {"driveFrameStream"} {"("} {"sseJsonFrames"} {"<"} {"CodexFrame"} {">(res.body), stream, ctx, ("} {"frame"} {") "} {"=>"} {" {"} | |
| {"50"} | {"+"} | {" "} {"// 应用自定义传输帧(query() 之外的失败,比如 spawn 失败),不属于 ThreadEvent。"} | |
| {"51"} | {"+"} | {" "} {"if"} {" (frame.type "} {"==="} {" "} {"\"error\""} {") "} {"return"} {" { fail: (frame "} {"as"} {" "} {"TransportFrame"} {").message };"} | |
| {"52"} | {"+"} | {" session."} {"capture"} {"(ctx, stream.threadId);"} | |
| {"53"} | {"+"} | {" });"} | |
| {"54"} | {"+"} | {"}"} | |
| {"55"} | {"+"} | {" "} | |
| {"56"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineAgent"} {"({"} | |
| {"57"} | {"+"} | {" name: "} {"\"codex-sdk\""} {","} | |
| {"58"} | {"+"} | {" capabilities: {"} | |
| {"59"} | {"+"} | {" "} {"// 验证过:isNew 时不带 threadId 开新会话、thread.started 帧回传的 thread_id 写回"} | |
| {"60"} | {"+"} | {" "} {"// ctx.session.id、非 isNew 时带 id 经 codex.resumeThread 续接同一条历史"} | |
| {"61"} | {"+"} | {" "} {"// (SDK 落盘在 ~/.codex/sessions)。"} | |
| {"62"} | {"+"} | {" conversation: "} {"true"} {","} | |
| {"63"} | {"+"} | {" "} {"// 工具观测走 otel.codex 方言:每次真实执行都有带 tool_name + call_id 的 span"} | |
| {"64"} | {"+"} | {" "} {"// (实测见 src/o11y/otlp/dialects.ts 的 codex 方言注释),覆盖完整。"} | |
| {"65"} | {"+"} | {" toolObservability: "} {"true"} {","} | |
| {"66"} | {"+"} | {" tracing: "} {"true"} {","} | |
| {"67"} | {"+"} | {" },"} | |
| {"68"} | {"+"} | {" "} {"// 声明了 events 就走 run 级共享接收器;端口钉在 niceeval.config.ts 的 telemetry.port,"} | |
| {"69"} | {"+"} | {" "} {"// 起应用时 OTEL_EXPORTER_OTLP_ENDPOINT 指过来(codex 配置里自己拼 /v1/traces,给 base)。"} | |
| {"70"} | {"+"} | {" events: "} {"otelEvents"} {"({ dialects: [otel.codex] }),"} | |
| {"71"} | {"+"} | {" spanMapper: mapCodexSpans,"} | |
| {"72"} | {"+"} | {" send,"} | |
| {"73"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"// 这条 eval 验证 agent 能正常问答,顺带冒烟 usage 有没有从 turn.completed 的"} | |
| {"4"} | {"+"} | {"// usage(input_tokens/output_tokens/cached_input_tokens)正确映射进 Turn.usage。"} | |
| {"5"} | {"+"} | {"// Codex 是自主编码 agent,即使是纯问答也可能顺手探索一下工作目录——这里不强断言"} | |
| {"6"} | {"+"} | {"// usedNoTools(),只看回答本身和有没有失败的动作。"} | |
| {"7"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"8"} | {"+"} | {" description: "} {"\"测试 agent 能正常问答\""} {","} | |
| {"9"} | {"+"} | {" "} | |
| {"10"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"11"} | {"+"} | {" "} {"const"} {" "} {"turn"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"1+1 等于几?用一句话回答就好,不用跑命令也不用建文件。\""} {");"} | |
| {"12"} | {"+"} | {" turn."} {"expectOk"} {"();"} | |
| {"13"} | {"+"} | {" "} | |
| {"14"} | {"+"} | {" "} {"await"} {" t."} {"group"} {"("} {"\"正常收发\""} {", () "} {"=>"} {" {"} | |
| {"15"} | {"+"} | {" t."} {"succeeded"} {"();"} | |
| {"16"} | {"+"} | {" t."} {"noFailedActions"} {"();"} | |
| {"17"} | {"+"} | {" t."} {"messageIncludes"} {"("} {"\"2\""} {");"} | |
| {"18"} | {"+"} | {" });"} | |
| {"19"} | {"+"} | {" "} | |
| {"20"} | {"+"} | {" t."} {"maxTokens"} {"("} {"40_000"} {");"} | |
| {"21"} | {"+"} | {" },"} | |
| {"22"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" { includes } "} {"from"} {" "} {"\"niceeval/expect\""} {";"} | |
| {"3"} | {"+"} | {"import"} {" { readFileSync, rmSync } "} {"from"} {" "} {"\"node:fs\""} {";"} | |
| {"4"} | {"+"} | {"import"} {" { join } "} {"from"} {" "} {"\"node:path\""} {";"} | |
| {"5"} | {"+"} | {" "} | |
| {"6"} | {"+"} | {"// Codex 是\"目录里的编码 agent\",这条 eval 测它最本分的事:在工作目录里写一个真实文件。"} | |
| {"7"} | {"+"} | {"// 断言不只信模型的自我报告——先删掉目标文件(workspace/ 不会在 attempt 之间自动清空,见"} | |
| {"8"} | {"+"} | {"// origin src/backend/agent.ts 头注释),跑完直接用 node:fs 读磁盘上的真实内容,双重核实"} | |
| {"9"} | {"+"} | {"// (工具调用记录 + 文件确实存在且内容对)。"} | |
| {"10"} | {"+"} | {"const"} {" "} {"WORKSPACE_FILE"} {" "} {"="} {" "} {"join"} {"(process."} {"cwd"} {"(), "} {"\"workspace\""} {", "} {"\"niceeval-create-file.txt\""} {");"} | |
| {"11"} | {"+"} | {"const"} {" "} {"MARKER"} {" "} {"="} {" "} {"\"niceeval-marker-926\""} {";"} | |
| {"12"} | {"+"} | {" "} | |
| {"13"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"14"} | {"+"} | {" description: "} {"\"测试 agent 能在工作目录里创建一个内容正确的真实文件\""} {","} | |
| {"15"} | {"+"} | {" "} | |
| {"16"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"17"} | {"+"} | {" "} {"rmSync"} {"("} {"WORKSPACE_FILE"} {", { force: "} {"true"} {" });"} | |
| {"18"} | {"+"} | {" "} | |
| {"19"} | {"+"} | {" "} {"const"} {" "} {"turn"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} | |
| {"20"} | {"+"} | {" "} {"`在当前工作目录创建一个文件 niceeval-create-file.txt,内容只写一行:${"} {"MARKER"} {"}`"} {","} | |
| {"21"} | {"+"} | {" );"} | |
| {"22"} | {"+"} | {" turn."} {"expectOk"} {"();"} | |
| {"23"} | {"+"} | {" "} | |
| {"24"} | {"+"} | {" "} {"await"} {" t."} {"group"} {"("} {"\"正常收发、没有失败的动作\""} {", () "} {"=>"} {" {"} | |
| {"25"} | {"+"} | {" t."} {"succeeded"} {"();"} | |
| {"26"} | {"+"} | {" t."} {"noFailedActions"} {"();"} | |
| {"27"} | {"+"} | {" });"} | |
| {"28"} | {"+"} | {" "} | |
| {"29"} | {"+"} | {" "} {"const"} {" "} {"content"} {" "} {"="} {" "} {"readFileSync"} {"("} {"WORKSPACE_FILE"} {", "} {"\"utf8\""} {");"} | |
| {"30"} | {"+"} | {" t."} {"check"} {"(content, "} {"includes"} {"("} {"MARKER"} {"));"} | |
| {"31"} | {"+"} | {" },"} | |
| {"32"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"// 这条 eval 验证 agent 会真的跑 shell 命令(而不是凭空回答)。工具事件由 otel.codex 方言"} | |
| {"4"} | {"+"} | {"// 从 codex 原生 span 派生,工具名是 span 上的 codex 内部名 `exec_command`"} | |
| {"5"} | {"+"} | {"// (不是 ThreadEvent item 的 `command_execution`——两套命名来自 codex 的不同层)。"} | |
| {"6"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"7"} | {"+"} | {" description: "} {"\"测试 agent 能在工作目录里跑一个真实 shell 命令\""} {","} | |
| {"8"} | {"+"} | {" "} | |
| {"9"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"10"} | {"+"} | {" "} {"const"} {" "} {"turn"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"在当前工作目录跑 `echo niceeval-run-command-926`,把命令的输出告诉我。\""} {");"} | |
| {"11"} | {"+"} | {" turn."} {"expectOk"} {"();"} | |
| {"12"} | {"+"} | {" "} | |
| {"13"} | {"+"} | {" "} {"await"} {" t."} {"group"} {"("} {"\"调用了 shell 且没有失败的动作\""} {", () "} {"=>"} {" {"} | |
| {"14"} | {"+"} | {" t."} {"calledTool"} {"("} {"\"exec_command\""} {", { status: "} {"\"completed\""} {" });"} | |
| {"15"} | {"+"} | {" t."} {"noFailedActions"} {"();"} | |
| {"16"} | {"+"} | {" });"} | |
| {"17"} | {"+"} | {" "} | |
| {"18"} | {"+"} | {" t."} {"messageIncludes"} {"("} {"\"niceeval-run-command-926\""} {");"} | |
| {"19"} | {"+"} | {" },"} | |
| {"20"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" { includes, excludes } "} {"from"} {" "} {"\"niceeval/expect\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// 这条 eval 专门验证 conversation 能力位:同一 thread 里第二轮记得住第一轮说的事"} | |
| {"5"} | {"+"} | {"// (codex.resumeThread 续接成功);t.newSession() 造出的新 thread 不共享历史。"} | |
| {"6"} | {"+"} | {"//"} | |
| {"7"} | {"+"} | {"// 故意用一句\"记住我最喜欢的颜色\"而不是\"你创建的文件叫什么\"——workspace/ 目录是所有"} | |
| {"8"} | {"+"} | {"// thread 共享的同一份磁盘状态,如果拿文件是否存在当隔离信号,新 thread 完全可能自己"} | |
| {"9"} | {"+"} | {"// ls 一下发现文件还在,那测的是\"文件系统有没有清空\"而不是\"对话记忆有没有隔离\","} | |
| {"10"} | {"+"} | {"// 两回事。纯口头事实不受工作目录状态干扰,是更干净的隔离信号。"} | |
| {"11"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"12"} | {"+"} | {" description: "} {"\"测试跨轮记忆与 newSession() 隔离\""} {","} | |
| {"13"} | {"+"} | {" "} | |
| {"14"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"15"} | {"+"} | {" "} {"await"} {" t."} {"send"} {"("} {"\"我最喜欢的颜色是蓝色,记住这个偏好。这轮不用跑命令也不用建文件。\""} {");"} | |
| {"16"} | {"+"} | {" "} {"const"} {" "} {"recall"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"我刚才说我最喜欢的颜色是什么?\""} {");"} | |
| {"17"} | {"+"} | {" recall."} {"messageIncludes"} {"("} {"/"} {"蓝"} {"/"} {");"} | |
| {"18"} | {"+"} | {" t."} {"check"} {"(t.reply, "} {"includes"} {"("} {"\"蓝\""} {"));"} | |
| {"19"} | {"+"} | {" "} | |
| {"20"} | {"+"} | {" "} {"const"} {" "} {"fresh"} {" "} {"="} {" t."} {"newSession"} {"();"} | |
| {"21"} | {"+"} | {" "} {"await"} {" fresh."} {"send"} {"("} {"\"我最喜欢的颜色是什么?\""} {");"} | |
| {"22"} | {"+"} | {" t."} {"check"} {"(fresh.reply, "} {"excludes"} {"("} {"\"蓝\""} {"));"} | |
| {"23"} | {"+"} | {" },"} | |
| {"24"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineExperiment } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" agent "} {"from"} {" "} {"\"../agents/codex-sdk.ts\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// 单配置基线:这个示例只有一个 agent、不比较模型,用 .env 里的默认模型(gpt-5.4)。"} | |
| {"5"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineExperiment"} {"({"} | |
| {"6"} | {"+"} | {" description: "} {"\"codex-sdk:真实 Codex SDK 后端\""} {","} | |
| {"7"} | {"+"} | {" agent,"} | |
| {"8"} | {"+"} | {" runs: "} {"1"} {","} | |
| {"9"} | {"+"} | {"});"} |