| {"类别"} | {"文件数"} | {"行数"} |
|---|---|---|
| {"应用侧配置（必要：依赖声明）"} | {"3"} | {"+5 −1"} |
| {"adapter（必要：传输粘合，协议映射在官方包里）"} | {"2"} | {"+36"} |
| {"evals 与 experiments（评测内容，按需增长）"} | {"8"} | {"+143"} |
| {"合计"} | {"13"} | {"+184 −1"} |
| {"⇕"} | {"展开 8 行未变更代码"} | ||
| {"1"} | {"1"} | {"{"} | |
| {"2"} | {"2"} | {" "} {"\"name\""} {": "} {"\"ai-sdk-v7-example\""} {","} | |
| {"3"} | {"3"} | {" "} {"\"version\""} {": "} {"\"0.1.0\""} {","} | |
| {"4"} | {"4"} | {" "} {"\"private\""} {": "} {"true"} {","} | |
| {"5"} | {"5"} | {" "} {"\"type\""} {": "} {"\"module\""} {","} | |
| {"6"} | {"6"} | {" "} {"\"scripts\""} {": {"} | |
| {"7"} | {"7"} | {" "} {"\"dev\""} {": "} {"\"lsof -ti tcp:5188 | xargs kill -9 2>/dev/null; concurrently -k -n server,web -c blue,green "} {"\\\""} {"pnpm dev:server"} {"\\\""} {" "} {"\\\""} {"pnpm dev:web"} {"\\\""} {"\""} {","} | |
| {"8"} | {"8"} | {" "} {"\"dev:server\""} {": "} {"\"node --env-file .env --import tsx/esm --watch src/backend/server.ts\""} {","} | |
| {"9"} | {"9"} | {" "} {"\"dev:web\""} {": "} {"\"wait-on -t 30000 tcp:127.0.0.1:5188 && vite\""} {","} | |
| {"10"} | {"10"} | {" "} {"\"build\""} {": "} {"\"vite build\""} {","} | |
| {"11"} | {"11"} | {" "} {"\"start\""} {": "} {"\"node --env-file .env --import tsx/esm src/backend/server.ts\""} {","} | |
| {"12"} | {"+"} | {" "} {"\"eval\""} {": "} {"\"niceeval\""} {","} | |
| {"12"} | {"13"} | {" "} {"\"typecheck\""} {": "} {"\"tsc --noEmit\""} | |
| {"13"} | {"14"} | {" },"} | |
| {"14"} | {"15"} | {" "} {"\"dependencies\""} {": {"} | |
| {"⇕"} | {"展开 15 行未变更代码"} | ||
| {"15"} | {"16"} | {" "} {"\"@ai-sdk/openai\""} {": "} {"\"^4.0.5\""} {","} | |
| {"16"} | {"17"} | {" "} {"\"@ai-sdk/otel\""} {": "} {"\"^1.0.11\""} {","} | |
| {"17"} | {"18"} | {" "} {"\"@ai-sdk/react\""} {": "} {"\"^4.0.5\""} {","} | |
| {"18"} | {"19"} | {" "} {"\"@opentelemetry/api\""} {": "} {"\"^1.9.1\""} {","} | |
| {"19"} | {"20"} | {" "} {"\"@opentelemetry/exporter-trace-otlp-http\""} {": "} {"\"^0.219.0\""} {","} | |
| {"20"} | {"21"} | {" "} {"\"@opentelemetry/resources\""} {": "} {"\"^2.8.0\""} {","} | |
| {"21"} | {"22"} | {" "} {"\"@opentelemetry/sdk-trace-node\""} {": "} {"\"^2.8.0\""} {","} | |
| {"22"} | {"23"} | {" "} {"\"ai\""} {": "} {"\"^7.0.11\""} {","} | |
| {"23"} | {"24"} | {" "} {"\"react\""} {": "} {"\"^19.0.0\""} {","} | |
| {"24"} | {"25"} | {" "} {"\"react-dom\""} {": "} {"\"^19.0.0\""} {","} | |
| {"25"} | {"26"} | {" "} {"\"zod\""} {": "} {"\"^4.1.8\""} | |
| {"26"} | {"27"} | {" },"} | |
| {"27"} | {"28"} | {" "} {"\"devDependencies\""} {": {"} | |
| {"28"} | {"29"} | {" "} {"\"@types/node\""} {": "} {"\"^22.0.0\""} {","} | |
| {"29"} | {"30"} | {" "} {"\"@types/react\""} {": "} {"\"^19.0.0\""} {","} | |
| {"30"} | {"31"} | {" "} {"\"@types/react-dom\""} {": "} {"\"^19.0.0\""} {","} | |
| {"31"} | {"32"} | {" "} {"\"@vitejs/plugin-react\""} {": "} {"\"^5.0.0\""} {","} | |
| {"32"} | {"33"} | {" "} {"\"concurrently\""} {": "} {"\"^9.0.0\""} {","} | |
| {"34"} | {"+"} | {" "} {"\"niceeval\""} {": "} {"\"file:../../../..\""} {","} | |
| {"33"} | {"35"} | {" "} {"\"tsx\""} {": "} {"\"^4.19.2\""} {","} | |
| {"34"} | {"36"} | {" "} {"\"typescript\""} {": "} {"\"^5.7.2\""} {","} | |
| {"35"} | {"37"} | {" "} {"\"vite\""} {": "} {"\"^7.0.0\""} {","} | |
| {"36"} | {"38"} | {" "} {"\"wait-on\""} {": "} {"\"^9.0.0\""} | |
| {"37"} | {"39"} | {" }"} | |
| {"38"} | {"40"} | {"}"} |
| {"⇕"} | {"展开 13 行未变更代码"} | ||
| {"1"} | {"1"} | {"{"} | |
| {"2"} | {"2"} | {" "} {"\"compilerOptions\""} {": {"} | |
| {"3"} | {"3"} | {" "} {"\"target\""} {": "} {"\"ES2022\""} {","} | |
| {"4"} | {"4"} | {" "} {"\"module\""} {": "} {"\"NodeNext\""} {","} | |
| {"5"} | {"5"} | {" "} {"\"moduleResolution\""} {": "} {"\"NodeNext\""} {","} | |
| {"6"} | {"6"} | {" "} {"\"lib\""} {": ["} {"\"ES2023\""} {", "} {"\"DOM\""} {", "} {"\"DOM.Iterable\""} {"],"} | |
| {"7"} | {"7"} | {" "} {"\"types\""} {": ["} {"\"node\""} {"],"} | |
| {"8"} | {"8"} | {" "} {"\"jsx\""} {": "} {"\"react-jsx\""} {","} | |
| {"9"} | {"9"} | {" "} {"\"strict\""} {": "} {"true"} {","} | |
| {"10"} | {"10"} | {" "} {"\"noUncheckedIndexedAccess\""} {": "} {"false"} {","} | |
| {"11"} | {"11"} | {" "} {"\"esModuleInterop\""} {": "} {"true"} {","} | |
| {"12"} | {"12"} | {" "} {"\"skipLibCheck\""} {": "} {"true"} {","} | |
| {"13"} | {"13"} | {" "} {"\"allowImportingTsExtensions\""} {": "} {"true"} {","} | |
| {"14"} | {"14"} | {" "} {"\"noEmit\""} {": "} {"true"} {","} | |
| {"15"} | {"15"} | {" "} {"\"forceConsistentCasingInFileNames\""} {": "} {"true"} | |
| {"16"} | {"16"} | {" },"} | |
| {"17"} | {"−"} | {" "} {"\"include\""} {": ["} {"\"src\""} {", "} {"\"vite.config.ts\""} {"]"} | |
| {"17"} | {"+"} | {" "} {"\"include\""} {": ["} {"\"src\""} {", "} {"\"vite.config.ts\""} {", "} {"\"niceeval.config.ts\""} {", "} {"\"agents\""} {", "} {"\"evals\""} {", "} {"\"experiments\""} {"]"} | |
| {"18"} | {"18"} | {"}"} |
| {"⇕"} | {"展开 6 行未变更代码"} | ||
| {"1"} | {"1"} | {"packages"} {": []"} | |
| {"2"} | {"2"} | {"allowBuilds"} {":"} | |
| {"3"} | {"3"} | {" "} {"esbuild"} {": "} {"true"} | |
| {"4"} | {"4"} | {"minimumReleaseAgeExclude"} {":"} | |
| {"5"} | {"5"} | {" - "} {"'@ai-sdk/gateway@4.0.8'"} | |
| {"6"} | {"6"} | {" - "} {"'@ai-sdk/openai@4.0.5'"} | |
| {"7"} | {"7"} | {" - "} {"'@ai-sdk/react@4.0.5'"} | |
| {"8"} | {"8"} | {" - "} {"'@ai-sdk/provider-utils@5.0.3'"} | |
| {"9"} | {"9"} | {" - "} {"ai@7.0.11"} | |
| {"10"} | {"+"} | {" - "} {"niceeval@0.1.1"} | |
| {"10"} | {"11"} | {"overrides"} {":"} | |
| {"11"} | {"12"} | {" "} {"ai"} {": "} {"7.0.11"} | |
| {"13"} | {"+"} | {" "} {"niceeval"} {": "} {"link:../../../.."} |
| {"1"} | {"+"} | {"import"} {" { defineConfig } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineConfig"} {"({"} | |
| {"4"} | {"+"} | {" name: { "} {"\"zh-CN\""} {": "} {"\"AI SDK v7 HTTP 无侵入示例\""} {", en: "} {"\"AI SDK v7 HTTP non-invasive example\""} {" },"} | |
| {"5"} | {"+"} | {" judge: { model: "} {"\"gpt-5.4\""} {" },"} | |
| {"6"} | {"+"} | {" timeoutMs: "} {"60_000"} {","} | |
| {"7"} | {"+"} | {" "} {"// 被测应用是用户自己起的长驻服务(eval 不代管进程),接收 span 用固定端口:"} | |
| {"8"} | {"+"} | {" "} {"// 应用启动时 OTEL_EXPORTER_OTLP_ENDPOINT=http://127.0.0.1:4318 指过来即可,跑多少次"} | |
| {"9"} | {"+"} | {" "} {"// eval 都不用改(见 docs-site「通过 OTel 接入 → 端点怎么交给应用 → 固定端口模式」)。"} | |
| {"10"} | {"+"} | {" telemetry: { port: "} {"4318"} {" },"} | |
| {"11"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"// ai-sdk-v7 的 adapter:内置 uiMessageStreamAgent 无侵入对接一个**已经在跑**的 AI SDK 应用"} | |
| {"2"} | {"+"} | {"// (UI Message Stream 协议,https://ai-sdk.dev/docs/ai-sdk-ui/stream-protocol)。"} | |
| {"3"} | {"+"} | {"//"} | |
| {"4"} | {"+"} | {"// 应用怎么跑是应用自己的事(pnpm dev / 部署在哪都行),eval 侧不代管进程、不另开端口:"} | |
| {"5"} | {"+"} | {"// AI_SDK_V7_URL 指到哪就测哪,默认应用自己的本地默认端口 5188。瀑布图/usage 的 span 走"} | |
| {"6"} | {"+"} | {"// niceeval 的固定端口接收器(niceeval.config.ts 的 telemetry.port),应用启动时用标准"} | |
| {"7"} | {"+"} | {"// OTel 环境变量指过来即可,见 README「跑起来」。"} | |
| {"8"} | {"+"} | {"import"} {" { uiMessageStreamAgent, otelEvents, otel } "} {"from"} {" "} {"\"niceeval/adapter\""} {";"} | |
| {"9"} | {"+"} | {" "} | |
| {"10"} | {"+"} | {"const"} {" "} {"BASE_URL"} {" "} {"="} {" process.env."} {"AI_SDK_V7_URL"} {" "} {"??"} {" "} {"\"http://127.0.0.1:5188\""} {";"} | |
| {"11"} | {"+"} | {" "} | |
| {"12"} | {"+"} | {"export"} {" "} {"default"} {" "} {"uiMessageStreamAgent"} {"({"} | |
| {"13"} | {"+"} | {" name: "} {"\"ai-sdk-v7\""} {","} | |
| {"14"} | {"+"} | {" url: "} {"`${"} {"BASE_URL"} {"}/api/chat`"} {","} | |
| {"15"} | {"+"} | {" "} {"// 应用的 /api/chat 支持请求级选模型(GET /api/models 可查),ctx.model 直接透传,"} | |
| {"16"} | {"+"} | {" "} {"// compare-models 的多模型对比不用动服务。"} | |
| {"17"} | {"+"} | {" "} {"body"} {": ("} {"ctx"} {") "} {"=>"} {" ({ model: ctx.model }),"} | |
| {"18"} | {"+"} | {" "} {"// usage 协议帧里没有,从应用官方 @ai-sdk/otel 集成产的 GenAI spans 派生补上;"} | |
| {"19"} | {"+"} | {" "} {"// 工具/消息事件工厂已从协议直构,同 callId / 同文本的 span 派生结果自动去重。"} | |
| {"20"} | {"+"} | {" events: "} {"otelEvents"} {"({ dialects: [otel.genAi] }),"} | |
| {"21"} | {"+"} | {" capabilities: { tracing: "} {"true"} {" },"} | |
| {"22"} | {"+"} | {" "} {"// 应用用 BatchSpanProcessor,流结束后留一段宽限让最后一批 span 落进本轮收集窗口"} | |
| {"23"} | {"+"} | {" "} {"// (配合启动应用时的 OTEL_BSP_SCHEDULE_DELAY=200,见 README;只影响瀑布图/usage)。"} | |
| {"24"} | {"+"} | {" settleMs: "} {"600"} {","} | |
| {"25"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"// 这条 eval 验证 agent 能正常问答且不瞎调工具,顺带冒烟 usage 有没有从 GenAI semconv span"} | |
| {"4"} | {"+"} | {"// 正确聚合进 Turn.usage(usage 从模型 span 聚合,adapter 没有手写 usage 计算)。"} | |
| {"5"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"6"} | {"+"} | {" description: "} {"\"测试 agent 能正常问答且不瞎调工具\""} {","} | |
| {"7"} | {"+"} | {" "} | |
| {"8"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"9"} | {"+"} | {" "} {"const"} {" "} {"turn"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"用一句话介绍一下你自己,这轮不用查天气也不用算数。\""} {");"} | |
| {"10"} | {"+"} | {" turn."} {"expectOk"} {"();"} | |
| {"11"} | {"+"} | {" "} | |
| {"12"} | {"+"} | {" "} {"await"} {" t."} {"group"} {"("} {"\"正常收发、没有多余工具调用\""} {", () "} {"=>"} {" {"} | |
| {"13"} | {"+"} | {" t."} {"succeeded"} {"();"} | |
| {"14"} | {"+"} | {" t."} {"usedNoTools"} {"();"} | |
| {"15"} | {"+"} | {" });"} | |
| {"16"} | {"+"} | {" "} | |
| {"17"} | {"+"} | {" t."} {"maxTokens"} {"("} {"20_000"} {");"} | |
| {"18"} | {"+"} | {" "} | |
| {"19"} | {"+"} | {" t.judge.autoevals."} {"closedQA"} {"("} {"\"助手是否用一两句话正常介绍了自己,而不是报错或答非所问?\""} {")."} {"gate"} {"("} {"0.6"} {");"} | |
| {"20"} | {"+"} | {" },"} | |
| {"21"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" { equals } "} {"from"} {" "} {"\"niceeval/expect\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// calculate 工具声明了 needsApproval:true(AI SDK 自己的 tool loop 停轮机制)。这条验证批准"} | |
| {"5"} | {"+"} | {"// 分支:approve 之后工具正常执行,calledTool 的 status 是 \"completed\"。"} | |
| {"6"} | {"+"} | {"//"} | |
| {"7"} | {"+"} | {"// 提示词不提\"审批\"——不同模型看到提示词里的\"审批\"字样,有的会倾向于用文字反问用户"} | |
| {"8"} | {"+"} | {"// \"可以吗\"而不是真的发起工具调用(在 pi-sdk / claude-sdk / langgraph 的接入里都复现过);"} | |
| {"9"} | {"+"} | {"// 审批门是 SDK 自动挂的,跟用户怎么问无关。"} | |
| {"10"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"11"} | {"+"} | {" description: "} {"\"HITL:calculate 经批准后正常执行\""} {","} | |
| {"12"} | {"+"} | {" "} | |
| {"13"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"14"} | {"+"} | {" "} {"const"} {" "} {"draft"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"用计算器算一下 (23+19)*3 等于多少\""} {");"} | |
| {"15"} | {"+"} | {" t."} {"check"} {"(draft.status, "} {"equals"} {"("} {"\"waiting\""} {"));"} | |
| {"16"} | {"+"} | {" "} | |
| {"17"} | {"+"} | {" t."} {"requireInputRequest"} {"({ action: "} {"\"calculate\""} {" });"} | |
| {"18"} | {"+"} | {" "} | |
| {"19"} | {"+"} | {" "} {"const"} {" "} {"approved"} {" "} {"="} {" "} {"await"} {" t."} {"respond"} {"("} {"\"approve\""} {");"} | |
| {"20"} | {"+"} | {" approved."} {"succeeded"} {"();"} | |
| {"21"} | {"+"} | {" t."} {"calledTool"} {"("} {"\"calculate\""} {", { status: "} {"\"completed\""} {" });"} | |
| {"22"} | {"+"} | {" t."} {"messageIncludes"} {"("} {"/"} {"126"} {"/"} {");"} | |
| {"23"} | {"+"} | {" },"} | |
| {"24"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" { equals } "} {"from"} {" "} {"\"niceeval/expect\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// deny 分支:人否决和工具故障是两回事——calledTool 的 status 应该是 \"rejected\","} | |
| {"5"} | {"+"} | {"// noFailedActions() 依然通过。有的模型被拒绝一次后会不死心、原样再试一次同一个工具调用"} | |
| {"6"} | {"+"} | {"// (在 claude-sdk / langgraph 的接入里都复现过),不是 adapter 的映射 bug,是模型行为。"} | |
| {"7"} | {"+"} | {"// deny 到它放弃为止,给个上限避免死循环。"} | |
| {"8"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"9"} | {"+"} | {" description: "} {"\"HITL:calculate 被拒绝后标记 rejected 而不是 failed\""} {","} | |
| {"10"} | {"+"} | {" "} | |
| {"11"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"12"} | {"+"} | {" "} {"await"} {" t."} {"send"} {"("} {"\"用计算器算一下 (23+19)*3 等于多少\""} {");"} | |
| {"13"} | {"+"} | {" t."} {"requireInputRequest"} {"({ action: "} {"\"calculate\""} {" });"} | |
| {"14"} | {"+"} | {" "} | |
| {"15"} | {"+"} | {" "} {"let"} {" denied "} {"="} {" "} {"await"} {" t."} {"respond"} {"("} {"\"deny\""} {");"} | |
| {"16"} | {"+"} | {" "} {"for"} {" ("} {"let"} {" attempt "} {"="} {" "} {"0"} {"; attempt "} {"<"} {" "} {"3"} {" "} {"&&"} {" denied.status "} {"==="} {" "} {"\"waiting\""} {"; attempt"} {"++"} {") {"} | |
| {"17"} | {"+"} | {" denied "} {"="} {" "} {"await"} {" t."} {"respond"} {"("} {"\"deny\""} {");"} | |
| {"18"} | {"+"} | {" }"} | |
| {"19"} | {"+"} | {" t."} {"check"} {"(denied.status, "} {"equals"} {"("} {"\"completed\""} {"));"} | |
| {"20"} | {"+"} | {" t."} {"calledTool"} {"("} {"\"calculate\""} {", { status: "} {"\"rejected\""} {" });"} | |
| {"21"} | {"+"} | {" t."} {"noFailedActions"} {"();"} | |
| {"22"} | {"+"} | {" },"} | |
| {"23"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" { includes, excludes } "} {"from"} {" "} {"\"niceeval/expect\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// 这条 eval 专门验证 conversation 能力位的两半承诺:同一 session 里第二轮记得住第一轮说的名字"} | |
| {"5"} | {"+"} | {"// (客户端重放完整历史续接成功——这个应用服务端零状态,续接完全靠 adapter 按 sessionId 存取"} | |
| {"6"} | {"+"} | {"// 完整 UIMessage[] 并原样重发);t.newSession() 造出的新 session 不共享历史。"} | |
| {"7"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"8"} | {"+"} | {" description: "} {"\"测试跨轮记忆与 newSession() 隔离\""} {","} | |
| {"9"} | {"+"} | {" "} | |
| {"10"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"11"} | {"+"} | {" "} {"await"} {" t."} {"send"} {"("} {"\"我叫小明,帮我记住这个名字。\""} {");"} | |
| {"12"} | {"+"} | {" "} {"const"} {" "} {"recall"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"我刚才说我叫什么名字?\""} {");"} | |
| {"13"} | {"+"} | {" recall."} {"messageIncludes"} {"("} {"\"小明\""} {");"} | |
| {"14"} | {"+"} | {" t."} {"check"} {"(t.reply, "} {"includes"} {"("} {"\"小明\""} {"));"} | |
| {"15"} | {"+"} | {" "} | |
| {"16"} | {"+"} | {" "} {"const"} {" "} {"fresh"} {" "} {"="} {" t."} {"newSession"} {"();"} | |
| {"17"} | {"+"} | {" "} {"await"} {" fresh."} {"send"} {"("} {"\"我叫什么名字?\""} {");"} | |
| {"18"} | {"+"} | {" t."} {"check"} {"(fresh.reply, "} {"excludes"} {"("} {"\"小明\""} {"));"} | |
| {"19"} | {"+"} | {" },"} | |
| {"20"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineEval } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {" "} | |
| {"3"} | {"+"} | {"// 这条 eval 验证 agent 遇到实时天气问题时会调 get_weather,而不是直接编一个答案。"} | |
| {"4"} | {"+"} | {"// 工具断言完全来自 @ai-sdk/otel 产的 GenAI semconv span 派生,adapter 没有为它写一行帧映射。"} | |
| {"5"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineEval"} {"({"} | |
| {"6"} | {"+"} | {" description: "} {"\"测试 agent 在天气问题中正确调用 get_weather 并基于结果作答\""} {","} | |
| {"7"} | {"+"} | {" "} | |
| {"8"} | {"+"} | {" "} {"async"} {" "} {"test"} {"("} {"t"} {") {"} | |
| {"9"} | {"+"} | {" "} {"const"} {" "} {"turn"} {" "} {"="} {" "} {"await"} {" t."} {"send"} {"("} {"\"北京今天天气怎么样?\""} {");"} | |
| {"10"} | {"+"} | {" turn."} {"expectOk"} {"();"} | |
| {"11"} | {"+"} | {" "} | |
| {"12"} | {"+"} | {" "} {"await"} {" t."} {"group"} {"("} {"\"调用 get_weather 且城市正确\""} {", () "} {"=>"} {" {"} | |
| {"13"} | {"+"} | {" t."} {"calledTool"} {"("} {"\"get_weather\""} {", { input: { city: "} {"\"北京\""} {" } });"} | |
| {"14"} | {"+"} | {" t."} {"messageIncludes"} {"("} {"/"} {"°C"} {"|"} {"气温"} {"|"} {"天气"} {"|"} {"晴"} {"|"} {"多云"} {"|"} {"雨"} {"|"} {"阴"} {"/"} {");"} | |
| {"15"} | {"+"} | {" });"} | |
| {"16"} | {"+"} | {" "} | |
| {"17"} | {"+"} | {" t.judge.autoevals"} | |
| {"18"} | {"+"} | {" ."} {"closedQA"} {"("} {"\"助手是否给出了具体的天气数据(温度或天气状况),而不是拒绝回答或含糊其辞?\""} {")"} | |
| {"19"} | {"+"} | {" ."} {"atLeast"} {"("} {"0.7"} {");"} | |
| {"20"} | {"+"} | {" },"} | |
| {"21"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineExperiment } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" agent "} {"from"} {" "} {"\"../agents/ai-sdk-v7.ts\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// 单配置基线:不比较模型,用请求体不传 model 时应用自己的默认值。"} | |
| {"5"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineExperiment"} {"({"} | |
| {"6"} | {"+"} | {" description: "} {"\"ai-sdk-v7:真实 AI SDK v7 后端(默认模型)\""} {","} | |
| {"7"} | {"+"} | {" agent,"} | |
| {"8"} | {"+"} | {" runs: "} {"1"} {","} | |
| {"9"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineExperiment } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" agent "} {"from"} {" "} {"\"../../agents/ai-sdk-v7.ts\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// compare-models 组的一格:deepseek-v4-flash。一文件一配置(单 model),model 经 ctx.model"} | |
| {"5"} | {"+"} | {"// 走请求体传给应用(不用重启进程,见 agents/server-lifecycle.ts 头注释)。"} | |
| {"6"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineExperiment"} {"({"} | |
| {"7"} | {"+"} | {" description: "} {"\"deepseek-v4-flash: 对比模型\""} {","} | |
| {"8"} | {"+"} | {" agent,"} | |
| {"9"} | {"+"} | {" model: "} {"\"deepseek-v4-flash\""} {","} | |
| {"10"} | {"+"} | {" runs: "} {"2"} {","} | |
| {"11"} | {"+"} | {" earlyExit: "} {"true"} {","} | |
| {"12"} | {"+"} | {" budget: "} {"2"} {","} | |
| {"13"} | {"+"} | {"});"} |
| {"1"} | {"+"} | {"import"} {" { defineExperiment } "} {"from"} {" "} {"\"niceeval\""} {";"} | |
| {"2"} | {"+"} | {"import"} {" agent "} {"from"} {" "} {"\"../../agents/ai-sdk-v7.ts\""} {";"} | |
| {"3"} | {"+"} | {" "} | |
| {"4"} | {"+"} | {"// compare-models 组的一格:deepseek-v4-pro。与 deepseek-v4-flash.ts 钉住一切、只差 model。"} | |
| {"5"} | {"+"} | {"export"} {" "} {"default"} {" "} {"defineExperiment"} {"({"} | |
| {"6"} | {"+"} | {" description: "} {"\"deepseek-v4-pro: 对比模型\""} {","} | |
| {"7"} | {"+"} | {" agent,"} | |
| {"8"} | {"+"} | {" model: "} {"\"deepseek-v4-pro\""} {","} | |
| {"9"} | {"+"} | {" runs: "} {"2"} {","} | |
| {"10"} | {"+"} | {" earlyExit: "} {"true"} {","} | |
| {"11"} | {"+"} | {" budget: "} {"2"} {","} | |
| {"12"} | {"+"} | {"});"} |