- before:
origin/langgraph—— 纯 Python 的create_agent(LangChain 1.x / LangGraph)HTTP 服务,还没接任何评估用例。 - after:https://github.com/CorrectRoadH/niceeval/tree/main/examples/zh/tier1/langgraph —— 同一个应用接入 NiceEval 之后的样子。
tool-input 映射为 operation.started,tool-output 映射为 operation.finished,text-delta 累积成 message。
收到 tool-approval-request 后,当前 Turn 会等待用户选择,并产生 input.requested 事件。Adapter 把尚未读完的流保存在 ctx.session 中,收到选择后继续读取。
被测应用使用 Python,评估代码则放在独立的 TypeScript 项目中。接入过程没有修改应用的 src/backend/*.py。
若要查看 OTel 调用瀑布图,请使用 tier2/ 示例;若要比较功能配置,请使用 tier3/ 示例。
接入的全部代码变更(生成时从两个目录实测统计):