plugins 数组挂载。
Plugin 声明条件;Sandbox template 仍由 Eval、Eval Group 或 Experiment 的 sandbox 字段提供。
定义实例或工厂
对象定义直接得到实例,函数定义得到单参数工厂。name 与 identity 必填;key 默认 "default"。
before 与 after 接受一个元素或数组。共享一组条件时使用普通数组展开:plugins: [...basePlugins, condition]。
同一 Attempt 的生效集合中,name 和 key 的组合必须唯一,包括跨 Experiment、Eval Group 与 Eval 的重复挂载。
选择执行范围
全部沿用历史结果时,这些 Hook 与 Sandbox 创建都不执行。before 按作者、Plugin 声明顺序运行;after 按已激活顺序逆序运行。
宿主 after 失败记录 warning,并继续其余收尾;Agent after 失败会使 Attempt 失败,但仍继续剩余 after 与 finalizer。
回调需要 Group 时,声明
requires: { evalGroup: true },即可直接读取 ctx.evalGroup.id。
选中 Group 外的 Eval 会在创建资源前失败,包括全部沿用结果的情况。
合并 Agent 扩展
agent.skills 与 agent.mcpServers 提供通用扩展;agent.codex、agent.claudeCode 与 agent.bub 提供对应工厂的原生配置。
factory 配置在前,Plugin 按数组顺序追加。Skill 或 MCP 重名、原生插件冲突、多个 configFile 都会报错。
Bub 不接受 MCP;自定义 Adapter 不接受 agent 扩展。声明专用子项时,必须包含当前选择的 Agent。
让条件变化触发重跑
identity 是条件版本。受管 Action 内容、Skill 内容与配置文件内容也参与身份;MCP headers 与 env 不参与。
只改 Experiment 模块里的回调函数体不会改变 Plugin 身份;需要重跑时修改 identity 或使用 --rerun all。
Eval 模块仍遵循源文件闭包规则。条件身份不会自动进入 ctx.flags,运行参数仍显式写在 flags 中。
debug 展示展开步骤、实际 Action 顺序与 Plugin 来源。show 和 view 的 Experiment 信息列出 Plugin 的 name、key 与 identity。