niceeval.config.ts

niceeval.config.ts 只保存项目级默认值；具体怎么跑由 experiments/ 下的 defineExperiment 决定。

import { defineConfig } from "niceeval";

export default defineConfig({
  judge: { model: "gpt-5.4-mini" },
  sandbox: "auto",
  maxConcurrency: 4,
  timeoutMs: 300_000,
});

judge

JudgeConfig

t.judge.autoevals.* 使用的默认 judge 配置。

reporters

Reporter[]

自定义 reporter 列表。

maxConcurrency

number

最大并发 attempt 数。

timeoutMs

number

单个 attempt 超时时间。

sandbox

SandboxOption

默认 sandbox 后端。文件上传由 eval 自己显式调用 t.sandbox.uploadDirectory(...) 等 API。