EvalLab · Agent 评测平台

离线评测 Agent 的完整闭环：采集 Trace，打分，失败归因，再拿历史基线卡住新版本。

Trace#

用 trace > span 两层模型记录一次 Agent 执行，span 可以是 LLM 调用、工具调用或检索，靠 parent_span_id 建树，嵌套链完整保留。父节点缺失的 span 提到根层展示，不会整棵子树消失。

规则评分、工具序列评分、LLM-as-Judge 三路各管一段。工具序列完全一致记 1.0，集合相同只差顺序记 0.8，其余按最长公共子序列的比例算。失败用例按输入理解、规划、工具调用、输出生成、数据环境五层归因，归因器只读 Trace 和评分证据，不读故障注入参数。

从历史任务存一条基线，新任务对比通过率、平均分和 P95 耗时，任一越界接口返回 422，命令行退出码 1，CI 直接拦住。Judge 是可选的，不配模型端点就只跑确定性评分器。