先说清几个词（点开/收起）
24 个用例的判定
先修这些（修完才谈得上评估 agent）
工作量归属（只统计致命、高两档）
当前还答不了的问题
00
与上一轮对比
稳定性指数
–
分项得分
成功率区间
同一批数据、三种算法，样本从大到小。真实值在保守和乐观之间；「强证据」样本最小，别当成更准的那个数
01
诊断结论
上半部分决定「后面的数字能信几分」，下半部分才是 agent 和依赖自身的毛病
08
逐用例明细
点击表头排序
02
遥测可信度
所有下游指标的可信度上限由这一节决定
终态记录率 · 按 turn 在会话中的位置
用于区分「随机丢点」与「某条收尾路径系统性不上报」
成功判定的证据强度构成
终态记录为强证据，其余为推断
缺失机制检验：被观测到的那部分，能代表全体吗？
如果工具遥测只在「结果被记录下来的 turn」上存在，工具成功率就是在一个由结果筛选出的子样本上算的
03
失败模式
依赖故障和 agent 自己调错分开算——这两类归不同的人修
错误码影响面
条长 = 出现次数，括号里是受影响的 turn 数
依赖/基础设施Agent 调用质量未分类
失败在时间上的分布
正常 turn含错误 turn
04
工具可靠性
跨 trace 汇总成功率 + 单 trace 内部离散度
跨 trace 工具成功率
点 = 观测值，横线 = 95% Wilson 置信区间
工具耗时分布
条 = p50→p95，竖线 = 中位数，端点 = 最大值
05
轨迹稳定性
步数、重试、循环与人工审批摩擦
每 turn 模型轮次分布
06
耗时稳定性
重尾分布下 p95/p50 比中位数更能说明问题
单轮模型调用耗时分布
对数分箱；红色标注 p95
07
Token 稳定性
成本可预测性 = token 离散度 + 缓存命中稳定性
每 turn token 消耗
按用例排序，用于识别成本离群
提示缓存命中率分布
命中率越稳定，成本越可预测
上下文增长的工具归因
各工具单次注入的 token 体积
中位 / p95 / CV —— CV 高说明该工具的返回体积不可预测
09
口径与方法论
每个数字怎么来的、以及它不能回答什么