任务矩阵
失败、缺失和无有效回答为什么不能从分母删除
删除失败任务会人为提高比例;完整测量必须保留全部预期任务,并区分完成、失败、缺失和无法判断。
灰犀AI 方法与研究团队3 分钟阅读
发布主体:灰犀AI · 内容责任:方法与内容负责人 · 审核:事实与方法审核 · 复核于 2026-09-22
分母来自预期任务,不来自成功返回
四种状态要分开
灰犀AI方法
completed 表示取得可供质量判断的回答;failed 表示执行失败;missing 表示预期任务没有证据;unknown 表示有证据但某项判断无法确定。它们不能互相替代。unknown 属于质量判断维度,不是另一次任务失败;一个 completed 回答也可能因为相关性或品牌身份无法判断而不能进入某个指标的可判断分母。
处理顺序是先核对预期任务是否齐全和是否重复,再核对回答状态,最后核对每条已完成回答的判断。删除失败记录会误导后两步。
少一条失败记录会改变什么
合成示例
合成教学例子:4 个问题乘以 2 个来源应有 8 个任务。若只有 5 个获得有效回答,2 个调用失败,1 个缺失,完成覆盖为 5/8。把 2 个失败任务从表中删掉,错误地得到 5/6;再只展示有回答的证据,则会错写成 5/5。两个数字都掩盖了此次测量的不完整。
在那 5 条已完成回答中,即使有 1 条品牌身份无法判断,也不能把它计为“未提及”。报告应先显示 5/8 的完整性限制,再在可判断回答中计算品牌发现。例子中的比例仅供复算。
灰犀AI如何测量这个问题
灰犀AI方法
系统先保存不可重复的预期任务清单,再要求每条证据一一引用任务。完成覆盖率的分子只统计 completed,分母始终来自完整任务清单。对于部分证据集,页面可以列出已获得的回答,但不能仅凭这部分数据伪造整次运行的完成比例。