术语词典/Eval（评估体系）

Defined Term

Eval（评估体系）

用于衡量 AI 系统是否真的有用的指标与方法体系

详细定义

Eval 是 FDE Calibration 维度的核心工具。包括离线 Eval（用历史数据测试）、影子模式（静默运行对比）、A/B 测试、在线人工评估。FDE 在每个项目上线前必须建立 Eval 体系，否则项目必烂尾。

实例

推荐系统的离线 Eval：Recall@K、NDCG。
医疗 AI 的影子模式：与医生诊断对比 4 周。
客服 AI 的 A/B 测试：新模型 vs 旧模型。

来自行业的实例

推荐系统的离线 Eval：Recall@K、NDCG。

医疗 AI 的影子模式：与医生诊断对比 4 周。

客服 AI 的 A/B 测试：新模型 vs 旧模型。

关联术语

Calibration（校准）Demo → Production LLM-as-Judge（LLM 评判）Golden Set（黄金数据集）A/B Testing（A/B 测试）

返回术语词典

关于 Eval（评估体系）的常见问题

Eval（评估体系）的核心定义是什么？

用于衡量 AI 系统是否真的有用的指标与方法体系

Eval（评估体系）在 FDE 工作流中扮演什么角色？

Eval 是 FDE Calibration 维度的核心工具。包括离线 Eval（用历史数据测试）、影子模式（静默运行对比）、A/B 测试、在线人工评估。FDE 在每个项目上线前必须建立 Eval 体系，否则项目必烂尾。