知识分享

AI 评测系列（07）：自定义 Benchmark——从业务场景到评测集

公开 Benchmark 在三种情况下不够用：业务场景太特殊、数据不能出域、需要持续跟踪质量变化。本文讲完整的自定义 Benchmark 构建流程：场景定义→问题生成→ground_truth 标注→难度分层→版本管理。以企业文档问答为例，构建一套覆盖 Easy/Medium/Hard 三个难度层的评测集，并讲清楚评测集本身需要版本控制的原因。