Rubric as a Service: 基于 Rubric 的全链路数据服务与实践

课程 ID: 19241

描述:
话题概述: 本次分享聚焦基于Rubric的数据服务范式。该范式依托内部标注平台的专家整合与经验蒸馏能力,将复杂或主观任务降维拆解为多维、可量化、可解释的细粒度标准,提供从“精准评测”到“高质量训练数据供给”的全链路闭环解决方案,具备极强的跨场景泛化能力。 该范式已在多场景中进行验证:文本侧,联合心理、医疗专家共建医疗共情21维Rubric框架,经全链路优化助力阿福斩获MED-EQBench SOTA,线上用户赞踩稳定提升;多模侧,联合设计美学专家共建视觉美学Rubric,通过强制CoT校准Judge偏差,精准定位灵光SVG生成优劣维度;Agentic侧,正探索灵光闪应用的美学评测方案,拟对静态美学、动态交互等关键节点设定细粒度标准,以缓解长链条误差累积。 以上实践充分表明此范式在跨域场景下的泛化能力,为模型能力的精准评估与定向优化提供了可复制的完整解决方案。 演讲题纲: 待确定 话题亮点: 1. 业界领先的基于rubric的模型认知能力提升实践 2. 完整的rubric构造链路