针对大模型评测体系滞后、测用脱节等产业痛点,工信部推出了系统性评测系列标准。该标准从能力、场景、服务等多维度构建评测体系,旨在打通技术发展与产业应用的鸿沟,为AI大模型的研发、选型和落地提供科学指引。
智能速览
评测体系滞后已成为制约大模型产业落地的关键瓶颈
新标准构建了覆盖能力、场景与服务的系统性评测体系
《评估方法》系列标准以“四横一纵”为核心,覆盖“建、用、管”全生命周期
《大模型基准测试》标准规定了涵盖语言、视觉、语音等多任务的技术要求
标准已深度赋能政务、电力、高端装备制造等重点行业
精华内容
如何科学评估大模型的真实能力?新的评测标准体系通过覆盖多维度指标和全生命周期,给出了系统性的解答,引导产业从单纯“刷榜”走向价值落地。
评测之困
当前大模型技术虽快速发展,但评测体系严重滞后,成为产业落地的主要障碍。供给侧,传统评测依赖单一任务和静态指标,缺乏统一方法论,导致研发过度追求“刷榜”。需求侧,评测普遍忽视推理效率、资源消耗等工程化指标,导致“测用脱节”,企业难以有效选型。产业侧,标准的缺失使得评测结果难以衔接行业应用与监管,制约了规模化发展。
标准体系构建
为解决上述难题,人工智能大模型评测系列标准应运而生。该体系以“四横一纵”为核心思路,紧扣大模型“建、用、管”全生命周期的产业共性需求。它聚焦模型化、能力化、工程化、产业化与安全可信五大维度,从开发、能力、运营、应用到可信五个方向构建了一套完整的标准框架,为产业打造“功能完备、应用广泛、运营高效、安全可信”的基础大模型提供一站式指引。
两大核心标准
系列标准包含两大核心。其一是《人工智能 关键基础技术 大模型基准测试》,它规定了基准测试的指标与方法,涵盖单模态(如理解、生成、代码)和多模态(如视觉理解、语音合成、实时语音交互)任务。其二是《大规模预训练模型技术和应用评估方法》系列标准,它从模型开发、能力、应用、可信要求和运营五个部分,系统性地评估大模型的成熟度,确保技术与服务双重可靠。
产业落地应用
该系列标准已在阿里、百度、华为、腾讯、科大讯飞等100余家单位成功应用,为研发与选型提供了可靠依据。基于这些标准,中国信通院联合产业界构建了“方升”大模型基准测试体系,数据集规模达780万条,累计测试超1100次。此外,标准已深度赋能政务、电力、高端装备制造等行业,支撑北京市政数局、中国南方电网、中国中车等单位构建了符合自身需求的评测体系,形成了“通用标准—行业适配—效能评估”的闭环。
系列标准的出台与应用,为大模型产业建立了科学的“度量衡”。未来,随着标准体系的持续完善和深入行业,将更有效地驱动AI技术实现高质量、规模化的产业落地,为各行各业的智能化升级注入确定性的力量。AI评测的下一步将走向何方?