张大妈

MIIT/TC1重点标准宣介 | 人工智能大模型评测系列标准

源自公众号:中国信通院CAICT

01-27 14:11

针对大模型评测体系滞后、测用脱节等产业痛点,工信部推出了系统性评测系列标准。该标准从能力、场景、服务等多维度构建评测体系,旨在打通技术发展与产业应用的鸿沟,为AI大模型的研发、选型和落地提供科学指引。

MIIT/TC1重点标准宣介 | 人工智能大模型评测系列标准智能速览

  • 评测体系滞后已成为制约大模型产业落地的关键瓶颈

  • 新标准构建了覆盖能力、场景与服务的系统性评测体系

  • 《评估方法》系列标准以“四横一纵”为核心,覆盖“建、用、管”全生命周期

  • 《大模型基准测试》标准规定了涵盖语言、视觉、语音等多任务的技术要求

  • 标准已在阿里、百度华为等百余家单位应用,支撑“方升”大模型基准测试体系

  • 标准已深度赋能政务、电力、高端装备制造等重点行业

MIIT/TC1重点标准宣介 | 人工智能大模型评测系列标准精华内容

如何科学评估大模型的真实能力?新的评测标准体系通过覆盖多维度指标和全生命周期,给出了系统性的解答,引导产业从单纯“刷榜”走向价值落地。

评测之困

当前大模型技术虽快速发展,但评测体系严重滞后,成为产业落地的主要障碍。供给侧,传统评测依赖单一任务和静态指标,缺乏统一方法论,导致研发过度追求“刷榜”。需求侧,评测普遍忽视推理效率、资源消耗等工程化指标,导致“测用脱节”,企业难以有效选型。产业侧,标准的缺失使得评测结果难以衔接行业应用与监管,制约了规模化发展。

标准体系构建

为解决上述难题,人工智能大模型评测系列标准应运而生。该体系以“四横一纵”为核心思路,紧扣大模型“建、用、管”全生命周期的产业共性需求。它聚焦模型化、能力化、工程化、产业化与安全可信五大维度,从开发、能力、运营、应用到可信五个方向构建了一套完整的标准框架,为产业打造“功能完备、应用广泛、运营高效、安全可信”的基础大模型提供一站式指引。

两大核心标准

系列标准包含两大核心。其一是《人工智能 关键基础技术 大模型基准测试》,它规定了基准测试的指标与方法,涵盖单模态(如理解、生成、代码)和多模态(如视觉理解、语音合成、实时语音交互)任务。其二是《大规模预训练模型技术和应用评估方法》系列标准,它从模型开发、能力、应用、可信要求和运营五个部分,系统性地评估大模型的成熟度,确保技术与服务双重可靠。

产业落地应用

该系列标准已在阿里、百度、华为、腾讯科大讯飞等100余家单位成功应用,为研发与选型提供了可靠依据。基于这些标准,中国信通院联合产业界构建了“方升”大模型基准测试体系,数据集规模达780万条,累计测试超1100次。此外,标准已深度赋能政务、电力、高端装备制造等行业,支撑北京市政数局、中国南方电网、中国中车等单位构建了符合自身需求的评测体系,形成了“通用标准—行业适配—效能评估”的闭环。

系列标准的出台与应用,为大模型产业建立了科学的“度量衡”。未来,随着标准体系的持续完善和深入行业,将更有效地驱动AI技术实现高质量、规模化的产业落地,为各行各业的智能化升级注入确定性的力量。AI评测的下一步将走向何方?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章