11月3日，高通技术公司宣布高通AI Hub正式面向中国开发者开放，为国内开发者提供用于构建和部署终端侧AI的平台。这个2024年首次亮相的端侧AI开发平台，由模型库AI Hub Models、模型工作台AI Hub Workbench、示例应用AI Hub Apps和终端侧生成式AI推理引擎GenieX四个模块组成，覆盖从模型探索、优化到应用集成、多终端部署的完整链路，支撑智能手机、PC、物联网等终端形态。模型库提供超过230个预优化模型，其中也包括中国市场模型。对做端侧AI的开发者来说，这次开放最实际的意义是一句话：过去端侧AI开发里最重的几段手工活，现在可以整段交给平台。具体省掉的是下面五件事。微博网易微博
不用自己把模型调到"能在芯片上跑"
端侧AI开发的第一公里不是选模型，而是让模型在NPU、GPU、CPU上高效跑起来，这一步以前要自己拿开源模型过一遍量化工具链。现在开发者可以直接下载官方库里的预优化模型，充分利用高通AI引擎内CPU、GPU、NPU所有核心的硬件加速，提升推理速度和运行效率。模型好不好不能只看纸面参数，平台还支持在线浏览各类AI模型，横向比对不同设备、运行环境之下的模型表现。下载即用的模型本身带着针对骁龙平台的调优结果，而不是从开源仓库拿来一份再从头适配。知乎网易
自研模型不用再手写量化、编译工具链
官方库里没有的模型，才是多数团队真正的工作量所在。Workbench支持开发者导入自研模型，依托云端托管的实体设备，完成模型优化、量化、编译、性能研判与效果验证的全流程，还能按需选择骁龙、高通跃龙等硬件平台和对应运行环境做性能评估，输出可直接用于终端应用的优化工程文件。如果模型本来就训练在亚马逊SageMaker上，产物可经Amazon S3直接进入编译流程，不需要跨云搬运数据。以前这一步意味着自己搭量化、格式转换、算子适配的全套脚本，现在工具链由平台代管，部署流程也兼容高通AI引擎Direct SDK。网易知乎
不用自购真机搭设备实验室
端侧AI最隐蔽的固定成本是测试设备：想验证一个模型在目标机型上的真实表现，传统做法是备一批手机和开发板，搭环境、复现场景、逐个版本回归。现在开发者可以远程完成模型部署验证和端侧性能分析，把调优做到云托管的真实设备上去。配套支撑还包括官方网站、高通终端云中国设备农场和开发者论坛，技术资料、真机调试、技术交流都有入口。对小团队，这是把"买一墙手机"变成随用随取的云端资源。知乎网易
不用自己趟合规和低延迟的坑
中国版落地方式里容易被低估的是基础设施：高通AI Hub已通过由宁夏西云数据运营的亚马逊云科技中国（宁夏）区域向中国用户正式开放。在这之上，模型编译服务跑在EKS和ECS容器里，任务经SQS与Step Functions异步编排，访问请求走CloudFront加速，密钥、应用层防护、监控分别由KMS、WAF、CloudWatch承担，业务数据存于国内区域。此前海外托管的AI开发工具链对中国开发者一直是延迟与合规的双重问题，官方把基础设施合规先行做完再开门，这次"开放"和"一直能用上"的区别正在这里。知乎
应用集成不用从零写起
AI Hub Apps提供示例应用和参考代码，开发者可以照着官方样例学习模型接入和运行时配置，再依托配套的应用开发工具快速构建自己的终端AI应用。面向生成式场景，GenieX作为终端侧推理运行时，提供命令行、Python、Java等开发接口，支持模型在NPU、GPU、CPU上本地运行和整合。高通给出的收益口径是缩短产品上市时间，发挥终端侧AI在即时性、可靠性、隐私、个性化和成本上的综合优势，其中"成本"一项直指持续按调用付费的云端API推理场景。知乎网易
开放之后，先看清三件事
省下的工作有明确前提，申请之前值得对照。第一，所有优化都建立在应用运行于骁龙或高通跃龙等高通系统之上，若产品还要覆盖其他芯片平台，AI Hub的调优成果无法直接复用。第二，模型库以主流场景为主，自研模型用到非常规算子或定制结构时，仍需回到Workbench里迭代验证。第三，中国版官网注册入口、具体模型的获取方式和设备农场支持机型，截至发稿官方尚无细则披露，成本与服务水平需要以高通AI Hub官网后续文档为准。
后续最值得盯的两个信号：面向中国市场的模型库更新节奏，官方口径是规模超过230个且持续迭代扩充；以及高通终端云中国设备农场的真机覆盖范围，它决定"远程验证"实际能替开发者省下多少设备采购成本。网易
