把大模型装进手机：端侧AI在解决什么问题

过去两年，大模型主要在云端运行：你输入一句话，数据传到服务器，算完再返回结果。现在，越来越多的手机和电脑开始强调"本地就能跑"。把模型搬到设备上并不只是一句宣传口号，它对应着一组很具体的问题：延迟、隐私、成本，以及在网络不通时还能不能用。

一、什么是端侧AI

端侧AI指的是把模型的推理过程放在设备本地完成，而不是把请求发到云端。这里的"端"可以是手机、平板、笔记本，也可以是汽车和耳机。

区分两种模式其实并不复杂：断网之后还能不能正常使用，基本就能判断。很多输入法的联想、相机的场景识别、相册的人脸分组，一直运行在本地，只是过去它们用的是小模型，能力有限。当参数量更小的模型通过压缩、蒸馏等手段保留住一部分语言能力之后，"本地也有一个能聊天的助手"才真正成为可能。

从技术上看，端侧AI并不是把云端模型原封不动搬过来，而是重新训练或压缩出的小尺寸版本。常见的做法包括量化、剪枝和知识蒸馏：把参数从高精度压缩到低精度，删掉影响较小的部分，再让小模型去模仿大模型的输出。这些方法能显著降低体积和功耗，代价是能力会有一定损失。

二、为什么要把模型放到本地

第一个理由是延迟。语音助手最大的体验问题往往不是答得不好，而是等得太久。本地推理省掉了网络往返，响应可以做到几乎没有停顿，交互感受完全不同。

第二个理由是隐私。通讯录、聊天记录、工作文档、体检报告，这些内容用户并不愿意上传。如果处理过程完全发生在设备内，数据不出本机，很多顾虑自然消失。这也是端侧AI最容易讲清楚的卖点。

第三个理由是成本与可用性。云端推理要消耗服务器算力，用户规模一大，费用就相当可观。把一部分请求放到本地，能明显降低服务方的开支。同时，在飞机上、地下车库、偏远地区，本地能力不依赖网络，可用性更稳定。

三、难点：算力、内存与功耗

把模型装进手机，最大的约束往往不是算力峰值，而是内存。手机内存是共享的，系统、应用、相机都要用，模型能占用的空间有限。这也是为什么早期端侧模型普遍只有几十亿参数——不是不想做大，而是放不下。

功耗同样棘手。持续推理会让处理器发热、耗电加快，而手机是贴身设备，温度和续航都是硬指标。因此厂商的做法通常是"平时用小模型，复杂任务再调用大模型"，并在系统层面控制可用的算力上限，避免单个应用把电量吃光。

四、端云协同，而不是二选一

一个常见的误解是端侧AI要取代云端。更现实的形态是分工：简单、频繁、涉及隐私的任务放在本地，复杂推理和需要最新知识的任务交给云端。

这种分工需要系统判断哪一类请求走哪一条路径，用户通常感觉不到切换。它带来的好处是体验更连贯；代价是对系统调度能力要求更高，也需要更清楚地告诉用户，数据在什么情况下会离开设备。

对开发者来说，这意味着应用设计要考虑两种情况：本地有模型时如何调用，没有时如何回退。把这件事处理好，功能才不会在不同机型上表现割裂。

五、对普通用户意味着什么

短期来看，最直接的变化是响应更快、离线可用范围更大。中期的变化更值得关注：当AI能力成为设备的基础能力，应用的设计方式会跟着改变——功能不再需要"打开一个应用"，而是嵌入到系统的各个角落。

对用户来说，选购时不必只盯着参数表。更实用的判断标准是：断网之后还能做什么，涉及隐私的操作是否默认在本地完成，以及厂商对数据流向的说明是否清楚。

六、接下来的看点

端侧AI不会一夜之间取代云端，但它会持续改变设备的形态和能力边界。接下来值得关注的方向有三个：小模型在有限参数下能做到多好；设备的内存与散热能支撑多大规模的模型；以及端与云之间的数据边界能否被清楚地界定和解释。

技术演进的节奏往往由约束决定。端侧AI的所有进展，本质上都是在一个很小、很热、电池有限的盒子里，尽量把能力做大。

七、本地模型也有它的短处

端侧模型参数量小，遇到需要广泛知识或复杂推理的任务，表现会明显弱于云端。它可能记不住较新的信息，也可能在长文本理解上力不从心。更现实的做法，是把本地能力定位为"快速、私密、随时可用"，而不是"无所不能"。

本地模型的更新节奏同样受制约。模型文件动辄几个GB，通过应用商店或系统更新下发，会增加用户的流量和存储压力。因此能力提升往往是分批、渐进式的，而不是一次到位。对厂商来说，如何在不打扰用户的前提下完成更新，本身就是一个需要设计的问题。