什么值得买App下载 App ›
连续签到专享现金活动

1.3B小钢炮碾压千亿对手,显存6GB本地跑,速度快43倍

1.3B参数的模型,把千亿级对手按在地上摩擦了1
先说说这个小钢炮到底是什么来头
面壁智能最近开源了一个叫 MiniCPM-V 4.6 的多模态模型。参数只有 1.3B,放在大模型圈子里属于“侏儒”级别。但它的 benchmark 成绩直接登顶同尺寸模型榜首,更离谱的是跑完一套评测只消耗了 5.4M token,而竞品 Qwen3.5-0.8B 跑了 233M——差了整整 43 倍。这已经不能用“优化”来解释了。2
更反常识的是:它的参数明明比对手更大(1.3B vs 0.8B),运行速度却更快。Token 吞吐量达到 Qwen3.5-0.8B 的 1.5 倍,单卡 RTX 4090 每秒能处理 54.79 张 1344×1344 分辨率的图片。3
凭什么跑得这么快
秘密藏在架构里。MiniCPM-V 4.6 用的是LLaVA-UHD v4,核心创新叫“ViT 内部视觉 token 早压缩”。4
传统方案处理图片时,算力消耗跟分辨率呈二次方增长——图片大一点,计算量就炸涨。业界通常在 ViT 之后做 token 压缩,但上游的计算量一点没省。5
LLaVA-UHD v4 的思路是:把压缩前移到 ViT 内部浅层。越早压,后面需要处理的 token 越少,整体计算量就低了。结果是视觉编码阶段的 FLOPs 降低了 55.8%。6
这还没完。它还支持 4 倍/16 倍混合视觉 token 压缩率,可以像相机一样切换模式:4 倍压缩保留更多细节,适合 OCR 和文档识别;16 倍压缩牺牲一点精度,换来更快的响应速度。开发者可以按场景选档位,不用在精度和速度之间二选一。7
这张显卡能扛住多少流量
效率数据才是真正的爆点。用 vLLM 推理框架测,MiniCPM-V 4.6 的 Token 吞吐量是 Qwen3.5-0.8B 的 1.5 倍,但 token 消耗只有后者的 2.5%。这意味着同等算力下,能承载的线上流量是对手的数倍。1
处理高清大图也稳得住。实测跑 3132×3132 分辨率的图片,首字响应延迟只有 75.7ms,比 Qwen3.5-0.8B 快 2.2 倍。更离谱的是,分辨率翻倍,延迟曲线几乎不动。8
256 并发、1000 张图片的高压测试下,单张 RTX 4090 的吞吐量比 Qwen3.5-0.8B 高出 1.6 倍。这就是说,企业不用追加硬件投入,光靠换模型就能扛住更大的业务流量。9
你的手机真的能跑多模态
这不只是服务器的事。MiniCPM-V 4.6 在端侧的表现同样夸张:6GB 内存就能流畅运行,iPhone 15 Pro 级别的设备可以直接跑图生文。INT4 量化版本显存占用降到 12GB,解码速度达到 212 tokens/s。10
面壁把这套思路叫“密度定律”——不靠堆参数,用更高的智能密度实现性能反超。对消费级硬件来说,这意味着过去只能在云端跑的多模态能力,现在可以完全本地化,不联网、不收费、延迟低。11
谁已经在用了
产业侧已经给出了答案。快手 2025 年发布的推荐大模型 OneRec 采用了这个技术,成功支撑主场景 25% 的流量请求。一个模型能扛住四分之一的线上流量,可不是 Demo 级别的演示。12
开源社区的反应同样热烈。下载量突破 200 万,开发者在 GitHub 和 Hugging Face 上持续活跃,Xinference、llama.cpp、Ollama 等主流推理框架都已完成适配。13
当大厂还在卷千亿参数时,1.3B 的“小钢炮”已经证明了另一条路:效率优先,而不是规模优先。对开发者来说,这意味着更低的部署成本;对企业来说,这意味着更高的 ROI;对用户来说,这意味着真正的端侧智能。MiniCPM-V 4.6 的出现,把端侧多模态的门槛,从“实验室 Demo”拉到了“可量产落地”的级别。

评论

评论区空态插画

当前文章无评论,是时候发表评论了