苹果AI服务器内部曝光,2U机箱塞入32颗M5芯片专攻隐私推理
源自300位全网作者
10:08
精选参考来源
1
【MTPLX:让苹果芯片本地大模型速度翻倍的“榨汁机”】MTPLX是一个专为Apple Silicon设计的本地大模型运行工具(youssofal/MTPLX),核心卖点是利用多标记预测(Multi-Token Prediction)技术实现推理加速。与传统需要额外小模型引导的投机采样不同,它直接调用Qwen 3.8等模型内置的MTP头进行自我草拟,并在单次前向传递中完成验证。这意味着在不额外占用内存的前提下,M4或M5芯片的Mac能获得1.6倍到2.2倍的生成速度提升。该工具提供原生Mac应用和命令行界面,支持自动硬件调优,并兼容OpenAI与Anthropic的API接口,甚至集成了嵌入和重排序模型服务。长期以来,本地大模型的痛点在于推理速度与显存占用的博弈,而MTPLX的出现标志着投机采样进入了“原生化”阶段。它最值得关注的地方在于保持了输出分布的精确性,通过拒绝采样算法确保加速后的结果与标准解码完全一致,而非牺牲质量的“贪婪搜索”。对于开发者而言,其内置的Forge工具允许用户自行训练MTP适配器,这打破了模型架构对加速技术的限制。虽然目前这套方案高度绑定苹果硬件生态,但它为个人计算终端如何高效消化参数量级越来越大的开源模型提供了一个极具参考价值的样本:不再盲目堆砌硬件,而是从算法实现层面压榨既有算力的上限。
2
苹果调整业务重点押注AI,M5芯片MacBook AI算力达45TOPS值得买吗?
全部
来源
来源
内容由AI生成
0
0
0评论
当前文章无评论,是时候发表评论了
提示信息
取消
确认
评论举报
已收藏
去我的收藏夹