Meta开源300亿参数模型,单卡24GB显存本地跑!完全免费可商用
Meta发布了一款约300亿参数的语言模型Muse Glimmer。它可以在配备24GB显存的单张显卡上离线运行,且采用Apache 2.0许可协议——这意味着任何人都能免费下载、修改模型权重并用于商业用途,无需支付任何费用,也无需保持网络连接。8月10日,Meta正式将这款模型开源,权重已上传至Hugging Face平台。24GB显存是这款模型能够在消费级硬件上运行的核心门槛,意味着它需要RTX 5090、RTX 4090、RTX 3090或搭载M4 Max芯片的Mac电脑才能启动。
全精度状态下,Muse Glimmer的理论显存占用约为64GB。Meta通过量化技术将其压缩至约4-bit,将语言处理部分的占用缩减至20GB以下,为视觉编码器和实时对话缓存预留了空间。官方提供两种现成变体:K-Quant-Dynamic针对32GB显存优化,在15项基准测试中平均精度损失仅0.2%;K-Quant-17GB可在24GB显存内运行,精度损失约为1.0%。需要注意的是,这些数字是平均值,不能保证每个代码仓库和工具场景都能维持同样的精度水平。
本地运行大模型往往面临速度瓶颈。Meta同时发布了一个名为DFlash的辅助加速工具,它采用轻量块扩散草稿模型,每次提出16个Token候选,由主模型并行验证。根据Meta官方测试数据,在RTX 5090上,吞吐量从每秒74.9个令牌提升至233.4个令牌,加速约3.1倍。搭载M4 Max的Mac设备从每秒23.7个令牌升至37.8个,M5 Max则从26.6升至50.2个。AMD也在同一天公布了初步测试数据,搭载Ryzen AI Max+ 395的迷你电脑最高可达每秒24个令牌。
Muse Glimmer源自Meta超级智能实验室,从更大的Muse Spark模型中蒸馏而来。它接受文本和图像作为输入,仅生成文本,支持超过100种语言,上下文窗口超过131,000个令牌。在多步骤规划与工具调用能力上,这款模型表现突出——在MCP Atlas测试中得分为75.5,远超谷歌Gemma4-31B的54.2和阿里巴巴Qwen3.6-27B的62.5。然而,在桌面界面操作和终端操作任务中,Qwen系列表现更优。知识更新截止于2026年1月4日,涉及近期事件的内容可能无法准确回答。
模型权重已在Hugging Face免费开放下载。对普通用户而言,运行Muse Glimmer的实际门槛并不低:需要配备RTX 4090或更高规格的显卡、Mac设备需搭载M4 Max芯片,且显存容量不得低于24GB。中端显卡用户可关注平台上的更小规模模型,部分已针对12GB显存做了优化。Meta同期还发布了Muse Code智能编程助手和Muse Image图像生成器,共同构成Muse产品线。
当前文章无评论,是时候发表评论了