440GB权重免费白送?本地跑Hy4flash,先盘点家底
11月18日,腾讯把Hy4flash开源了,指令版、FP8、Base三个版本同日上架HuggingFace。总参数约224B、每个token只激活12B、1M上下文还带视觉,权重免费下载。官方连GGUF量化(Q4、Q3、IQ2多档)和Mac、NVIDIA、DGX Spark的适配方案都备好了,送到家门口。哔哩哔哩哔哩哔哩哔哩哔哩哔哩哔哩
但真去“提货”,第一步就绊倒一大批人:满血版权重包约440GB,下载看带宽,存放看钱包。哔哩哔哩
第一笔账:你的机器装得下哪个版本?
大模型圈硬通货:内存/显存≈参数量×每参数占的字节数。BF16每参数2字节,224B就是400多GB。官方部署示例直接写着8卡H200起步,出厂即企业级。FP8版,社区实测4张3090并联才带得动,已是家用天花板。真正现实的路线是量化版,官方自报Mac M5 Max上4K上下文输出约48 tokens/s,32K还有44 tokens/s。难怪评论区都在数着128GB统一内存的小主机和48G大显存显卡问“我这台行不行”。知乎哔哩哔哩哔哩哔哩哔哩哔哩

第二笔账:要不要先升级硬件?建议:不要。
官方量化才第一波,社区还在等更小更顺手的量化版。API这边却是另一番价签:输出每百万token 2元。OpenRouter上还挂着限时半价,只到11月30日。WorkBuddy里更是能免费蹬。实测里它单任务成本0.26元,同场景Claude Haiku是4.73元。真机数据落地再换机,一分钟都不晚。哔哩哔哩知乎哔哩哔哩哔哩哔哩

第三笔账:跑起来了,能不能扛活?
也别捧太高。测评反馈:轻任务它又快又便宜,但写代码偏弱(Terminal-Bench 19.2分)。空间理解和交互细节也有明显翻车点。同一组题横测,它比DeepSeek慢一截(52.9秒 vs 63秒)。最扎心的是热评第一:长文档喂进去,prefill慢到“等过年再来看结果”。想靠本地版替掉付费API的,先确认你只干轻活。哔哩哔哩哔哩哔哩哔哩哔哩

最后一个最容易踩的坑:许可证。
Hy4flash用的是腾讯自定义HyLicense,不是MIT。自己折腾玩没问题,想商用或做二次开发,先把条款读三遍。另外量化版挂在AngelSlim名下,直接pip官方工具链会装不上。别急着骂电脑坏了。哔哩哔哩哔哩哔哩哔哩哔哩
一句话:用它的,薅半价API,一分钱硬件别花;玩的,现有机器从低档量化版起步;想换机的,先放下购物车。权重确实白送,电费家底,自己交。
当前文章无评论,是时候发表评论了