1400元垃圾佬装机跑176B：这代本地模型老卡也能上桌

源自226位全网作者

20:34

还在纠结要不要续费AI订阅？有人已经用垃圾佬装机，把总参数176B的大模型跑出30~50 token/s。B站连串的实测说明：上限真的变了。哔哩哔哩

第一笔：模型换代，风向是"少说话、小脑子"

Qwen3.8-Flash-Next这张牌，外面大、里面小：125B主模型加51B的N-gram嵌入表，每个token仅激活6B参数。微博知乎

官方把"记"和"找"拆开：每四层网络，三层用GDN压缩历史信息，一层用QSA精确检索。微博

1400元垃圾佬装机跑176B：这代本地模型老卡也能上桌

KV缓存因此压得极瘦，256K上下文拉满也只占约6.2GiB。甜点机不是旗舰显卡，而是"内存大、固态便宜、带宽一般"的机器——垃圾佬的存量装备全对上了。知乎

社区口径里，6B激活在SWE-bench Pro拿到62.5，压过Claude Opus 4.6 Max的53.4。但HLE 35.9对40.0仍落后，Opus 4.8已反超多数：局部超越，不是全面。知乎

同一周DeepSeek V4.1 Flash 1017版换权重即升级：思考等待降57%~73%，简单写码从15秒缩到3秒。"想得少、动得快"成了共同路线。哔哩哔哩

第二笔：我的老机器，够不够上桌？

功臣是推理框架：Strata、SGLang、vLLM把95.4GiB的N-gram查找表（PLE）从显存挪进内存和NVMe，SGLang实测每卡权重直减约23.5GB、吞吐基本不动。知乎

DGX Spark（128G内存）实测NVFP4权重约85GB即可，GSM8K抽样194/200=97.0%。96GB显存勉强，128GB内存就宽裕。知乎

现成作业有三种，价位不同：

  • 1400元垃圾佬：DDR3内存+P100计算卡，跑IQ3量化，还能接Agent任务——1400元出头捡垃圾X99平台。哔哩哔哩

  • 4060Ti 16G+64G内存：跑Strata-IQ3_S，显存15G、内存55G，35~58t/s且没有死循环。哔哩哔哩

  • 老10G卡：实测还能跑约35 token/s。

1400元垃圾佬装机跑176B：这代本地模型老卡也能上桌

货架也跟上：搭载RTX Spark芯片的联想YOGA Pro 15全渠道开售，起售价29999元。36氪

官方口径：率先跑通超千亿参数的本地大模型。36氪

天禧AI客户端也内置本地模式：断网可用、零Token成本。36氪

1400元垃圾佬装机跑176B：这代本地模型老卡也能上桌

第三笔：值不值得抄作业？

先泼冷水。一是口径：冻结题包里本地UD-IQ4_XS总分89.50，超过官方API的86.99。但剔除超时只剩1.98分，档位不对等的质疑也没停——单人口径，别当定论。哔哩哔哩

二是代价：P100老卡prefill偏弱，跑Agent拖成长任务。量化死循环是高频翻车点，土法：关键门控保BF16、别greedy、别开并发。哔哩哔哩哔哩哔哩

单位时间交付多少，比峰值聪明更要命——官方API 12次超时交白卷，输出94.88%花在"想"上。哔哩哔哩

Mac跑74B踩坑实录更扎心：十种配置A/B把常识干翻——开Flash Attention慢3.8倍、全CPU反而最快。小红书

1400元垃圾佬装机跑176B：这代本地模型老卡也能上桌

本地部署图什么？那篇问"谁来给我讲讲到底是图个啥"的帖子吵出490条评论，高赞答案不是省钱。是数据不出内网的合规、防断供涨价的确定性、不限次的自由。API再便宜，也便宜不过"半夜网断了、项目还在跑"的那份踏实。小红书

先想清用途，再决定抄不抄。Flash-Next配置文件已标识qwen4_exp，官方称它是Qwen4底层架构的实验性预览。月底见真章前，这账刚开头。知乎

精选参考来源

1
今晚，我们正式发布Qwen3.8-Flash ，这是一个多模态 MoE 模型。主模型参数量为125B，额外配备 51B 的 N-gram Embedding，每 token 激活仅 6B，训练开销约为 Qwen3.7-Plus 的 1/9。它显著降低了训练和推理成本，但在编码和办公任务上具备更强的能力。Qwen3.8-Flash围绕以下四个方面对模型进行了升级，进一步优化计算效率、模型容量和训练稳定性：1️⃣Attention：GDN + QSA，高效记忆与精准检索传统全局注意力机制让模型直接访问所有历史信息，随着上下文变长，计算量和键值缓存成本也会急剧上升。为了兼顾效率和效果，我们延续了Qwen3.5 的Hybrid架构：每四层网络中，三层用 GDN（Gated DeltaNet）把历史信息持续压缩成一份“浓缩笔记”；剩下一层保留全局注意力，引入 QSA（Qwen Sparse Attention）做精确查找。简单说，GDN 负责“记住”，QSA 负责“找到”。2️⃣Gated Residual：给信息更多传递路径传统Transformer架构中，所有网络层共用一条信息通道，层数一多，早期重要信息容易被稀释。我们引入Gated Residual机制，把这条单车道扩展成了 4 条并行车道，通过动态门控决定每条车道的信息读写量。有的道路负责局部信息传递，有的会形成长距离通道，把早期的关键信息一路畅通地送达深层网络，显著提升跨层信息传递和训练稳定性。3️⃣Embedding：低成本扩展模型容量N-gram Embedding 根据局部上下文进行查表，不仅可以增加大量参数，而且几乎不增加每个 token 的计算量。额外引入的 51B N-gram Embedding 参数，存放在Host Memory 中，通过异步 Prefetch 与模型计算重叠，无需长期占用 GPU 显存，就能以较低的额外成本增加了一个大规模的 “局部模式记忆库”。4️⃣Optimization：架构和优化协同设计采用 Muon Optimizer，围绕正交化精度、Muon 与 AdamW 的参数分工以及融合参数拆分等策略进一步优化，并针对新架构重新拟合 Scaling Law。模型可以稳定使用更大的Learning Rate和Batch Size，过去常用的“批次大小预热”策略也被证明不再必要，训练效率进一步提升。Qwen3.8-Flash模型API现已上线千问AI平台，每百万Tokens输入0.8元，输出2.7元，缓存命中0.1元。今晚，Qwen3.8-Flash首发上线“千问办公”。Next新架构将是全新一代Qwen4系列模型的雏形，我们同时在Hugging Face 和 ModelScope 发布了Qwen3.8-Flash-Next的开源权重，欢迎全球开发者前往体验与反馈～#千问大模型##Qwen##AI#

千问大模型 2026-08-26

来自新浪微博
2
跑通 Qwen3.8-Flash-Next 之后，本地模型的上限变了

OLDPAN 2026-10-18

来自知乎
全部
来源
内容由AI生成

精选参考来源

1. 今晚，我们正式发布Qwen3.8-Flash ，这是一个多模态 MoE 模型。主模型参数量为125B，额外配备 51B 的 N-gram Embedding，每 token 激活仅 6B，训练开销约为 Qwen3.7-Plus 的 1/9。它显著降低了训练和推理成本，但在编码和办公任务上具备更强的能力。Qwen3.8-Flash围绕以下四个方面对模型进行了升级，进一步优化计算效率、模型容量和训练稳定性：1️⃣Attention：GDN + QSA，高效记忆与精准检索传统全局注意力机制让模型直接访问所有历史信息，随着上下文变长，计算量和键值缓存成本也会急剧上升。为了兼顾效率和效果，我们延续了Qwen3.5 的Hybrid架构：每四层网络中，三层用 GDN（Gated DeltaNet）把历史信息持续压缩成一份“浓缩笔记”；剩下一层保留全局注意力，引入 QSA（Qwen Sparse Attention）做精确查找。简单说，GDN 负责“记住”，QSA 负责“找到”。2️⃣Gated Residual：给信息更多传递路径传统Transformer架构中，所有网络层共用一条信息通道，层数一多，早期重要信息容易被稀释。我们引入Gated Residual机制，把这条单车道扩展成了 4 条并行车道，通过动态门控决定每条车道的信息读写量。有的道路负责局部信息传递，有的会形成长距离通道，把早期的关键信息一路畅通地送达深层网络，显著提升跨层信息传递和训练稳定性。3️⃣Embedding：低成本扩展模型容量N-gram Embedding 根据局部上下文进行查表，不仅可以增加大量参数，而且几乎不增加每个 token 的计算量。额外引入的 51B N-gram Embedding 参数，存放在Host Memory 中，通过异步 Prefetch 与模型计算重叠，无需长期占用 GPU 显存，就能以较低的额外成本增加了一个大规模的 “局部模式记忆库”。4️⃣Optimization：架构和优化协同设计采用 Muon Optimizer，围绕正交化精度、Muon 与 AdamW 的参数分工以及融合参数拆分等策略进一步优化，并针对新架构重新拟合 Scaling Law。模型可以稳定使用更大的Learning Rate和Batch Size，过去常用的“批次大小预热”策略也被证明不再必要，训练效率进一步提升。Qwen3.8-Flash模型API现已上线千问AI平台，每百万Tokens输入0.8元，输出2.7元，缓存命中0.1元。今晚，Qwen3.8-Flash首发上线“千问办公”。Next新架构将是全新一代Qwen4系列模型的雏形，我们同时在Hugging Face 和 ModelScope 发布了Qwen3.8-Flash-Next的开源权重，欢迎全球开发者前往体验与反馈～#千问大模型##Qwen##AI#

新浪微博 2026-08-26 00:00:00

2. 跑通 Qwen3.8-Flash-Next 之后，本地模型的上限变了

知乎 2026-10-18 00:00:00

3. 1400 元垃圾佬装机，本地跑 Qwen3.8-Flash-Next，实测 30~50token/s

哔哩哔哩 2026-10-17 00:00:00

4. Strata最佳Flash模型对比测评：Qwen3.8 flash量化版实测超官方！跑完我人傻了

哔哩哔哩 2026-10-17 00:00:00

5. 【实测】DeepSeek-V4.1-Flash-1017巨幅提升

哔哩哔哩 2026-10-17 00:00:00

6. 本地部署大模型到底有意义吗

小红书 2026-07-23 00:00:00

7. Mac本地部署74B大模型，踩坑实录

小红书 2026-10-19 00:00:00

8. 端侧跑通超千亿大模型，联想YOGA Pro 15 RTX Spark超级AIPC发售

36氪 2026-10-17 00:00:00

9. 小白也能跑大模型？智能体一体机实测

小红书 2026-10-19 00:00:00

0
0
扫一下，分享更方便，购买更轻松
0评论

当前文章无评论，是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
查看更多

已收藏
去我的收藏夹