这48小时，海外极客圈被一个纯Rust推理引擎刷屏了——RustingStrata刚更新到v1.2.0，口号非常响：6G显存跑35B。而第一篇爆款实测的评论区直接翻了车——不是庆祝，是被老哥们说这速度"纯属光速胡言乱语"。小红书
这引擎是什么路数
相比llama.cpp的C++编译墙，它用纯Rust写成，双击就能跑，CPU和显卡同时开工。核心玩法是MoE专家动态分流：模型超出显存时，高频专家留在显卡，冷门专家丢给内存、CPU并行算。A卡玩家最在意的一点：Vulkan后端速度和CUDA持平，不再是二等公民。小红书
160字/秒里埋的坑
作者先在3060 12G上跑Qwen3.6-35B-A3B的Q2_K_XL档（11.7G），开MTP投机采样，输出飙到160字/秒，llama.cpp同场景只有68。硬核老哥立刻泼冷水：35B-A3B每次前向只激活约3B参数，再往Q2压，快是快，写代码时一边跑一边错，跑分没有意义。小红书
作者认栽，换上25G的Unsloth UD-Q5_K_M档（配32G内存），仍开MTP：最高96字/秒，4K长文稳86字/秒，依然比llama.cpp的43字/秒快2.2倍，6K预填充从700冲到1320。小红书
这是整条帖子最值钱的一句话：本地推理的速度是"引擎×量化档位×激活参数"三件事，单看一件都会骗人。
分档抄作业（均为作者特定机器实测，换机结果会变）
作者给4G到12G不同显存玩家整理出了最稳的黄金档位。小红书
12G显存+32G内存（3060/4070/5070）：首选UD-IQ4_XS，约57%专家驻留显存，94-96字/秒；或UD-Q5_K_M开`–mtp 1`，写代码的甜点位。
8G/6G显存（4060/RX 7600）：靠`–vram-margin`与CPU协同，实测8G在4K长文后仍保110字/秒，6G跑97；显存吃紧就`–kv q8`，把32K上下文缓存从650MB砍到345MB。
4G老本子（1050Ti+32G内存）：UD-Q4_K_XL档、KV设q5_0、开提示词缓存，12.7K长文冷启动从9分钟缩到76秒，约12字/秒——能用，但别指望流畅。
A卡：启动务必带上`–backend vulkan`。
评论区课代表加餐：llama.cpp配`–moe-cache-mib 3584`热点专家缓存，3080Ti跑16K上下文从27.4字/秒飙到85字/秒，3.1倍提速且输出逐字节不变。参数配方同样值得抄。小红书
到底要不要换
别指望通吃：有用户翻它GitHub主页，发现Qwen3.8-27B、Flash-Next这类稠密模型解码仍只有20 tok/s上下。目前数据来自单一实测、没有第三方复测，自己机器背靠背对照才是准。小红书
但趋势越来越清楚：同一台3060+32G内存的背靠背测试里，塞得进显存的模型llama.cpp更快，超出显存就被分流阵营反超（35B 71.5、80B 63.7、177B 21.3 tok/s）。从pegainfer、OpenInfer到为Apple Silicon优化的Lily，纯Rust引擎这一波已经跑了小半年。本地推理的门槛，正在从"买什么卡"转向"选什么引擎、配什么档"——你那张6G卡离报废还远，不如先让它再干一票。小红书微博微博微博
你的显卡+显存+内存是什么？评论区报个配置，我告诉你哪档最猛。
