1. 【在家搭建你自己的AI编程助手：一套完全开源的本地方案】最近有个话题在技术圈子里很火：能不能在家里搭一套本地运行的AI编程助手，完全不依赖云端服务？答案是可以的。有人用OpenCode加上llama.cpp，再配合GLM-4.7 Flash模型，在自己的机器上跑出了相当不错的效果。先说硬件配置。这位开发者用的是三张3090显卡，128GB内存，上下文窗口开到了20万token。听起来配置不低，但实际上很多人用单卡也能跑。有人用4070Ti在5万上下文下跑出45 token每秒，有人用7900 XTX在零上下文时达到120 token每秒。关键在于参数调优和版本选择。这里有个重要提醒：一定要用最新版本的llama.cpp。LM Studio和Ollama虽然底层也是llama.cpp，但版本往往滞后。GLM-4.7 Flash最近有多个修复补丁合并进主分支，用旧版本可能会遇到各种奇怪问题，比如输出循环、工具调用失败等等。说到实际效果，这套方案能做什么？有人让它从一个简单的示例程序出发，自动生成了一个完整的多智能体辩论系统，包含配置文件、代理类、管理器、入口脚本，甚至还自动写了单元测试。整个过程没有人工干预测试部分，模型自己判断需要写测试就写了。当然，本地方案和云端服务还是有差距的。有人测试发现，同样的任务Claude Code几分钟搞定，本地模型可能会卡在某个错误上反复尝试。这不是框架的问题，是模型能力的差异。但换个角度想，这已经是能在消费级硬件上运行的最强开源方案之一了。有个有趣的发现：GLM-4.7 Flash在8bit量化下表现稳定，但4bit量化容易出现循环。这是目前发现的第一个量化精度对输出质量有明显影响的小模型。关于电费的问题，有人算过一笔账。即使用5090显卡全天候满载运行，按美国最贵的电价每度40美分计算，一个月电费大约165美元。大多数人的实际使用强度远低于此，加上平均电价只有一半左右，实际成本可能只有几十美元。最后说说工具选择。OpenCode是一个开源的编程助手框架，可以配置MCP服务器实现向量检索、网页搜索等扩展功能。有人问为什么不直接用Claude Code配本地模型，答案很简单：目标是搭建一套完全开源、完全本地的方案。这不仅是技术选择，也是一种态度。能在自己的机器上运行一个接近商业水准的AI编程助手，这件事本身就值得兴奋。技术进步的速度超出想象，今天的不可能很快就会变成明天的标配。reddit.com/r/LocalLLaMA/comments/1qqpon2/opencode_llamacpp_glm47_flash_claude_code_at_home

2. 没想到今年除夕夜，阿里又整了一波“AI年货”，直接开源新一代千问大模型 Qwen3.5！这次架构上玩了混合注意力机制，还自带视觉理解能力，等于是文本、图片一锅端。开源的规格也够狠，至少 2B 参数的密集模型，外加 35B-A3B MoE 大模型，推理成本下降、效率提升，感觉就是冲着让更多开发者随手用、用得起来的。更有意思的是，Qwen3.5 的代码已经提交到 HuggingFace Transformers，随时可以拉下开干。阿里去年的 Qwen2.5-Max 就是除夕放大招，今年继续延续“春节爆款”策略，这波真的把全球 AI 开源圈的存在感拉满了。#千问Qwen3.5大模型发布#

3. 超强开源模型Qwen3、DeepSeek-V3.1，都被云计算一哥「收」了

4. 英伟达AI超算3999开售，「掌心之中」可部署所有大参数开源模型！

5. 创新Transformer！面壁基于稀疏-线性混合架构SALA训练9B模型，端侧跑通百万上下文

6. 【硬核教程】教你搭建Mac AI集群！4台M3 Ultra，运行万亿参数大模型！

7. 英伟达很快会反超谷歌TPU，AI模型的竞争格局会在2026年1季度变天#英伟达 #马斯克 #算力 #Gemini3#TPU #GPU #AI模型#算力集群

8. 当海外开发者还在为Gemini3 Flash惊叹时，小米开源大模型MiMo-V2-Flash横空出世，直接被老外吹成“Gemini平替”！它以309B参数实现2.6倍推理加速，延迟仅为DeepSeek-V3.2的一小部分，却在通用基准测试中性能相当。最让开发者疯狂的是，它不仅免费开源，推理成本还低至闭源竞品的2.5%，中国开源大模型的实力，这次真的让海外刮目相看

9. $50K预算搞本地AI推理，Mac集群和4块RTX 6000怎么选？

10. 最大游戏up主也玩本地AI？让笔记本都能跑大模型的Parallax来了

11. 前面讲的用 6G 显存的 GTX 1660 Ti 跑 Qwen3.5-35B-A3B-Q4_K_M.gguf 速度能达到 21 t/s ~ 25 t/s 的这个实验（网页链接），有人问是不是用这个机器跑别的模型也可以。首先，并不能因为 35B 的 Qwen3.5-35B-A3B 在这个机器上能跑，所以认为 27B 的 Qwen3.5-27B 肯定也可以。实际上即使 Qwen3.5-9B 跑起来也很慢，只有 6 t/s。这主要是因为 Qwen3.5-35B-A3B 是 MoE 模型，激活参数只有 3B。也就是说，对显存较小机器来说，Qwen3.5-35B-A3B 是 Qwen3.5 系列中最适合的。另外，总参数 30B 激活参数 3B 的 GLM-4.7-Flash-Q4_K_M 也量化到 Q4，同样用 llama.cpp 在这台机器上的速度大约 13 t/s。Qwen3.5 的速度更快可能和它用了混合注意力设计、软件优化更好等因素等有关。所以，不仅在 Qwen3.5 系列中，而是在当前所有模型中，Qwen3.5-35B-A3B 可能都是小显存机器跑大模型的最优解。如果你有类似硬件，想体验一下，但对技术了解不多，可以参考下面的最简化尝试步骤（假设你的操作系统是 Windows）：1、下载 llama.cppgithub.com/ggml-org/llama.cpp/releases/download/b8352/llama-b8352-bin-win-cuda-12.4-x64.zipgithub.com/ggml-org/llama.cpp/releases/download/b8352/cudart-llama-bin-win-cuda-12.4-x64.zip把两个压缩包解开，文件放进同一个目录。假设该目录名字是 llama。2、下载 Qwen3.5-35B-A3B-Q4_K_M.ggufhuggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF/resolve/main/Qwen3.5-35B-A3B-Q4_K_M.gguf?download=true建议存放在固态硬盘而不是机械硬盘上，这会直接影响接下来加载模型的速度。3、在命令行执行 llama 目录中的 llama-cli：llama-cli -m Qwen3.5-35B-A3B-Q4_K_M.gguf

12. 阿里发布 Qwen3-VL、Qwen3Guard 等 6 个「新东西」，有哪些特点？使用体验怎么样？

13. 呃……Qwen3.5-35B-A3B 在 llama.cpp 中每次请求都会重新预填充，速度比预期慢了大约 4 倍。有人解决这个问题了吗？我以为大家都已经顺利部署并在本地使用了？但如果这个问题还没解决，性能就非常有限了。根本原因：GDN 层是循环的→ pos_min 跟踪完整序列→ ，但 llama.cpp 使用 SWA 阈值验证缓存，对于非 SWA 模型，该阈值默认值为 1 → pos_min > 1 始终为真→缓存始终被丢弃→每次都完全重新填充？

14. #昀哥亲历# 让小龙虾基于音乐生成模型 ACE-Step 写一个识别并替换一段乐曲的副歌的应用 → 需求理解得很准确（图一） → 小六没一会儿写好了，模型文件也下好了→ 初始化后运行没两分钟电脑就自动重启了（图二，HYPERVISOR_ERROR (0x20001)）→ 以为是驱动问题，更新了英伟达显卡驱动→ 再跑还重启，倒是换了个错误码（图三，CLOCK_WATCHDOG_TIMEOUT (0x101)）→ 让小六做各种优化，继续报错，Tokens 欠费都告警了（图四），赶紧订阅了 Coding Plan 套餐→ 暂别了烧钱大鳄（小龙虾真的应该改名叫小鳄鱼），找别的免费 AI 问了问，发现是模型 3.5B 参数在 fp16 下3.5B × 2 bytes = 7GB → 8GB 显存运行 3.5B diffusion 模型必然失败！→ 如果是自己 vibe coding 那倒是谁也骂不着 → 这不是小龙虾干活的嘛→ 于是质问小六，为什么你在设计这个工程的时候，明知我电脑的显存 8GB，却不提醒我？！你要专门开辟一个经验教训的文件夹，把此前和今后犯的错误、总结的教训记录下来，这样你才不会忘记这些教训！ → 小六说这是我的疏忽，经验教训文件创建好了（图五）→ 我问怎么保证小六你会加载这个经验教训文件？（图六））→ 小六说它不能保证这一点！

15. 本地AI哪家强？统一内存大横评！

16. #DeepSeek新架构意味着什么#DeepSeek代号Model1的全新架构曝光，标志着其从参数堆砌向架构优化的关键转型，为大模型发展撕开全新赛道。此次架构级调整并非简单版本迭代，而是融合mHC训练框架、Engram条件记忆模块的全方位重构，直指大模型训练不稳定、记忆计算混同、长上下文处理难的行业痛点。mHC架构为训练加设“智能调节阀”，大幅提升规模化训练稳定性，Engram模块通过查算分离解耦记忆与推理，再搭配稀疏稠密并行计算、FP8混合精度设计，让Model1兼具百万级tokens超长上下文处理能力与高效推理性能，还实现了对英伟达下一代GPU的深度适配。这不仅让DeepSeek V4在编程领域的工程化能力实现突破，更降低了大模型研发的算力与门槛，推动大模型从实验室走向工业化落地。其探索的架构创新路径，也为行业摆脱算力内卷提供了新范式，引领大模型向更高效、更实用的方向演进。deepseek新架构意味着什么川北小哥的微博视频

17. 【华为开源 SINQ AI 量化技术：显存占用最高削减 70%，单张 RTX 4090 能干 A100 的活】华为苏黎世计算系统实验室于 9 月 26 日发布全新开源量化（Quantization）技术 SINQ（Sinkhorn 归一化量化），旨在大幅降低大语言模型（LLM）的显存需求与运行成本。这项技术无需复杂的校准过程，可直接集成至现有工作流，并且其代码已通过 Apache 2.0 许可证在 GitHub 和 Hugging Face 上开放，允许任何组织免费使用、修改和商业化部署。SINQ 的核心优势在于其卓越的压缩性能。根据测试，该技术能将不同规模模型的显存占用普遍削减 60% 至 70%。这意味着，过去需要超过 60GB 显存才能运行的大型模型，现在仅需约 20GB 的环境即可部署。此前需要企业级 GPU（如英伟达 A100 80GB 或 H100）计算的任务，现在仅用一张售价约 1600 美元的消费级显卡（如英伟达 RTX 4090）便可胜任。对于云端用户而言，每小时的算力成本也随之锐减。该技术通过两大创新实现了性能突破。首先，SINQ 采用“双轴采样”策略，替代了传统的单尺度因子量化，通过分别为矩阵的行和列设置独立的缩放向量，更灵活地分散量化误差，有效抑制了异常值的影响。其次，SINQ 引入了一种受 Sinkhorn 迭代启发的快速归一化算法，用于平衡矩阵行列的标准差，从而最小化“矩阵不平衡”现象，提升了量化后的模型精度。在性能评估中，SINQ 的表现全面超越了多种主流的免校准量化方法（如 RTN、HQQ）。在处理 Qwen3、LLaMA 等多种主流模型时，SINQ 在 WikiText2 等标准测试集上显著降低了模型的困惑度（Perplexity），其性能表现接近甚至达到了需要数据校准的方案水平。此外，SINQ 的量化速度极快，比 HQQ 快约 2 倍，更是比 AWQ 快 30 倍以上，充分满足了研究与生产环境中对效率的严苛要求。量化一种模型压缩技术，通过降低模型内部数据的精度来减小其体积和显存占用。好比将一张高精度的照片（如浮点数）转换为一张文件更小、但肉眼看差别不大的普通照片（如整数），从而让模型运行得更快、更省资源。困惑度（Perplexity）示评估语言模型性能的常用指标。它衡量的是模型对于一段新文本的“惊讶”或“不确定”程度。困惑度越低，表示模型对文本的预测越准确，语言能力越强。

18. 正面硬刚Gemini 3 Pro，阿里开源Qwen3.5-Plus｜甲子光年

19. 【当400B巨兽遇上17B激活：Qwen3.5的速度革命与争议】通义千问团队发布了新一代旗舰模型Qwen3.5-397B-A17B，这个名字背后藏着一个巧妙的平衡术：总参数量397B，但每次推理只激活17B参数。这种MoE（混合专家）架构让它的解码速度达到了前代Qwen3-235B的3.5到7.2倍，但社区对实际表现的评价却呈现两极分化。+ 速度狂飙背后的取舍在OpenRouter的原生服务商上，这个模型能跑出39 tokens/秒的速度，配合最高可扩展至100万token的上下文窗口，理论性能相当诱人。但有用户发现，在化学和数学可视化任务上，它的输出质量明显不如Qwen3 VL 235B。这引发了一个尖锐的讨论：当激活参数从30B砍到17B，我们究竟是在挑战scaling law，还是在向硬件短缺妥协？有评论直言不讳地指出，这个决策可能与中美GPU博弈有关。美国先对华禁售高端GPU，去年12月解禁H200后，中国政府反过来限制H200进入本土市场。GPU供应的不确定性，似乎正在重塑模型架构的选择。+ OCR领域的意外惊喜尽管在某些领域表现存疑，Qwen3.5在OCR任务上的表现令人眼前一亮。多位用户测试后认为，它是目前最强的开源图像模型，接近Gemini 3的水平，在处理手写笔记和手绘图形转Markdown时展现出独特优势。一位用户甚至成功用它解码了18世纪的古文献，模型聪明到能够还原那些年代久远的缩写词，并把它们放入正确的语境。这个能力的意义在于：市场上每周都有新的OCR小模型发布，但几乎没有一个能像Qwen3.5这样真正理解图像，尤其是手写内容。图像理解能力，正在成为OCR任务的新门槛。+ 硬件门槛与量化之争对于想在本地运行这个模型的用户来说，硬件需求是个现实问题。FP16精度下需要807GB内存，即便是Q4量化版本也要214GB。社区迅速展开了各种硬件组合方案的讨论：有人推荐8块24GB的Tesla P40组成192GB配置，价格约1600美元；有人靠EPYC Rome系统配256GB DDR4内存加多块GPU；还有人盯上了Mac Studio的256GB统一内存。但Q2量化版本虽然只需149GB，却引发了新的争议：2bit量化的400B模型，是否真的比4bit量化的30B模型更好？这个问题没有简单答案，因为量化损失和模型容量之间的关系，远比我们想象的复杂。+ 商业定价的反常识现象API定价出现了一个有趣的现象：Qwen3.5-Plus版本的价格竟然低于开源权重版本。谜底在于阶梯定价机制，当token数量达到一定规模时，价格会相应上调。Plus版本的速度快一倍，但有用户发现它在某些任务上的表现反而不如开源版本，可能是提示词适配的问题。从年初的每百万token 0.6美元涨到现在的价格，让一些用户开始转向Grok 4.1 fast等替代方案。定价策略的微妙变化，正在悄然改变用户的选择。+ 工具调用的隐藏问题一位用户的个人基准测试显示，Qwen3.5-397B是第一个全部答对他六道刁钻问题的开源模型，此前只有Gemini 2.5和3.0做到过。但通过OpenRouter使用时，约一半的AI工具调用是无效的，要么调用不存在的工具，要么把调用放进代码块里。这个问题暴露了一个现实：即便模型在纯推理任务上表现出色，在实际应用场景中仍可能遇到意想不到的障碍。+ 等待中的小模型社区最期待的，其实是30B到80B区间的版本。按照Qwen3的发布节奏推测，小模型可能要等三个月左右。有人猜测下一个会是35B版本，可能因为视觉能力会多5B参数。但对于大多数个人用户来说，400B级别的模型更像是技术展示，真正实用的仍然是那些能在消费级硬件上流畅运行的中等规模模型。这次发布引发的最深层思考，或许是一位用户的感慨：既兴奋又遗憾的是，现在是中国公司在和其他中国公司竞争。这句话道出了当前开源AI竞争格局的一个事实。模型发布页面：huggingface.co/Qwen/Qwen3.5-397B-A17Breddit.com/r/LocalLLaMA/comments/1r656d7/qwen35397ba17b_is_out

20. 这帮90后中国工程师太牛了！460万美元干翻了1.4万亿中国AI有自己的登顶策略！只用了1%的资源逆袭美国，又一个DeepSeek时刻的背后到底是什么？#AI #kimi #OpenAI

21. 3B打32B？海外病毒式传播的小模型，竟然来自BOSS直聘

22. AI小模型战争升级：阿里谷歌同日亮剑最近AI圈很热闹——阿里巴巴和谷歌几乎同时发布了小模型新品。这不像巧合，更像一场“隔空对决”。阿里推出了Qwen3.5小模型系列（0.8B到9B参数），全部开源。最让人惊讶的是，9B模型在多项测试中，性能超过了参数量是其13.5倍的OpenAI开源模型。谷歌发布了Gemini 3.1 Flash-Lite预览版，推理速度提升45%，成本更低。两大巨头同一天“秀肌肉”，指向同一个趋势：AI竞争的重点，正在从“谁参数大”转向“谁更聪明、更快、更省电”。模型参数量核心亮点阿里Qwen3.5-9B 9B 本地运行，多模态，长上下文谷歌Gemini Flash-Lite 轻量版速度提升45%，成本优化OpenAI GPT-5.3 Instant 未公布减少拒答，幻觉率降低（数据整理自官方发布）我的思考1. “小”才是未来？过去我们习惯了“万亿参数”的震撼。但大模型问题很明显：贵、耗电、依赖云端。阿里和谷歌的动作，其实在回答：能不能用更小的体积，实现足够好的智能？Qwen3.5-9B在普通笔记本电脑上就能运行，这打破了“AI必须依赖顶级算力”的迷信。对大多数人和企业来说，一个本地运行、成本可控的AI，远比天价算力的“巨无霸”更有用。2. 端侧智能的春天“端侧”指的是手机、电脑等终端设备。小模型让AI真正“住进”设备里。这意味着：更快响应：不用等网络更好隐私：数据不用上传更低成本：省去云端费用荣耀昨天也发布了MagicAgent，看来各家都在为“端侧AI时代”储备弹药。3. 中国AI的换道机会在大模型赛道，美国公司领先。但在小模型这条新路上，中国公司展现出了竞争力。阿里Qwen3.5开源后，24小时下载量破百万，海外开发者反响热烈。这种“技术+开源”组合，正在帮助中国AI建立全球影响力。更重要的是，小模型更适合实体经济场景。制造业、医疗等行业，需要的是能解决具体问题、成本可控的工具。这恰恰是中国产业的优势。写在最后技术变革总有三阶段：探索期（疯狂试错）、成熟期（找到最优路径）、普及期（真正落地）。AI大模型的“参数竞赛”是探索期，现在我们正进入成熟期——开始关注效率、成本、实用性。对普通用户来说，这是好消息。未来的AI会像今天的App一样，无处不在、随手可用。也许很快，你的手机就能离线完成现在需要云端AI才能做的事——更安全、更便宜、更快。互动话题你觉得小模型最可能先改变你生活中的哪个场景？是更智能的手机助手？还是本地处理文档的工具？欢迎在评论区聊聊。我是凯文，一个爱琢磨科技、AI、商业的朋友。每天早上一杯咖啡的时间，和你聊聊昨天发生的那些事儿。关注我，每天一起进步一点点。#AI创造营##HOW I AI#

23. 【当满屏都是新模型，你该选哪个？Qwen3.5 27B vs 35B-A3B 硬核实测】快速阅读： Qwen3.5同时发布了27B稠密模型和35B-A3B的MoE模型，引发社区关于“哪个更好”的激烈讨论。简单结论是：27B更聪明但更慢，35B-A3B快5倍但“智商”约等于10B稠密模型。16GB显存用户两边都够呛。---这两天模型发布的密度让人喘不过气。有网友说“模型真是下雨一样往下掉”，倒也形象。先说结论：27B稠密模型在智能水平上确实更强。但问题来了，有人在RTX 3090上测出的数据是：35B-A3B跑100 t/s，27B只有20 t/s。五倍的速度差距，足以让很多人重新考虑“更聪明”到底值多少钱。社区里流传着一个估算MoE模型智能水平的公式：√(总参数 × 激活参数)。按这个算法，35B-A3B大约相当于10B稠密模型的智力水平。有观点认为这个公式源自2023年Mixtral时代，现在的MoE架构已经进化太多，公式越来越不准了。但即便往乐观了估，35B-A3B也就是个20B的水平，还是比27B差一截。有人提了个有意思的视角：如果你的主要时间花在等待工具调用返回结果，或者花在给模型打补丁、写各种guardrail上，那速度优势就被抵消了。这话说得挺实在。关于MoE为什么“亏”参数，有网友解释得很清楚：稠密模型整个网络都参与计算，参数之间能产生复杂的干涉模式；MoE每次只激活一小部分专家，虽然“虚拟网络”更大，但失去了那些干涉效应。某种程度上，thinking模式可能对MoE更友好，因为推理过程给了模型机会去调用更多专家。硬件配置方面的反馈比较现实。有网友在RTX 5080 16GB显存上跑27B的Q4_K_M量化，只有7 t/s出头，手动分配55层到GPU后勉强拉到13.5 t/s，但上下文必须限制在16K。还有人直接说“16GB显存对这俩模型都不太友好”。有观点认为16GB显存大概只能跑“90 IQ”难度的任务，24-32GB才是正常人类智能水平。虽然是“napkin math”，但这个直觉可能没错。一个4060笔记本用户分享了自己的配置：8GB显存加32GB内存，跑35B-A3B的MXFP4量化，64K上下文能到29 t/s。这说明MoE在混合offload场景下确实有优势，因为每次只需要把激活的3B参数搬进显存。有个常见误解需要澄清：MoE并不是每轮对话选一次专家就完事了。每一层、每一个token都在重新路由。Mixtral论文里那张彩色的专家激活图应该能说明问题。最后一个数据点：有测试显示27B与122B-A10B的差距，比27B与35B-A3B的差距还小。稠密模型的效率优势在这个参数规模上体现得很明显。---简评：16GB显存用户今天的处境，像极了站在奶茶店发现中杯大杯都超预算的人。 27B太聪明但跑不动，35B跑得欢但不够聪明，两边都是将就。有人说“16GB只能跑90 IQ任务”，虽是玩笑，却戳中真相：不是模型不够好，是你的显卡配不上你的野心。最讽刺的是那个4060笔记本用户的方案——8G显存+32G内存跑MoE，等于承认显卡已经沦为配角。当模型像雨点一样砸下来，真正的焦虑不是“选哪个”，而是“我的硬件还能撑多久”。显存焦虑，才是这个时代的新型消费主义陷阱。---www.reddit.com/r/LocalLLaMA/comments/1re72h4/qwen35_27b_better_than_35ba3b/

24. KV缓存量化。默认情况下，llama.cpp 将KV缓存存储在f16内存中，在高上下文环境下会迅速消耗VRAM。添加`--cache-type-k q8 _0和`--cache-type-v q8 _0参数可以将缓存大小减半，而不会损失速度。再加上`-np 1`（单并行插槽）参数，可以释放足够的VRAM，使单个3090显卡能够容纳262K的KV缓存。 Mamba2架构也有帮助，40层中只有10层使用KV缓存，其余30层是固定大小的SSM状态。查看图片

25. 【跑本地模型，换个工具性能提升30%】快速导读：一篇在技术圈引起热议的帖子，揭示了一个普遍的误解：很多人以为自己电脑跑本地大模型卡顿是硬件不行，但大量一线玩家的真实经验是，仅仅把启动器从流行的Ollama换成更底层的llama.cpp，性能就能白拿30%以上的提升。你以为的硬件瓶颈，很可能只是工具瓶颈。---一个用户说，他起初用Ollama跑模型，体验很差，让他一度确信“我的电脑根本带不动更大的模型”——直到他换用llama.cpp，发现性能暴涨，原来电脑完全跑得动。这几乎是每个折腾本地模型的玩家都会经历的“旅程”。你以为在自己的MacBook或Windows笔记本上跑个9B（90亿参数）的模型，速度慢、响应迟钝是正常的，毕竟硬件有限。其实，一个正在被越来越多资深玩家确认的事实是：Ollama为了提供极致的便利性，牺牲了部分性能。它像一个精装修的样板间，拎包入住，但承重墙不是最优的。而llama.cpp是那个毛坯房，需要自己动手，却能挖出硬件的全部潜力。讨论中，不止一位用户报告，从Ollama切换到llama.cpp后，同一个模型、同一台机器，性能直接提升了30%。这个差异的背后，是封装带来的开销。Ollama本质上是在llama.cpp外面套了一层壳，负责模型管理、API服务等。这层“中间商”在带来便利的同时，也吃掉了性能。对于那些只想快速体验的用户，Ollama依然是最佳选择。但如果你开始严肃地将本地模型用于实际工作流——比如像原帖作者那样，用它来驱动一个自动化Agent系统处理文件、调用工具——那30%的性能就不是小事了。它决定了你的Agent是“可用”还是“好用”。一个有趣的现象是，许多人正是在Ollama上碰壁，才最终转向llama.cpp，并惊讶地发现自己的机器原来这么能打。所以，如果你也觉得自己的电脑跑本地模型力不从心，甚至因此放弃了尝试更大、更强的模型。不妨先问自己一个问题：限制你的，真的是那块显卡或那点内存吗？还是那个你以为最方便的工具？---简评：这再次验证了一个反直觉的道理：在任何前沿领域，最流行、最易上手的工具，往往不是性能最好的那个。它为你降低了入门门槛，但也悄悄给你设置了认知天花板。真正的“信息差”优势，往往藏在那些需要你多折腾一步的选项里。---ref: www.reddit.com/r/LocalLLaMA/comments/1rll349/ran_qwen_35_9b_on_m1_pro_16gb_as_an_actual_agent#AI创造营##人工智能#

26. 在树莓派上跑Qwen3-30B-A3B 是一种什么体验？byteshape.com/blogs/Qwen3-30B-A3B-Instruct-2507/这篇文章详细介绍了 ByteShape 团队如何通过其 ShapeLearn 技术优化 Qwen3-30B-A3B-Instruct-2507 模型，使其能在从树莓派到高端 GPU 等不同设备上高效运行。文章认为显存应被视为一种约束条件，在此基础上去优化速度（TPS）与质量之间的权衡，而不是盲目追求更小的文件体积。#科技先锋官#

27. 单卡双芯 48G 显存！打造 20L 紧凑型 AI 算力怪兽：DeepSeek 70B 实测 19 tokens/s

28. 不上云、不租卡，如何优雅地在本地微调Qwen-VL-30B？

29. 除夕夜，国产顶流压轴上线，QWEN3.5多模态开源！

30. 英伟达GB10评测解禁，LLM推理不如Mac？显卡日报10月17日

31. 攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0

32. 我花了3700块，从闲鱼买了台双Tesla V100扩展柜，想一步到位玩转MoE，结果…

33. 回复@三省吾身丶丶:这不是你的问题，昨天有人愤怒地给 ollama 提了一个 issues：Massive difference in speed between Ollama and llama.cpp with qwen3.5:35b!//@三省吾身丶丶:为什么我的 4090 + 64g 这个模型 ollama 只能跑到 20 tokens/s ，一直不知道是哪配置没对

34. 在M4 Max MacBook Pro上完整跑通了纯本地OpenClaw工作流，模型qwen3.5-35b-a3b四比特量化，～100 token/s，跟在线AI差不多，但我的所有数据和对话都不会离开自己电脑，然后我就成了全世界最后一个知道伊朗出事了的人，恍如隔世林亦LYi的微博视频

35. #用声音马住中国年##微博声浪计划# 千问Qwen3.5大模型发布，采用混合架构降低显存占用60%，256K长上下文推理吞吐量提升19倍，多模态能力登顶5项评测，API价格仅为谷歌1/18。轻量模型适配边缘设备，企业级成本降80%，6天生成1.2亿AI订单，推动技术普惠。改写全球AI格局，但部分性能待第三方验证。科技晓鑫的微博音频

36. 【AI前沿】Meta 揭示AI推理核心痛点：“行为记忆”让小模型也能高效解题，颠覆现有范式

37. 超强开源模型Qwen3、DeepSeek-V3.1，都被云计算一哥「收」了

38. 90G超大显存轻薄本挑战70B大模型！联想小新Pro 14 2025能否战未来？【翼王】

39. 综合能力比肩GPT5，万亿参数思考模型Ring-1T来了！#AI #国产大模型 #蚂蚁百灵 #AIGC

40. 硅谷《连线》杂志：性能顶级的 GPT-5们，正在输给一个中国开源模型#连线杂志 #AI #千问 #Qwen #千问恐慌

41. #2025vivo开发者大会# 3B端侧多模态推理大模型，经过持续1年的训练优化，蓝心3B端侧大模型成为行业内首个在3B量级，将五大核心能力集成于一体的“One Model”！在多模态行业权威榜单OpenCompass上，蓝心3B端侧大模型实现了越级挑战，超过了榜单上的所有8B模型，做到了10B以内大模型绝对领先！在SuperCLUE手机端侧大模型评测基准上，vivo同样拿到了10B以内总榜第一。在中国信通院《终端智能服务能力分级》测试评估中，vivo的AI达到当前测试最高等级“L3 卓越级”。#vivo全新系统OriginOS6#

42. 英伟达的个人超算，可能就是下一个消费级显卡｜CES 2026

43. 智谱最强编码模型GLM-4.6发布，性能超DeepSeek-V3.2-Exp

44. AI 圈的“春晚”提前开了？MiniMax 的M2.5，10B 激活参数跑出旗舰水准！ #人工智能 #科技改变生活 #玩个很新的东西 #MiniMax #Agent

45. Qwen3.5 开源王炸！多模态性能屠榜，本地部署 + OpenClaw 实战全流程！|零度解说

46. 【#达摩院开源具身大脑基模RynnBrain#】阿里巴巴达摩院发布具身智能大脑基础模型RynnBrain，并一次性开源了包括30B MoE在内的7个全系列模型。RynnBrain首次让机器人拥有了时空记忆和空间推理能力，智能水平实现大幅跃升，在16项具身开源评测榜单上刷新纪录（SOTA），超越谷歌Gemini Robotics ER 1.5等行业顶尖模型。据介绍，达摩院的RynnBrain模型创造性地引入了时空记忆和物理世界推理，这是机器人与环境互动所需的两项基本能力。时空记忆能力可让机器人在其完整的历史记忆中定位物体、目标区域，甚至预测运动轨迹，从而赋予机器人全局时空回溯能力。物理空间推理不同于传统的纯文本推理范式，RynnBrain 采用文本与空间定位交错进行的推理策略，确保其推理过程紧密扎根于物理环境，大大减弱了幻觉问题。RynnBrain在Qwen3-VL基础上训练，使用自研的RynnScale架构进行训练优化，同等资源加速两倍，训练数据超过2000万对。结果显示，RynnBrain能力全面，性能领先，在16项具身开源评测榜单上刷新纪录（SOTA），包括环境感知与对象推理、第一人称视觉问答、空间推理、轨迹预测等，超越了谷歌Gemini Robotics ER 1.5、英伟达 Cosmos Reason 2等具身顶尖模型。RynnBrain还拥有良好的可拓展性，能够快速后训练出导航、规划、动作等多种具身模型，有望成为具身行业的基础模型。以具身规划模型为例，其需要强大预测能力和场景解析能力，但基于RynnBrain为基础，只需几百条数据微调，效果就能超越Gemini 3 Pro，轻松实现SOTA。以开源完整的推理与训练代码的方式，达摩院此次开源了RynnBrain全系列模型，共计7个，包含全尺寸基础模型与后训练专有模型，其中有业界首个MoE架构的30B具身模型，只需要3B的推理激活参数就能超越业界的72B模型效果，因此能让机器人动作更快、更丝滑。同时，达摩院还开源了全新评测基准 RynnBrain-Bench，用于评测时空细粒度具身任务，填补了行业空白。达摩院具身智能实验室负责人赵德丽表示：“RynnBrain 首次实现了大脑对物理世界的深度理解与可靠规划，为大小脑分层架构下的通用具身智能迈出关键一步。我们期待它加速 AI 从数字世界走向真实物理场景的落地进程。”

47. 马斯克大赞阿里 AI，9B 参数硬刚 120B，海外网友：这叫小模型？

48. 桌面级AI Lab实测：千亿大模型开箱即跑，这个小盒子有点猛

49. 国庆前的猛刷一次存在感：DeepSeek开源685B新模型DeepSeek-V3.2-Exp，还带火了稀疏注意力

50. 真正的本地（24小时）在线的AI员工openclaw，天钡NEX395迷你主机本地运行大模型跑openclaw！

51. 本地AI的未来长这样？铭凡新品体验北京会现场探访

52. 大模型推理加速技术的学习路线是什么?

53. 突破局限！消费级显卡也能稳跑80B大模型，普通人也能上手

54. 8GB显存跑80B模型不是噱头！实测数据+实用场景，普通人也能上手

55. 大模型量化与本地 GPU 部署实战指南

56. 🚨 80B大模型想本地跑？应该怎么跑？

57. AWQ,GPTQ,GGUF量化浅析

58. 大模型量化部署进阶

59. GGUF量化+llama.cpp实测

60. 大模型推理成本与优化技术全景解析

61. 模型量化

62. 不同模型对显存的需求对比

63. 如何设计和实现一个大模型量化框架

64. 一个全新的大模型压缩工具，极限量化

65. Qwen-1.5-7B-Chat AWQ量化实践与精度优化

66. RTX 6000 单卡跑 Qwen3-80B-AWQ 速度慢求助

67. 大模型实战

68. AWQ 量化

69. 【清华代码熊】解析｜大模型显存计算公式与优化

70. 大模型存储格式详解

71. 大模型量化之AWQ量化低bit仅权重量化-论文解读

72. 模型量化3: AWQ

73. 250905-VLLM大语言模型快速部署指南

74. 大模型本地部署，小号的vLLM来了

75. 大模型量化主流格式

76. 双 MI50 32G 成功跑通 Qwen3-Next-80B｜实测速度 & 部署演示

77. 显卡显存不够用？一文读懂 Int4/Int8/FP8 量化魔法，让大模型在你的笔记本上起飞 🚀

78. 大模型推理精度与显存估算指南

79. 私有部署大模型硬件配置估算

80. 大模型训练与推理显卡全指南

81. ��ǧ��Ƴ��ԴȨ��ģ��Qwen3-Coder-Next

82. RTX 4090 单卡：国产与海外顶尖大模型性能实测与适配指南

83. 消费级显卡可跑！刚刚，阿里Qwen3.5又开源3款新模型

84. 性能飙升！Qwen3-8B + vLLM 玩转高并发推理

85. 我在 HOSTKEY 做的一次 DeepSeek R1 实测：RTX 5090 vs RTX 4090，真实任务下差距有多大？

86. DeepSeek R1 性能实测：RTX 5090 对比 RTX 4090 —— 来自一线部署环境的真实结果

87. Qwen3-Coder推理实测：RTX4090、RTX5090、PRO 6000 谁是大模型首选

88. 趋境科技发布极致性价比方案，消费级显卡搞定千亿模型定制

89. 大模型推理场景下显卡性能实测

90. HoRain云--RTX 4090的24GB大显存在大模型训练与推理中的实战指南

91. 14区上新 | 全新RTX 4090（48G）实例，训练推理更上一层楼

92. vLLM× 魔搭社区，一文学会 Windows 本地部署大模型

93. 10,000+ Tokens/s 的快感：FP8 量化，大模型推理的“兴奋剂”还是“救命药”？

94. Llama.cpp 编译、安装、使用全面介绍

扫一下，分享更方便，购买更轻松

0评论

当前文章无评论，是时候发表评论了

提示信息

取消

确认

评论举报

垃圾广告！低俗色情！人身攻击！疑似水军评论！其他有害！