4090跑不动7B模型？你缺的不是显存，是MoE架构
04-05 10:30
精选参考来源
精选参考来源
1. DeepSeek悄悄地又发布了一份重磅报告。他们提出了 Engram，这是一种将查找表记忆与上下文感知门控融合在一起的记忆技术，并将其添加到他们的模型中。因此，无需强制密集层每次都对事实进行编码和重新计算。在相同的浮点运算次数下，MoE 的容量可以从「存储」转向「推理 + 长上下文」，从而提高知识水平和整体性能
新浪微博 2026-01-14 00:00:00
2. ControlNet作者张吕敏最新论文：长视频也能实现超短上下文
微信公众号 2026-01-03 00:00:00
3. #千问Qwen3.5大模型发布# 刚刚，千问正式官宣发布 Qwen3.5，并推出Qwen3.5系列的第一款模型 Qwen3.5-397B-A17B 的开放权重版本。作为原生视觉-语言模型，Qwen3.5-397B-A17B 在推理、编程、智能体能力与多模态理解等全方位基准评估中表现优异，助力开发者与企业显著提升生产力。该模型采用创新的混合架构，将线性注意力（Gated Delta Networks）与稀疏混合专家（MoE）相结合，实现出色的推理效率：总参数量达 3970 亿，每次前向传播仅激活 170 亿参数，在保持能力的同时优化速度与成本。我们还将语言与方言支持从 119 种扩展至 201 种，为全球用户提供更广泛的可用性与更完善的支持！#HOW I AI##过个有AI年#
新浪微博 2026-02-16 00:00:00
4. Transformer架构演进与MoE混合专家模型技术解析
今日头条 2026-03-29 00:00:00
5. 大模型架构革命
今日头条 2026-03-31 00:00:00
6. 《CS336 Spring 2025 Lecture 4
知乎 2026-03-28 00:00:00
7. MoE架构深度解析
微信公众号 2025-12-09 00:00:00
8. AI产品经理必知
知乎 2026-02-15 00:00:00
9. MoE 混合专家模型详解
微信公众号 2026-04-03 00:00:00
10. Flash-MoE技术深度解析
知乎 2026-03-31 00:00:00
11. 大模型的“节能密码”
今日头条 2025-12-14 00:00:00
12. 稀疏激活
今日头条 2025-11-17 00:00:00
13. MoE大模型
知乎 2026-03-27 00:00:00
14. 大模型如何提高推理效率
今日头条 2026-03-28 00:00:00
15. DeepSeek V4用双轴稀疏架构 推理速度提升多少？
今日头条 2026-02-12 00:00:00
16. 阿里云除夕开源Qwen3.5
今日头条 2026-02-17 00:00:00
17. 混合专家模型驱动前沿 AI 模型在 NVIDIA Blackwell 系统上提速 10 倍
今日头条 2025-12-09 00:00:00
18. 【中文配音】快速推理
哔哩哔哩 2026-02-11 00:00:00
19. 在MacBook上运行397B大模型！Flash-MoE本地AI推理全教程
微信公众号 2026-03-31 00:00:00
20. 大模型应用
知乎 2026-03-09 00:00:00
21. 一文读懂大模型里的混合专家 MoE
微信公众号 2026-03-31 00:00:00
22. 混合专家模型（MoE）架构深度解析
微信公众号 2026-03-29 00:00:00
23. ERNIE 5.0 技术解读
微信公众号 2026-04-04 00:00:00
24. TensorFlow MoE 层实现机制 Q&A
知乎 2025-12-03 00:00:00
25. [从零开始学大模型]-MOE混合专家模型
知乎 2025-12-13 00:00:00
26. MOE架构原理& Transformer 层代码实现
知乎 2025-10-30 00:00:00
27. MoE架构真的是大模型的未来吗？现在用得怎么样了？
微信公众号 2026-03-30 00:00:00
28. MoE混合专家模型揭秘
知乎 2025-11-27 00:00:00
29. 大规模语言模型架构的范式演迁
知乎 2026-01-22 00:00:00
30. AI-MoE模型革命与硬件边界的重新划定
微信公众号 2026-03-23 00:00:00
31. DAC2026 | ExpertFlow
微信公众号 2026-02-27 00:00:00
32. Flash-MoE在MacBook上跑397B参数大模型
知乎 2026-04-02 00:00:00
33. DeepSeek MoE背后隐藏的硬核真相
微信公众号 2026-03-13 00:00:00
34. MoE模型总结笔记
知乎 2025-12-13 00:00:00
35. 程序员应该熟悉的概念(5)MoE
知乎 2026-01-02 00:00:00
36. 混合专家模型（MoE）
知乎 2026-02-19 00:00:00
37. 图解大模型，第六章
知乎 2026-03-28 00:00:00
38. Transformer 中的专家混合模型 (MoE)
知乎 2026-03-26 00:00:00
39. MoE 算子到底在做什么？我为什么觉得它比普通 FFN 难得多
知乎 2026-04-01 00:00:00
40. ICLR 2026 | 不是所有MoE模型都适合专家卸载！揭示MoE模型路由一致性的秘密
微信公众号 2026-01-29 00:00:00
41. 大模型｜DeepSeek MoE 混合专家系统介绍
微信公众号 2025-11-10 00:00:00
42. MoE 高效训练的 A/B 面:与魔鬼做交易,用「显存」换「性能」
https://m.php.cn/faq/1175522.html
43. Mixture-of-Experts:大语言模型的多路专家架构详解
https://cloud.tencent.com/developer/article/2486206
44. https://www.toutiao.com/article/7585457698582397459
今日头条
45. https://www.toutiao.com/article/7512785728502383115
今日头条
46. 大模型推理加速的基础
47. DeepSeek 源码解构:从 MoE 架构到 MLA 的工程化实现
48. https://www.toutiao.com/article/7491592669882237491
今日头条
49. weixin_47696437
50. MoE路由--expert choice routing
知乎
51. 大模型结构基础（六）
知乎
52. 干货！小显存如何训练大模型
知乎
53. 阿里甩出王炸!开源+降本+提效,AIGC要变天
新浪财经
54. MoE模型训练提速12倍,显存省三成:消费级显卡也能玩转专家混合架构
腾讯网
55. 中国最大开源MoE模型发布,打破AI应用成本壁垒
搜狐
56. 深度求索开源国内首个MoE大模型,技术报告、模型权重同时发布
57. 跳过88%专家,保住97%性能!MoE推理的正确玩法| CVPR’26
网易
58. 大模型的研究新方向:混合专家模型(MoE)
59. MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs-论文解读
知乎 2026-02-04 00:00:00
60. 大语言模型技术百科：原理、架构与工程实践，第九章：突破规模瓶颈：混合专家系统（MoE）
知乎 2025-11-05 00:00:00
61. 告别显存瓶颈：3D堆叠DRAM技术让MoE大模型推理效率飙升
微信公众号 2025-10-28 00:00:00
62. moe训练优化？这几个坑得知道！
小红书 2025-12-21 00:00:00
63. 异构计算颠覆LLM效率！KTransformers：CPU+GPU联合驱动，推理/微调成本直降50%
微信公众号 2025-11-20 00:00:00
64. 查找表专家混合模型(ICML2025)
微信公众号 2026-02-06 00:00:00
65. Megatron Core MoE 2025 更新一览与最佳实践
知乎 2026-01-30 00:00:00
66. 【IEEE TPAMI 2026】6.2倍极致压缩！Colab联合HKU、NUS、NVIDIA提出MC#：重新定义MoE大模型的高效部署
今日头条 2026-03-01 00:00:00
67. Mistral AI重磅开源！Mistral Small 4：三合一全能MoE大模型，指令、推理、编程能力全拉满
微信公众号 2026-03-18 00:00:00
68. 斯坦福大模型课MoE详解！第4课笔记|CS336
小红书 2025-11-07 00:00:00
69. MOE入端优化方案分析—EdgeMOE
知乎 2025-10-19 00:00:00
70. （2026|北大 & Deepseek，Engram 模仿模型深度增加，MoE，分词器压缩，多头哈希稀疏检索，mHC）基于可扩展查找的条件记忆：LLM 稀疏性
知乎 2026-01-25 00:00:00
71. 为什么说 R2 是中国大模型的分水岭？——从 MoE 底层架构看“暴力美学”的终结
知乎 2026-04-01 00:00:00
72. CS336 2025Spring Lec4
知乎 2025-11-15 00:00:00
73. 南大团队基于华为昇腾突破MoE模型优化瓶颈：推理速度提升2倍以上，显存占用减半
今日头条 2026-02-04 00:00:00
74. SonicMoE：MoE训练显存暴降45%，64张H100顶96张用！
微信公众号 2025-12-21 00:00:00
75. 大模型应用：不减性能只减负担：大模型稀疏化技术全景与实践.36
知乎 2026-03-08 00:00:00
76. 用8GB显卡微调70B大模型？XTuner：让AI训练“平民化”的魔法工具箱
微信公众号 2026-01-26 00:00:00
77. 昇腾赋能MoE模型无损显存优化获突破，推理延迟大幅降低，显存占用减半
今日头条 2026-02-04 00:00:00
78. 稀疏混合专家模型 (SMoE) 的崛起：从算法基础、去中心化架构到垂直领域应用的综述
微信公众号 2026-02-13 00:00:00
79. Mamba作者团队提出SonicMoE：显存减半，让MoE训练速度提升近2倍！
微信公众号 2025-12-21 00:00:00
80. 中山大学RevFFN：单张显卡就能全参数微调MoE大模型，内存节省49%！
微信公众号 2025-12-28 00:00:00
81. 💻 4G显存调大模型？EA让算力平民化。💻 4G显存也能调教大模型？EA黑科技让算力彻底平民化！ 🚀 还在为大模型微调的昂贵算力发愁吗？别再玩这场“金钱游戏”了！ ❌ 传统全量微调动辄需要 10 块 A100，是普通开发者根本玩不起的“显存黑洞”；哪怕是 LoRA，对入门级显卡也极其不友好，API 微调更是每小时狂烧百美金。 ✨ 救星来了！EA（Evolutionary Adaptation）技术正式宣告：大模型微调进入平民化时代！笔记本 4GB 显存也能跑出行业级效果。 💡 它的核心逻辑是“降维打击”：让大模型做百科全书，小模型做垂直专家。通过外设层实现任务适配，完全不需要修改大模型参数，即便闭源模型也能轻松搞定。 🏢 专属小模型层 (SSM) 像个“专业实习生”，能拦截 80% 的高频重复任务，从源头砍掉昂贵的 API 调用费用。 🧠 增强层 (ASSM) 则是“资深顾问”，专治大模型的盲区和易错点，确保在极端专业场景下的精度甚至反超原模型。 🚦 智能路由 (Router) 充当“交通指挥官”，通过三级分流机制实时调度算力，让每一分资源都用在刀刃上。 🔥 性能简直炸裂！相比 LoRA 方案，EA 的内存消耗降低了整整 28 倍，训练时间缩短 13 倍。你家里那台 RTX 2050 笔记本，现在就能承载 AI 定制任务！ 🌟 技术普惠的时代已经到来，算力不再是创新的门槛，让 AI 真正触手可及。 💬 你最想用这项技术帮你解决什么问题？是做垂直行业专家还是个人助理？评论区告诉我，一起开启 AI 定制时代！ #大模型 #微调 #人工智能 #AI技术 #程序员 #算力 #机器学习 #AIGC #深度学习 #黑科技
抖音 2025-12-22 00:00:00
82. 速读顶会论文：通过数据移动预测优化大规模MoE LLM服务
知乎 2025-12-27 00:00:00
83. moe架构的post-training难点与经验分享
知乎 2026-03-19 00:00:00
84. MoE vs Dense：三大热门AI工具（Codex/Cursor/Claude）的架构选择揭秘
微信公众号 2026-03-31 00:00:00
85. GLM-5本地部署实测：744B MoE模型能家用？真相比想象更扎心
今日头条 2026-02-16 00:00:00
86. 家里的 8GB 显卡别吃灰了！手把手教你在入门级 GPU 上流畅运行大模型
微信公众号 2026-03-22 00:00:00
87. 使用 MergeKit 创建专家混合
知乎 2025-10-19 00:00:00
88. MoE训练通信瓶颈怎么破？NVIDIA Hybrid-EP技术深度解析
知乎 2026-02-27 00:00:00
89. NVIDIA Megatron-Core MoE 技术
知乎 2026-03-12 00:00:00
已收藏
去我的收藏夹
值友5144394574
校验提示文案
值友5144394574
校验提示文案