稀疏性模型与MoE模型：谁才是未来AI可解释性的关键？全网观点大碰撞
25-12-19
精选参考来源
精选参考来源
1. OpenAI的可解释性突破-权重稀疏的Transformer具有可解释的电路结构
哔哩哔哩
2. OpenAI 新突破
小红书
3. AI黑箱，这次能打开吗？OpenAI新方法
微信公众号
4. OpenAI最新研究
小红书
5. OpenAI悄悄开源！揭秘大模型机理！
微信公众号
6. OpenAI 开源0.4B新模型，一文读懂稀疏电路（Circuit Sparsity）的前世今生
微信公众号
7. OpenAI把Transformer训练成「几乎全零」，黑箱首次被彻底揭开
微信公众号
8. Transformer大瘦身！OpenAI新突破
知乎
9. OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
微信公众号
10. OpenAI最新力作
小红书
11. 权重稀疏 Transformer
微信公众号
12. OpenAI又开源了！仅0.4B，给模型大瘦身
知乎
13. OpenAI 开源新模型
微信公众号
14. OpenAI 迈出关键一步
微信公众号
15. OpenAI试图在奇点前夜，抢回人类的控制权｜OpenAI新论文解读
微信公众号
16. OpenAI发布circuit-sparsity,模型被开盒
知乎
17. 251214-抓住AI思考的瞬间
哔哩哔哩
18. EMNLP2025 | 通研院揭秘MoE可解释性，提升Context忠实性！
今日头条
19. OpenAI Circuit Sparsity 技术详解
知乎
20. 深入探讨 Anthropic 的稀疏自编码器 ✍️
知乎
21. 打开人工大脑
知乎
22. 什么是“ 稀疏编码（Sparse Coding）“？
微信公众号
23. VAE 在山顶等 SAE
知乎
24. 斯坦福团队发现蛋白质2548个可解释特征，实现AI蛋白质模型从“黑箱”到“透明”
微信公众号
25. OpenAI 发布了“circuit-sparsity”
微信公众号
26. Nature Methods | InterPLM
微信公众号
27. 搞懂大模型内部机制
知乎
28. 大型语言模型中的可解释特征
知乎
29. 【敛海前沿】反身智能的稀疏-残差双轨原理
微信公众号
30. 北大浙大提出MoC
微信公众号
31. 笔记
知乎
32. 大模型优化技术
微信公众号
33. 震惊！AI的“黑箱”要被打开了？OpenAI最新研究，普通人也能看懂！
微信公众号
34. （2025|墨尔本 & 悉尼大学，VLM，思维链，可解释性，注意力头，认知 ）探究视觉语言模型中注意力头的作用
知乎
35. 低秩稀疏注意力解密
知乎
36. OpenAI又Open了一下
微信公众号
37. OpenAI最新论文
微信公众号
38. Anthropic可解释性研究（1）
知乎
39. NeurIPS 2025 Spotlight | 可解释高效注意力
微信公众号
40. 罗福莉担任通讯作者，小米 × 北大联合发布R3
微信公众号
41. 告别 Router Replay
知乎
42. LLM强化学习不稳定之谜，被Qwen团队从「一阶近似」视角解开
知乎
43. 阿里Qwen团队力作
微信公众号
44. AI 十大论文精讲（七）
微信公众号
45. 统一多模态大模型稀疏性分析
小红书
46. AlphaEarth Foundation: 稀疏标签驱动的全球高精度映射嵌入场模型
微信公众号
47. AI 大事件 | 稀疏编码
微信公众号
48. 极度稀疏参数模式可能是心智能力的关键
微信公众号
49. 【Nature子刊】开源！DRL效率革命！SINDy-RL
微信公众号
50. 告别“黑箱”
微信公众号
51. MoE
知乎
52. NeurIPS 2025 oral：SAE的｢特征吸收｣陷阱
知乎
53. AI天才少女罗福莉作为通讯作者，小米和北大联合发布R3：让MoE强化学习训练更稳定
知乎
54. GPT4之解释：1600 万维SAE -- Scaling and Evaluating Sparse Autoencoders
知乎
55. 【程序员必看】Transformer与MoE详解：大模型架构精要(建议收藏)
知乎
56. 小米：通过对齐训练与推理路由器稳定混合专家（MoE）模型的强化学习
微信公众号
57. 细说稀疏自编码器 SAE
知乎
58. 【ICML25】多模态交互可解释性框架I²MoE
小红书
59. 扩散语言模型有MoE版了！人大&蚂蚁从头训练LLaDA-MoE，将完全开源
微信公众号
60. 一文图解混合专家模型 (MoE)
知乎
61. 扩散语言模型上MoE了！LLaDA‑MoE官宣将完全开源：7B总参、1.4B激活、20T从零训练
微信公众号
62. OpenAI新论文拆解语言模型内部机制：用「稀疏电路」解释模型行为
微信公众号
63. Dense 模型与 MoE 模型
微信公众号
64. 认识MoE模型：小模型组合爆发大能量，AI效率的秘密武器！
知乎
65. 通过稀疏记忆层微调实现持续学习
小红书
66. ICML2025 | I2MoE：融合MoE框架提升多模态融合效果及可解释性
知乎
67. I²MOE：可解释的多模态交互感知专家混合模型
微信公众号
68. ICML 2025 | 多模态学习 |I2MoE: MoE结合信息论框架！增强多模态融合的可解释模型！
微信公众号
69. 解剖MoR1E：认知自适应混合专家模型的底层原理与内核设计
微信公众号
70. OpenAI稀疏电路模型可解释性突破的DIKWP视角解析
微信公众号
71. ST-MoE
微信公众号
72. MoE从概念到训练详解
知乎
73. nature methods | 通过稀疏自编码器基于蛋白质语言模型发现可解释特征
知乎
74. 华为：大模型高效稀疏推理新突破？
小红书
75. 动态MoE与渐进训练革新多模态大模型
小红书
76. 优于所有MoE压缩方法‼️蚂蚁联合提出MoBE
小红书
已收藏
去我的收藏夹