当前位置：
AIGC文章详情

马斯克盛赞月之暗面Kimi团队新架构：KDA与AttnRes实现Transformer底层革新

源自32位全网作者

03-17 14:52

精选参考来源

1
Kimi K2.5来了：杨植麟亲自站台，还能分身出100个Agent！

微信公众号 2026-01-27

2
3月16日，马斯克在X上转发并点赞了中国AI公司月之暗面旗下Kimi团队的一项新研究成果。他只写了一句很简短但很重磅的话：“Kimi的作品令人印象深刻”。简单来说，Kimi团队今天公布了一份技术报告，他们找到了一种让AI“大脑”变得更聪明、更省电的方法，而且这个方法效果真的很明显。我们平时用的大模型（比如ChatGPT这类AI），核心零件叫Transformer，它从2017年问世以来，基本靠一种叫“残差连接”的方式把每一层的信息加起来传给下一层。听起来挺简单，但层数一多就出问题了：最前面几层学到的东西越传越淡，最后几层为了让声音被听到，只能使劲“喊”，导致训练特别费力、也很不稳定。Kimi团队这次的做法就像给AI装了个“智能选择器”：不再简单粗暴地把前面所有层的信息平均加起来，而是让当前这一层自己去“挑”——“我现在最需要前面哪几层的信息？”它用一种叫注意力的机制（就像人脑关注重点的机制）来动态挑选和加权，把真正有用的信息放大，没用的信息自动压低。为了不让电脑内存爆炸，他们还把模型分成几个大块，块里面照旧简单相加，块和块之间才用这个聪明挑选的方式。这样既保留了原来的稳定性，又大大降低了计算成本。他们在自己48亿参数的模型上实测，结果非常亮眼：* 用同样的电（算力），模型学得更好，相当于白送了25%的算力提升* 回答问题时速度几乎没变慢（只多用了不到2%的时间）* 在好几个很难的考试里成绩明显提高，比如科学推理题高了7.5%，数学题高了3.6%马斯克这一句点赞，让很多人都开始关注这件事。不少人觉得，如果这个方法以后被证明靠谱、被大家广泛使用，可能会成为未来两三年里AI模型的“新标配”。

新浪微博 2026-03-16

全部
来源
内容由AI生成

精选参考来源

1. Kimi K2.5来了：杨植麟亲自站台，还能分身出100个Agent！

微信公众号 2026-01-27 00:00:00

2. 3月16日，马斯克在X上转发并点赞了中国AI公司月之暗面旗下Kimi团队的一项新研究成果。他只写了一句很简短但很重磅的话：“Kimi的作品令人印象深刻”。简单来说，Kimi团队今天公布了一份技术报告，他们找到了一种让AI“大脑”变得更聪明、更省电的方法，而且这个方法效果真的很明显。我们平时用的大模型（比如ChatGPT这类AI），核心零件叫Transformer，它从2017年问世以来，基本靠一种叫“残差连接”的方式把每一层的信息加起来传给下一层。听起来挺简单，但层数一多就出问题了：最前面几层学到的东西越传越淡，最后几层为了让声音被听到，只能使劲“喊”，导致训练特别费力、也很不稳定。Kimi团队这次的做法就像给AI装了个“智能选择器”：不再简单粗暴地把前面所有层的信息平均加起来，而是让当前这一层自己去“挑”——“我现在最需要前面哪几层的信息？”它用一种叫注意力的机制（就像人脑关注重点的机制）来动态挑选和加权，把真正有用的信息放大，没用的信息自动压低。为了不让电脑内存爆炸，他们还把模型分成几个大块，块里面照旧简单相加，块和块之间才用这个聪明挑选的方式。这样既保留了原来的稳定性，又大大降低了计算成本。他们在自己48亿参数的模型上实测，结果非常亮眼：* 用同样的电（算力），模型学得更好，相当于白送了25%的算力提升* 回答问题时速度几乎没变慢（只多用了不到2%的时间）* 在好几个很难的考试里成绩明显提高，比如科学推理题高了7.5%，数学题高了3.6%马斯克这一句点赞，让很多人都开始关注这件事。不少人觉得，如果这个方法以后被证明靠谱、被大家广泛使用，可能会成为未来两三年里AI模型的“新标配”。

新浪微博 2026-03-16 00:00:00

3. 再给老外亿点点震撼？Kimi杨植麟：啥时发K3? 奥特曼的万亿数据中心建成前

知乎 2025-11-12 00:00:00

4. 这帮90后中国工程师太牛了！460万美元干翻了1.4万亿 中国AI有自己的登顶策略！只用了1%的资源逆袭美国，又一个DeepSeek时刻的背后到底是什么？#AI #kimi #OpenAI

抖音 2025-11-13 00:00:00

5. 当OpenAI们还在拼谁烧的钱多 中国工程师已经在拼谁的方法更巧。#大咖观察 #红衣聊AI #OpenAI #kimi

抖音 2025-11-12 00:00:00

6. Kimi新篇章

知乎

7. 实测 Kimi 新品:前端设计,追平 Gemini 3 Pro

人人都是产品经理

8. Kimi发布最新模型k1.5,技术报告也干货满满

9. Docs

10. Kimi Linear技术报告解读：高效注意力架构的突破

微信公众号 2025-11-02 00:00:00

11. Kimi又开源了！KV缓存暴砍75%，解码速度飙6倍

微信公众号 2025-10-31 00:00:00

12. Kimi推出新注意力架构，首次超过全注意力架构

知乎 2025-10-31 00:00:00

13. Kimi K3最新消息深度解析

微信公众号 2026-01-29 00:00:00

14. NLP论文速读（Kimi最新出品） | Kimi Linear：用“线性+全局”混合注意力，把长文本算得快又准！

微信公众号 2025-11-05 00:00:00

15. 杨植麟团队最新技术报告曝光Kimi下一代模型架构 马斯克评价:令人印象深刻

腾讯网

16. 罕见！月之暗面杨植麟、周昕宇、吴育昕回应一切：打假460万美元、调侃OpenAI

知乎 2025-11-12 00:00:00

17. Kimi Linear Attention 技术报告

小红书 2025-12-09 00:00:00

18. 杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…

微信公众号 2025-11-12 00:00:00

19. Kimi Linear学习笔记：让Attention又快又好

微信公众号 2025-11-26 00:00:00

20. Kimi Linear：超越全注意力

小红书 2025-10-31 00:00:00

21. 杨植麟首次透露K3架构，从月之暗面到MiniMax，中国AI“开源派”打响全球突围战

今日头条 2025-11-13 00:00:00

22. 「随便聊聊」｜深夜三点的坦诚：月之暗面不谈PPT，只聊技术的生存逻辑

微信公众号 2026-01-29 00:00:00

23. 深夜3小时畅聊无藏！月之暗面三联创答疑23问，Kimi K3惊喜拉满

微信公众号 2026-01-29 00:00:00

24. 回应Claude蒸馏、硬刚GPT...Kimi 创始人们连夜答疑

微信公众号 2026-01-30 00:00:00

25. 国产大模型在多项基准测试中超越GPT-5

微信公众号 2025-11-15 00:00:00

26. 杨植麟带 Kimi 团队深夜回应：关于 K2 Thinking 爆火后的一切

知乎 2025-11-12 00:00:00

27. 谈一谈kimi linear attention，大型 KV 缓存需求降低达 75%，可以处理更长的上下文

微信公众号 2025-11-03 00:00:00

28. 我们问了问“通宵答疑”的杨植麟：460万美金和Kimi的纯文本路线

知乎 2025-11-16 00:00:00

29. 月之暗面创始人杨植麟：中国技术不仅要好用还要参与制定规则

今日头条 2026-01-11 00:00:00

30. K2 Thinking再炸场，杨植麟凌晨回答了21个问题

微信公众号 2025-11-14 00:00:00

31. Transformer祖制，被Kimi捅破了！谷歌大V高赞：Kimi触碰了十年没人敢碰的禁区！性能炸裂，相当于免费得1.25倍算力，网友：简直天才洞察

微信公众号 2026-03-17 00:00:00

32. 最新！大模型架构图对比！

微信公众号 2026-02-14 00:00:00

0
0
扫一下，分享更方便，购买更轻松
0评论

当前文章无评论，是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
查看更多

已收藏
去我的收藏夹