dots3长程智能体、连续运动理解 | 多模态大模型8.17日报_IT互联网

1. 如何评价小红书最新多模态大模型 dots3-note Preview ？

2. 8 月 16 日消息，小红书 8 月 14 日正式发布 dots3-note preview 开源大模型。华为官方昨日宣布，昇腾 Atlas 800 A3、Atlas 900 A3 SuperPoD 超节点已完成 dots3-note preview 的全量适配，并基于 vLLM Ascend 开源推理引擎提供完整的部署与推理能力。据介绍，作为 dots3 系列的首个版本，dots3-note preview 开源大模型以 280B 总参数量、16B 激活参数量构建能力底座，同时具备文本、视觉、语音全模态感知理解能力。官方表示，该模型在推理、Agent 及多模态感知等能力上进行了全面优化，在多项任务上取得了比肩国内外更大尺寸优秀模型的效果：另外，华为官方表示，在该模型发布当天，昇腾完成 0 Day 推理部署适配与性能优化，在完整保留模型文本、视觉、语音一体化全模态理解能力的前提下，实现了稳定运行与生成效率提升，为长程复杂任务场景智能落地提供算力支撑。昇腾此次关键适配及优化点如下：全模态端到端适配基于 vLLM Ascend 推理框架，完成 dots3-note preview 文本、图片、音频全模态能力的端到端适配，打通视觉编码器、音频特征提取与 LLM 主干推理的全链路，完整保留模型原生多模态理解与交互能力，支持图文、音文、视频等多模态输入场景的稳定推理。框架深度特性优化，释放硬件算力潜能FlashComm 通信优化：针对 AllReduce 后 RMSNorm、Dynamic Quant、MLA QKV 降维等列向无关算子的冗余计算问题，通过数学等价变换将 AllReduce 拆解为 ReduceScatter+AllGather，把列向独立算子前移至两阶段通信之间执行，彻底消除多卡间的重复计算，有效降低推理时延。FUSED_MC2 通算融合：启用 MoE 层 dispatch_ffn_combine 融合算子，将原本“dispatch、gmm1、swiglu、gmm2、combine”等通信的多段独立 Kernel 合并为单一大算子，通过减少 Kernel Launch 次数、通信与计算深度流水、中间张量不落盘等手段，显著提升 MoE 推理吞吐。MTP 投机推理原生支持，攻坚增量解码时延瓶颈针对增量推理阶段 TPOT（单 Token 生成耗时）这一吞吐核心瓶颈，在 vLLM Ascend 中原生适配 dots3-note preview 的 MTP 投机解码能力，通过单次前向并行生成多 Token 候选并校验复用，大幅减少解码前向次数，有效降低 TPOT、提升整体生成效率，更好满足高并发在线业务的低时延诉求。附相关链接如下：dots3-note preview 昇腾部署指导：网页链接dots3-note preview 模型权重：网页链接小红书官方技术 blog：网页链接

3. 北京大学、东华大学与华南理工大学的研究团队提出 UniMotion，将连续运动纳入统一多模态模型（Unified Multimodal Model，UMM），在同一框架中连接 Motion、Text 与 RGB。 ECCV 2026｜UniMotion：在统一多模态大模型中引入连续运动模态

4. 小米现在有了自研的 MIMO 大模型之后，超级小爱在澎湃 OS 4 上的体验有非常大的提升，无论是能力范围还是响应速度，给人的感觉都挺好。特别是小米的 MIMO 是一个多模态大模型，它能很好地识别图像等场景，非常实用。我觉得这也是小米现在相比于其他手机厂商最大的优势吧——拥有自研的且模型能力排名国模前几名的大模型能力。

5. AI短剧，内容创作新机遇AI多模态、视频生成等已开始成为传媒、电商等内容创作的刚需工具，当下深度渗透微短剧市场，通过按集解锁充值形成稳定C端现金流，实现商业化。今年一季度，全国上线微短剧12.8万部，AI作品占95%。AI如何影响未来的内容制作？有何趋势？ 1、AI重构短剧生产链路，内容创作商业模式变革传统短剧依赖编剧、摄像、演员、后期等完整团队，一部几十集短剧耗时数月、成本数十万元，中小团队难入局。AI视频生成技术介入后，拍摄环节不再依赖实景和演员，虚拟场景、虚拟角色直接生成，规避场地、档期、天气等限制；后期AI同步完成配音、音效、字幕、剪辑。 AI微短剧制作成本降幅超九成，制作周期从两个月缩至最快一周。创作门槛骤降，个人或小团队即可产出完整作品。2、视频生成模型迭代加速快手可灵AI、字节即梦AI等视频生成模型成为短剧工业化标配工具，2026年7月底至8月初，头部模型集中升级。字节Seedance 2.5于7月31上线，单次生成30秒，支持多轮延长；多模态参考最多50个素材；支持时间戳精准编辑音视频。 MiniMax H3于7月31日发布，之后开源，最长15秒，适用广告、品牌等商业场景；默认2K分辨率每秒价格不到主流1/3，768P分辨率下是主流模型720P的1/2。阿里Wan 3.0视觉生成模型于8月6日公测，单次30秒，除文本、图片、音频、视频外，首次支持多种形态文档输入。3、未来AI视频内容制作三大趋势，变现闭环一是降低AI内容的废片率，综合成本才是关键。综合成本=单价×时长×抽卡次数。当前单次抽卡可用率仅约20%，80%算力消耗在废片中。以Seedance 2.0为例，若命中率仅5%，一段15秒视频实际成本达300元。模型单价下降固然重要，但降低废片率、提升可用率是控制综合成本的关键。二是突破同质化，产能不等于爆款。一季度12.8万部AI短剧中，行业爆款率仅0.12%，超六成作品播放量不足百万次。同质化堆砌、叙事套路化持续消耗用户耐心。技术解决产能，却解决不了创意与叙事，优质内容成为投喂AI的稀缺资源。三是头部模型竞争升级，商业化加速。字节Seedance、快手可灵、阿里万相Wan、MiniMax H3等形成密集竞争带。比拼不止于技术，更在于营收兑现。未来，AI内容需要在成本、质量与商业化间找到最优平衡。近期预测“三大主线”，纷纷底部上涨。2024年9月预测“信心牛，科技牛”。AI科技是康波周期量级，不是风口，是海啸，十年向上趋势，未来两大波机会：卖铲子-超级应用。研究观点，非投资建议。

6. 为什么大模型一直往coding 方向发展？

7. 【AI短视频免费工具】AI全自动出片！小白做视频神器！Toonflow升级版来了！

dots3长程智能体、连续运动理解 | 多模态大模型8.17日报

精选参考来源