多模态Agent技能架构的核心逻辑与落地实践_服务软件

1. 《走近科学》——多Agent不是万能药，从玄学走向科学，来自Google和MIT的研究

2. 爆肝10亿token，我给OpenClaw做了个龙虾管家！【一键安装龙虾】

3. LangChain Agent 年度报告：输出质量仍是 Agent 最大障碍，客服、研究是最快落地场景

4. 如何评价 DeepSeek 刚刚上线的多模态「识图模式」？

5. 刚刚，高德ABot-Claw亦庄半马封神！具身智能的Harness来了

6. #谷歌Gemini3.5系列模型# 3.5 Flash强调的“接受任何形式输入”，才是多模态该有的样子。以前的AI经常偏科，文本强但看不懂图。现在你完全可以把一份PDF报告、一段脑暴的录音、几张白板随手拍的照片一股脑扔给它，让它综合所有信息给你出个执行方案。现实世界的信息本来就是多模态混杂的，谁能像人一样眼观六路耳听八方，谁才是真智能。3.5 Flash把输入和理解的瓶颈打穿了，加上处理多步骤复杂任务的能力，AI终于从实验室的跑分玩具，变成了能接住现实复杂度的数字大脑。下半场，拼的就是谁能在真实场景里落地。

7. 【阿里千问发布全模态大模型 Qwen3.5-Omni】阿里云正式发布新一代全模态大模型 Qwen3.5-Omni，在音视频理解、识别、交互等 215 项第三方测试任务中取得 SOTA，成为目前全球最强的全模态大模型之一。关键数据 1：支持 113 种语言及方言的语音识别，36 种语言及方言的语音生成；关键数据 2：可处理超 10 小时音频输入，自然涌现“音视频编程”能力（口述需求直接生成代码）；时间 / 价格：用户可于 Qwen Chat 免费体验，企业可通过阿里云百炼平台调用 API。从“多模态理解”到“音视频编程”，Qwen3.5-Omni 将 Vibe Coding 推向新阶段，大模型正从“对话工具”进化为“跨模态生产力平台”，加速渗透影视制作、内容审核等高价值场景。#阿里千问 #Qwen3.5 #全模态大模型 #AIGC#

8. 手把手彻底学会 Agent Skills！【小白教程】

9. 「Github一周热点113期」AI 终端工具、一站式黑客工具箱、Skill 包、Codex 生态技能和AI短视频

10. 万亿具身智能赛道，被数据卡住了

11. OpenClaw技术架构拆解，带你手搓一个最小的龙虾

12. AI汽车正式进入车载具身智能时代

13. 深度｜获红杉、微光创投种子轮投资，Floatboat 要让 Agent 住进你的工作现场，打造 Agent 协同办公网络

14. 独家｜VUI Labs宇生月伴完成数千万元天使+轮融资，同创伟业领投，打造行业领先的情感语音大模型和多模态Agent

15. 基于Flink的实时推理与Agent构建

16. Agentic Lake：阿里云 DLF 构建 AI 时代的全模态 Agent 底座

17. 多模态 RAG 才是企业知识库低效瓶颈的解药？

18. 在线模型推理部署经常遇到多模态模型支持复杂，性能难以优化的问题。vLLM-Omni 基于高效的 KV cache 管理和流水线执行，专为支持包括文本、图像、音频、视频等多模态输入的模型设计，轻松实现异构模型推理和服务。它不仅兼容主流 Hugging Face 开源模型，还支持分布式推理、多阶段流水线调度、流式输出和 OpenAI 兼容接口，极大提升多模态模型在线推理的效率和灵活性。GitHub: github.com/vllm-project/vllm-omni主要功能：- 支持多模态数据（文本、音频、图像、视频）处理与生成；- 支持非自回归架构如扩散模型，实现高效的并行生成；- 基于 KV cache 优化自回归模型推理性能；- 异构流水线抽象，管理复杂多阶段模型工作流；- 分布式推理支持，涵盖张量并行、数据并行和专家并行；- 开箱即用的 OpenAI 兼容 API 服务器，方便集成；- 支持主流平台（CUDA/ROCm/NPU/XPU），广泛适配多硬件环境。适合AI开发者、研究人员和企业级应用场景的多模态AI模型推理部署。#AI开发# #多模态模型# #机器学习#

19. 如何评价 DeepSeek 刚刚上线的多模态「识图模式」？

20. ICML'26 | 复旦新作OneTrackerV2：多模态视觉跟踪大一统！

21. 半夜，小米大模型团队发布小米全模态Agent基座大模型 MiMo-V2-Omni“MiMo-V2-Omni 专为现实世界中复杂的多模态交互与执行场景而生。从底层构建了融合文本、视觉、语音的全模态基座，并以统一架构将“感知”与“行动”深度绑定。这不仅打破了传统模型“重理解、轻执行”的局限，更让模型原生具备了多模态感知、工具调用、函数执行及 GUI 操作能力。”“MiMo-V2-Omni 可无缝接入各种 Agent 框架，实现了从理解到操控的跨越，大幅降低了全模态 Agent 的落地门槛。”“在正式发布之前，我们将一个早期测试版本以「Healer Alpha」为代号匿名上架 OpenRouter，没有任何宣传，纯粹让模型能力说话。结果调用量自然攀升至平台前列，并在 OpenClaw 测评榜单 PinchBench 上拿下均分第一，用户和基准双双给出了同一个答案。” “我们还与金山办公合作，将 MiMo-V2-Omni 接入 WPS Office，探索全模态智能体模型在日常生产力场景中的表现。”

22. 第二代 VLA 物理 AI 大模型原生多模态赋能，重构智驾决策核心✅ 自动驾驶问题本质上也就是物理 AI 问题，L4能力=模型x算力x数据x本体✅ 以物理 AI 为核心，打造原生多模态基座大模型，深度理解物理世界✅ 实现看、听、读一体化融合，视觉思维链推理效率飙升 32 倍✅ 支持语音、视觉、动作多模态输出，自主推演最优驾驶策略，筑牢舱驾联动底层#小鹏第二代VLA发布##小鹏智驾负责人称拉开差距的时刻到了#

23. Agent时代，为什么多模态数据湖是必选项？

24. 詹锟在GTC上分享了理想目前智能驾驶方面的进展，最关键的一点就是最新的VLA模型——MindVLA-o1，基于统一 Vision Language-Action 的 Omni 架构，在单一Transformer 中联合建模感知、推理与控制。主流 VLA 方案的三大局限性（图二）：①3D 视觉 / 语言与动作对齐慢，延迟高②长尾场景数据无法规模化，真实世界长尾场景数据采集成本高、覆盖不全，模型泛化差③VLA 模型参数量大、推理重，车端算力无法支撑那么理想的VLA是怎么解决这些的呢？（图三）多模态输入——MindVLA-o1-MoE（快慢思考）——Action Output（输出轨迹）※多模态输入采用了3D 视觉基座，让其自主学习 3D 空间语义，减少了大量的人工标注数据，模态在同一表示空间获得更高效率和更强泛化能力※新增了一个Latent World Model（潜在的世界模型），将输入图像编码为潜在 Token再重构，去模拟未来一下秒的关键画面，比如这一帧进去的图片是“右侧车辆偏压线”（To），模型预判 “右侧车辆会强行加塞”，并推理两种动作：直接行驶 → 碰撞（To+1）。立即左避 → 安全（T'o+1），去提前选择安全动作，解决长尾场景下的决策难题（图五）※多模态输入进模型以后，会将语言指令会通过3.2B的MOE模型，做 CoT（思维链）推理，同时将其他视觉特征则生成动作 Token，最后生成稳定轨迹，减少了推理时间※构建强化学习框架让模型在真实和模拟环境中学习探索，反补世界模型做技术升级，优化驾驶策略（图七）。※面向端侧大模型的软硬件框架，提升端侧 VLA 模型设计和部署效率,换句话说Orin和Thor还会有一定的升级（图八）自动驾驶系统逐渐演化成通用物理世界基础模型，可控制车辆、机器人和机械臂，还能生成具身智能训练数据，未来将驱动各种物理系统，具身 AI 将走进人们生活。#懒博小课堂##微博新知##理想L9#

25. 【谷歌新模型釜底抽薪：你还在费力拼接多模态AI吗？一个API已经终结了比赛】快速导读：谷歌发布Gemini Embedding 2，一个能将文本、图像、视频、音频、PDF统一编码的“怪物”。关键是，它原生理解音频视频，不再需要先转录成文字。对于构建RAG或多模态应用的团队来说，这意味着大量复杂的“管道工程”一夜之间被废弃了。---一家名为Sparkonomy的初创公司说，他们换上谷歌一个新模型后，系统延迟直接砍掉70%，图文和视频的语义匹配准确率从0.4飙升到0.8。另一家公司Mindlid说，在他们的对话式App里，新模型让关键信息的召回率提升了20%。这背后是谷歌刚刚发布的Gemini Embedding 2，一个可能让许多AI工程师感到后背发凉的模型。你以为的多模态AI应用，是不是还在做着痛苦的“拼接”工作？为文本、图像、音频分别找不同的Embedding模型，然后写一堆复杂的代码，祈祷它们能在同一个向量空间里奇迹般地对齐。最麻烦的是处理音频和视频，你得先用语音识别模型把它们转成文字，这个过程不仅慢，还丢失了大量的情感和背景噪音信息。现在，谷歌说这场“管道工”的游戏可以结束了。Gemini Embedding 2的核心是一次釜底抽薪式的升级：它将文本（最长8192 token）、图像、视频（最长120秒）、音频乃至PDF文档，全部压缩进同一个统一的向量空间。更致命的是，它能“原生消化”音频和视频，不再需要中间转录成文本的那一步。这意味着，过去那个由多个模型、转录服务和对齐策略组成的、摇摇欲坠的复杂系统，现在被一个干净利落的API调用取代了。你甚至可以在一次请求里同时塞进图片和文字，让模型理解它们之间的微妙关系。如果你是一个正在构建RAG（检索增强生成）系统的工程师，或者你的产品需要理解用户上传的各种格式文件，这件事的意义就很明确了：你用来“对齐”不同模态数据的那些“独门绝技”，正在迅速贬值。过去需要一个团队数周才能搭好的架构，现在可能一个下午就能搞定。旧的问题——我们如何费力地把不同模态的数据对齐？——已经消失了。新的问题是：当理解图像、声音和文字的成本几乎为零时，什么才是真正有价值的应用？---简评：谷歌这次没开发布会，但扔下的这颗“嵌入”炸弹，威力比一场发布会大得多。它没有创造什么全新的概念，而是把一件极其困难、极其昂贵的事情，变得极其简单、极其廉价。AI领域最大的颠覆，往往不是加法，而是这种让复杂性归零的除法。---ref: ai.google/discover/geminiblog/gemini-embedding-2/#AI创造营##人工智能#

26. 人工智能通识课：多模态大模型

27. 400 tokens/s 的多模态模型？ Step 3.7 Flash 实测。

28. 前理想智驾端到端负责人夏中谱老师拒了多家车企邀约，加盟具身智能公司无界动力至此理想智驾核心成员均转战该领域无界动力2025年成立，已完成三轮融资，正打造内嵌世界模型的端到端多模态大模型，且本月与生数科技达成战略合作，夏中谱老师的研究方向与该公司技术路径高度契合！#具身智能##理想汽车#

29. Hologres 4.0：面向 AI 时代的一站式多模态分析检索平台

30. 原生理解生成统一：商汤开源SenseNova U1，用统一架构终结「缝合怪」多模态

31. 2026年AI全景预测：迈向百亿智能体时代的20个发展趋势。 #大咖观察 #人工智能 #红衣聊AI #智能体 #AI时代

32. 余弦大佬总结的OpenClaw 极简安全实践指南本指南是面向 OpenClaw 本身（Agent-facing）的，不是传统“仅供人类手动操作”的加固清单。实际使用中，你可以把本指南直接发给 OpenClaw，让它先评估可靠性，再自动完成防御矩阵部署，大幅降低手工配置成本。地址：。github.com/slowmist/openclaw-security-practice-guide/这是一份专为高权限自主智能体 (OpenClaw) 量身定制的权威安全实践指南。它将传统“主机静态防御”的范式转变为“智能体零信任架构 (Zero-Trust Architecture)”，有效应对破坏性操作、提示词注入、供应链投毒和高危业务逻辑执行等智能体专属风险。 #how i ai#

33. 我用1400年前的三省六部制，搞了一套很酷的多Agent协同方案。

34. OpenClaw 源码架构深度解析

35. 小龙虾上理想汽车具身视频！StreamingClaw 是理想汽车 MindGPT-ov 团队提出的、兼容 OpenClaw的实时流式视频理解与具身智能统一智能体框架，能做到离线推理，长时记忆，实时交互主智能体管流式推理调度，两个子智能体分别扛长时记忆和主动交互，动态滑窗+KV缓存剪枝，低延迟跑长视频也不在话下。多模态层级记忆、时间/事件双主动提醒，直接落地感知-决策-行动闭环，车载疲劳监测、家庭机器人看护、AI眼镜辅导全都能用。目前看下来音频支持还有待提升，以后的大趋势肯定是全模态统一智能体，感觉离想哥说的“汽车将从工业时代的交通工具，进化成为人工智能时代的空间机器人”又更进了一步#理想汽车##OpenClaw##具身智能#

36. Lance 把图像与视频的理解、生成和编辑全部融合进一个 3B 活跃参数的原生统一多模态模型，真正做到「一套框架」搞定。不仅支持高质量文生图、文生视频，还能进行图像/视频编辑与多模态理解，性能直逼更大模型。GitHub：github.com/bytedance/Lance Hugging Face：huggingface.co/bytedance-research/Lance主要功能：- 3B 活跃参数，原生统一框架，支持图像/视频理解、生成、编辑- 文生图、文生视频、图像编辑、视频编辑一键完成- 多轮一致性编辑与智能视频生成，效果出色- 支持图像/视频问答、详细描述等理解任务- 提供 Gradio Demo 与完整推理脚本，开箱即用支持本地运行（需 ≥40GB VRAM），同时已有 MLX 社区移植版本可在 Apple Silicon 上运行。

37. OpenClaw 架构与运行流程解析

38. Agent 构建变轻、Agent 架构变薄，什么正在变厚？

39. 面向实战的多模态数据生成与表征技术创新

40. 商汤SenseNova U1：原生多模态统一模型的范式革命

41. 给建议的AI看够了？MiniMax Agent 让AI直接住进你的电脑干活#AI新星计划#科技改变生活#MiniMAX#Agent#minimaxagent

42. 半年扩张快十城百店！机器人主理人成城市新标配。不搞花架子，技术落地服务百姓#AI新星计划#科技改变生活#具身智能#银河通用#银河太空舱

43. 今天，也就是2026年2月14日，字节跳动正式发布了豆包大模型2.0（Doubao-Seed-2.0）系列，官方宣布这标志着豆包全面进入Agent时代。这次更新推出了Pro、Lite、Mini、Code全家桶，Pro版直接对标国际顶尖如GPT-5.2和Gemini 3 Pro，亮点非常多，尤其在真实世界复杂任务执行、多模态理解和性价比上表现出色。🔻主要亮点和技术升级1. 全面进入Agent时代，强化复杂任务执行 豆包2.0不再只是聊天工具，而是针对大规模生产环境系统优化，重点提升高效推理、多模态理解和复杂指令执行能力。能更好地处理多约束、多步骤、长链路任务，已具备支撑高价值真实世界任务的基础。比如长链推理、Agent规划执行等场景更可靠。2. 多模态能力大幅跃升，多数基准达SOTA 视觉与多模态理解更稳健：对复杂文档、表格、图表、图形、视频的解析显著提升，视觉推理、空间理解、运动理解、长视频分析等达到全球顶尖水平。Pro版在大多数视觉基准测试中拿最高分，支持更精准的多模态感知和推理。3. 数学、推理、编程能力顶尖 Pro旗舰版在IMO、CMO数学竞赛和ICPC编程竞赛中取得金牌成绩，在Putnam基准上超越Gemini 3 Pro，数学和推理能力已达世界顶尖。能尝试埃尔德什级数学问题、完成研究级科学编程任务。4. 全家桶灵活适配不同场景 • Pro：深度推理 + 长链路任务，旗舰对标GPT-5.2 / Gemini 3 Pro。 • Lite：性能与成本平衡，综合能力超上一代主力豆包1.8。 • Mini：低时延、高并发、成本敏感场景。 • Code（Doubao-Seed-2.0-Code）：专为编程优化，与TRAE（字节AI编程工具）结合效果最佳，支持多模态输入（如代码截图）。5. 超强性价比，token成本降低约一个数量级 Pro版定价（32k以内输入）：3.2元/百万tokens，输出16元/百万tokens，远低于Gemini 3 Pro和GPT-5.2。Lite输入仅0.6元/百万tokens。在长链路、大规模推理场景下，成本优势巨大，真正让AI“用得起”。🔻体验入口：豆包App切换“专家”模式即可用Pro对话；Code版已在TRAE接入；开发者可通过火山引擎API调用全系列。🔻简单对比GLM-5和通义千问（Qwen）M2.5等同批更新模型从当前公开信息看（2026年2月数据），豆包2.0 Pro在数学/推理（如IMO金牌、Putnam超Gemini 3 Pro）和多模态视觉理解上特别突出，整体对标国际前沿（如GPT-5.2级别），推理链更长、Agent执行更稳。GLM-5（智谱）和通义千问M2.5（阿里）也在2025-2026密集迭代，强在中文理解、工具调用和生态（如通义千问的图像/视频生成），但字节这次强调真实世界复杂任务+极致性价比，Pro在部分国际基准领先，成本更低一个量级，适合企业级大规模部署。国内模型差距已非常小，各有侧重：字节更偏多模态+Agent执行，阿里/智谱在开源和通用中文生态更成熟。你已经试过豆包2.0了吗？我是用了，确实好。字节真是国产之光。🚀 #豆包大模型2.0发布# #HOW I AI# #过个有AI年#

44. 小米正式开源首代机器人VLA大模型Xiaomi-Robotics-0，成为国产具身智能领域的重要突破。#小米发布机器人基座模型#这款47亿参数的基座模型，核心采用“大脑+小脑”MoT混合架构，以VLM负责多模态理解、DiT实现平滑动作生成，打造出感知-决策-执行的高效闭环，成功解决传统VLA模型推理延迟、真机动作卡顿的行业痛点，还能在消费级显卡上实现实时推理，大幅降低硬件门槛。模型在LIBERO、CALVIN、SimplerEnv三大主流仿真测试中刷新多项SOTA，真机部署后在积木拆解、叠毛巾等高难度任务中也展现出优异的手眼协调性，兼顾多模态理解与精细动作控制的能力尤为亮眼。此次开源不仅为开发者提供了优质的技术底座，更将加速具身智能技术的落地与行业协同创新，让机器人向物理世界的智能交互又迈进一步。#雷军公布小米机器人最新进展#

45. 关于小鹏的第二代VLA跟大家唠两句。小鹏汽车多次强调第二代VLA确实是底层重构的智驾大动作，不是L2小改，而是直奔L4的原生多模态架构。#何小鹏直播第二代VLA推送#第二代VLA去掉语言转译层，从视觉/多模态直接到动作的端到端架构，推理更快、信息损耗更少。第二代VLA即将大规模推送，找机会替朋友们体验一下。小鹏汽车

46. 300个AI员工齐上岗，Agent 集群真的好用……吗？

47. 「具身原生」元年！专访原力灵机汪天才，解析具身智能的「PyTorch时刻」

48. 双Agent合体！Hermes + OpenClaw 协同部署实战指南

49. 阿里发布新一代全模态大模型Qwen3.5-Omni。采用混合注意力MoE架构，通过1亿小时音视频+文本跨模态预训练。原生支持113种语言识别（含毛利语等濒危语种）和36种语音生成。创新ARIA语音技术实现音色稳定，对话响应延迟降低至人类感知无差别水平。核心突破: 视听理解:在DailyOmni等215项基准测试中全面超越Gemini 3.1 Pro ，嘈杂环境语音识别错误率下降42%（WenetSpeech基准）视频内容结构化描述准确率达98.1%（RealWorldQA测试）。 Vibe Coding进化:非预设能力，在百万级多模态指令微调中自然涌现。普通用户可前往Qwen Chat免费体验，开发者和企业可通过阿里云百炼平台调用Qwen3.5-Omni模型Plus、Flash、Light三种API。

50. Agent 语音交互如何更稳、更快？一次高并发消息链路优化实践

51. AI Agent 进入深水区：我们为何需要一套全新的“AI 原生”可观测标准？

52. 亚历山大王终于发版了Muse Spark，这是Meta Superintelligence Labs（MSL）的首个模型，通过九个月从头重构AI基础设施、架构和数据管道实现，现已全面驱动Meta AI。Muse Spark为原生多模态推理模型，支持工具使用、视觉思维链和多代理编排；新增Contemplating模式可并行多代理推理，处理复杂科学问题时性能与Gemini Deep Think、GPT Pro相当。模型在预训练、强化学习和测试时推理上展现可预测扩展规律，经过前沿风险、安全对齐和对抗鲁棒性评估，未来将开放私人API预览并计划开源后续版本。

53. CHORUS：面向专业翻译的多智能体协同框架

54. Nature | 统一的多模态学习模型

55. 比剥橘子也能拿世界冠军？别笑，这是全球最难的机器人“高考 #科技改变生活 #玩个很新的东西 #人工智能 #具身智能#机器人

56. 全网最新电子榨菜：看机器人上班 #科技改变生活 #玩个很新的东西 #人工智能 #具身智能 #机器人

57. 华为乾崑智驾WEWA架构太懂驾驶者需求了！三模态感知全覆盖，搭配原生空间推理模型和多专家机制，感知、反应、决策全在线。50%时延降低+20%通行效率提升+70%事故率下降，数据说话才够硬！实际体验下来丝滑又安心，这波技术升级直接拉满驾驶安全感，智驾下半场华为是真的稳！#华为乾崑#

58. 具身数据才是最大「金矿」，数据云商城来了：全球首个、百亿级、全模态、高自由度

59. FT：DeepSeek V4 下周发布，原生多模态。和华为、寒武纪联合优化，估计是优化了 V4 在对应平台上的推理性能。现在多模态最强的还是 Gemini，Demis 的表述很有说服力： Gemini 从第一天起就是多模态的，这是有原因的。它是机器人所需要的…这些多模态模型能理解世界的物理学，再加上一点机器人微调，就能处理动作、电机控制以及机器人所需的规划…AGI 必须理解物理环境、周围的物理世界…为了让机器人工作…理解你的物理上下文。期待 DeepSeek V4 的多模态性能！

60. 理想发布了下一代自动驾驶基础模型MindVLA-o1我们通过视频可以看出，MindVLA-o1对于简单的场景也有更多的分析，因为MindVLA-o1通过3D空间理解、多模态思考、统一行为生成、闭环强化学习（Closed-loop RL）和软硬件协同设计（Hardware–Software Co-Design），构建面向物理世界智能的自动驾驶基础模型为什么我说理想的车未来只是具身机器人的其中之一呢，因为统一的原生多模态VLA模型MindVLA-o1，可控的多模态世界模型MindSim，以及强化学习基础设施RL Infra，该框架不仅服务于汽车，也可扩展至机器人及各种物理系统，也就是说这套系统后面可以用在更多形态的机器人上周高冷Ace7的微博视频

61. 自动化所 × 小米！MeanFuser：极速单步多模态轨迹生成，纯规划434FPS（CVPR'26）

62. 互联网技术问：OpenClaw并不是什么“觉醒的生命”。它没有什么自我意识，但它有执行能力。它不会思考人生，但它会为目标拼命找路径。这个工具可以自动生成视频吗？答：是的，OpenClaw可以自动生成视频。它本身是一个开源的AI智能体框架，虽然没有自我意识，但拥有强大的执行能力，可以通过安装特定的技能（Skills）来调用各种视频生成工具和模型。主要实现方式：视频生成技能：安装如evolink-video等技能，可以直接调用Sora 2、Kling 3.0、Veo 3、Seedance 2.0等主流视频生成模型，通过自然语言指令生成短视频素材。编程式视频创作：通过remotion-best-practices技能，基于React框架进行参数化视频制作，适合批量生成教程、数据可视化等内容。全流程自动化：OpenClaw可以串联多个步骤——从脚本生成、视频剪辑、字幕添加，到多平台发布，实现端到端的自动化视频生产。正如你所说，OpenClaw确实不是“觉醒的生命”，而是一个高效的“数字员工”。它不会思考人生，但会为目标拼命找路径，这正是它在视频生成等重复性、流程化任务中的价值所在。

63. B 站下一代多模态数据工程架构的落地实践

64. Alluxio AI——构建面向具身智能数据闭环的高性能数据访问平台

65. 《扣子开发 AI Agent 智能体应用》031-实战案例：多 Agent 模式开发旅游助手

66. 走出屏幕，多模态智能硬件如何承载最新的 AI？

67. 以数据驱动赋能 AI 多模态创新

68. 中国AI王炸！具身智能把欧美甩到身后！ #大咖观察 #红衣聊AI #人工智能 #具身智能#ai新星计划

69. 从车到机器人：一颗“超强大脑”如何重塑万物 #科技改变生活#AI新星计划#地平线#具身智能#智能辅助驾驶

70. 华为乾崑智驾这套 WEWA 架构是真有点东西：三模态感知把路看得明明白白，原生空间推理模型+多专家机制上来就把“感知全、算得快、决策准”拉满，开起来就像有个冷静的老司机在旁边护航。时延更低、通行更顺、事故率还降，是真用数据和体验说话，不整花活儿。智能驾驶最后拼的就是两个字——安心。#华为乾崑#

71. 多模态预训练，才是大模型的下一条路？Yann LeCun、谢赛宁参与

72. 理想发布的 StreamClaw 是为自己铺了一条 Agent 路线几个比较重要的点，一个是流式推理，会比离线模型更实时地响应，交互更自然，更适合做主动 AI 和具身体。一个是面向多设备多模态，可以接入车辆、手机、眼镜、机器人等摄像头数据，可以深度整合硬件形成 AI 具身体。比如可以做出比如人靠近车主动招呼的能力，同样是基于多设备和摄像头还有流式推理的框架实现的。理想的 Livis 未来的可能性从这里面能看出一些端倪。感兴趣的可以去看看网页链接#42how##理想#

73. 【#曝月之暗面拟上线多模态新模型#】 1 月 1 日晚间，《科创板日报》发布消息称，月之暗面计划今年 1 月或 3 月上线多模态新模型，型号或为 K2.1/K2.5。据了解，Kimi K2 是月之暗面旗下首个万亿参数开源模型，去年 7 月 11 日发布。Kimi K2 是一款具备更强代码能力、更擅长通用 Agent 任务的 MoE 架构基础模型，总参数 1T，激活参数 32B。随后，Kimi K2 在同年 9 月发布更新，上下文长度扩展至 256K，并带来更快的 API。同年 11 月，月之暗面开源 Kimi K2 Thinking 模型，该模型是月之暗面基于“模型即 Agent”理念训练的新一代 Thinking Agent，原生掌握“边思考，边使用工具”的能力。在人类最后的考试（Humanity's Last Exam）、自主网络浏览能力（BrowseComp）、复杂信息收集推理（SEAL-0）等多项基准测试中表现达到 SOTA 水平，并在 Agentic 搜索、Agentic 编程、写作和综合推理能力等方面取得全面提升。（IT之家）

74. Dify 官方上架 Nacos A2A 插件，补全双向多智能体协作能力

75. SenseNova U1开源：8B参数原生统一多模态模型

76. 2026英伟达GTC：“推理之王”的ASIC反击战与Token经济学【硅谷101】

77. #科技先锋官# 机器人与实时视觉正成为全球AI技术竞争的核心赛道，各大巨头纷纷加码布局，通过多模态融合、本地智能升级、感知体系革新等创新方向。这一突破重构了机器人的环境交互能力，更拓宽了AI在工业、服务、创意等多场景的应用边界。谷歌DeepMind的创新极具颠覆性，其发布的Gemini Robotics On-Device实现关键突破，成为首个可在机器人本地独立运行的视觉-语言-动作模型。该模型摆脱云端依赖，通过多模态Transformer架构深度融合视觉感知、语言理解与动作规划，响应延迟降至毫秒级，弱网环境下任务完成率超95%，仅需50-100次演示即可让机器人掌握新技能，大幅降低部署成本。OpenAI则通过o3/o4-mini多模态模型强化视觉推理能力，实现带图思考的全新范式，能将图像融入思维链，在医学影像分析、图表解析等场景展现出精准的视觉理解与决策能力。腾讯鸿元发布HY-Motion 1.0模型，聚焦高质量3D动作生成，为机器人实时动画、虚拟人交互提供核心技术支撑；智谱与华为联合推出的GLM-Image多模态模型，在图像生成与编辑领域实现突破，适配国产算力底座。行业层面，DA3通用三维视觉模型、OpenTau开源训练平台等技术的涌现，正推动机器人视觉从多模型适配走向统一化、轻量化，为产业规模化落地奠定基础。#AI生活指南##一条vlog回顾2025##AI创造营# 种斌Marco的微博视频

78. 华为乾崑技术大会上首发舱内 AI 多模态感知系统，行业唯一的三合一舱内AI多模态感知，摄像头、红外摄像头加星闪传感器，鸿蒙座舱可识别后排乘客胸腔起伏，这样就不用再开车时时刻关注儿童情况了。#华为乾崑开启内外双融合感知时代#

79. 在线自动化操作手机和电脑界面太繁琐？试试阿里巴巴的开源项目 Mobile-Agent，一个强大且多平台支持的 GUI 智能体系列。Mobile-Agent 集成了多模态视觉感知与跨平台操作能力，覆盖手机、PC、浏览器等环境。最新的 GUI-Owl 1.5 系列基于 Qwen3-VL 打造，支持桌面和移动端 GUI 自动化，达到 20+ GUI 基准测试的 SOTA 性能，具备高级的上下文记忆、工具调用和长程任务执行能力。项目亮点：- 支持多模态（视觉+语言）输入，理解复杂界面元素；- 跨平台操作涵盖安卓手机、Windows PC及网页版；- 多智能体协同，支持规划、任务管理和动态反思；- 开源模型权重已发布于 HuggingFace，方便试用和二次开发；- 丰富的演示视频覆盖股票查询、文档编辑、机票火车票比价等真实场景；- 提供在线 Demo，无需本地部署即可体验；适合研发人员、AI爱好者、自动化测试工程师使用，助力构建智能交互式自动化系统。GitHub：github.com/X-PLUG/MobileAgent 让 Mobile-Agent 帮你智能操控手机与电脑界面，实现真正意义上的多模态 GUI 自动化！#AI创造营##人工智能#

80. 无论是智驾还是具身智能，都需要强大的基座模型做支撑，小米HAD辅助驾驶基于自研的 MiMo-Embodied 具身基座模型，引入XLA认知大模型，首次打通了辅助驾驶和具身机器人这两大任务，多模态输入下让车辆能更好的学习、理解复杂场景。目前小米HAD辅助驾驶在新SU7上全系搭载，还是免费的，迭代速度越来越快，体验也会越来越好。#小米新SU7辅助驾驶升级XLA大模型#

81. 长城发布了 ASL 2.0，ASL 全称是 Agent of Space & Language。简单理解，这是一个以长城 Coffee EEA 4.0 中央计算 + 区域控制器电子电气架构为硬件底座，AI OS 为底层软件，整合了智能座舱 Agent 和辅助驾驶 VLA Agent 的多智能体架构。

82. 想提升Agent浏览能力？一定要试试web-access技能

83. 自动驾驶从感知、模仿进入认知推理阶段，小米发布的 OneVL 核心解决 “看清后如何快速精准决策” 难题。它采用 XLA 路线，创新 Latent CoT，将推理载体从语言转向视觉时空结构。通过双模态 latent token、双解码器监督、一步式推理三大设计，推理延迟压至 0.24 秒，速度较显式 CoT 最高提升 2.3 倍，精度更优。OneVL 统一 VLA、世界模型与潜空间推理，还具备语言 + 视觉双维可解释性，已在多项基准达 SOTA。虽面临算力、长尾场景等挑战，但为自动驾驶落地提供关键方案，且可拓展至机器人等领域。

84. 【#小米大模型接入全球顶级框架#，限免两周】今日，小米宣布，Xiaomi MiMo-V2系列正式支持全球顶级Agent 框架Hermes Agent，实现官方集成接入。小米还邀请全球开发者试用，限免两周。限免周期：4月8日-4月22日24:00（北京时间，UTC+8），共两周。使用方式：更新Hermes Agent至最新版，通过Nous Portal即可免费调用Xiaomi MiMo-V2 Pro、Omni、Flash模型。小米表示，Hermes Agent是当前全球最受关注的开源Agent框架之一，具备自我进化、跨会话记忆能力，从任务中自动积累经验，越用越强，支持全平台通信。MiMo-V2-Pro凭借1M长上下文能力、原生强工具调用与深度Agent专项优化，全面适配Hermes自进化技能、跨会话记忆、复杂工作流等核心特性。MiMo-V2-Omni则进一步拓展感知边界，融合图像、视频、音频与文本的全模态理解能力，助力Hermes Agent成为真正看得见、听得懂、能动手的全模态Agent。网页链接

85. Gemini 3 Flash 来了！谷歌说这波升级幅度挺大 #AI前沿速递# 模型主打一个轻快，适合那些不需要长链条思考、追求效率的对话场景。Gemini 3 Flash 的亮点还在于多模态能力，它能更快地处理视觉、音频等输入，把「看见、听见、理解」串成一条相对顺滑的链路，适合需要即时反馈的交互场景。

86. 阿里云发布多模态交互开发套件

87. 给Agent的技能库装上眼睛 👀

88. 告别纯文本技能！MMSkills赋予视觉Agent多模态操作记忆

89. 给 Agent Skills 装上眼睛！上交大&小红书提出多模态技能框架MMSkills，让视觉智能体不再盲目点击

90. 给 LLM Agent 的技能库加上可“看见”的知识

91. MMSkills

92. 解决纯文本技能缺陷！通用视觉智能体的多模态技能框架【大模型智能体】

93. 从零构建多模态 AI 智能体

94. 字节跳动李航博士新作

95. 多模态Agent 开发实战营跨感知智能体搭建教程学习 - 哔哩哔哩

96. 多模态Agent开发实战营教程资料 - 哔哩哔哩

97. 【完结】多模态与视觉大模型开发实战 - 2026必会

98. DeepSeek-V4 多模态技术架构

99. MOSS-VL 开源发布

100. Agentic多模态智能体工具调用。🌍 研究背景

101. 哈工大&腾讯

102. Agent技术前沿

103. Kimi K2.5

104. 12.25-2｜长视频多智能体多轮推理；MLLM四个层级的空间能力评估；sam audio

105. 迈向可信多模态推理

106. CVPR 2026 多模态视觉智能全景梳理

107. OPPO全新开源端侧移动AI Agent！统一多模态感知交互的X-OmniClaw 【AI Agent开源技术解读】

108. 具身智能VLA多模态感知技术综述

109. 联汇科技CEO赵天成

110. DeepSeek 大范围开放“识图模式”，正式跨入图文交互时代

111. 你真的会用 AI 吗？MCP、Skill、多模态一文讲透！

112. Kimi K2.5

113. 技术专栏 | 具身智能中的多模态感知融合

114. 物理AI觉醒

115. 具身智能研发研发平台技术解析

116. 从游坊回顾｜第204讲

117. 物理AI带火数据基建！多模态数据是具身智能源头活水

118. VISION洞察

119. 荐读 | 基于多模态大模型的具身智能体研究进展与展望，附下载

120. 极客多模态 Agent 开发实战营课程资源

121. GPT-6要来了!200万token+原生多模态,Agent开发迎来新纪元

122. 医疗健康AI Agent

123. 多轮多步跨模态Agent Bench诞生

124. 私域转化率翻倍的秘密

125. 无密聚客2026 AI大模 deepseek Rag Agent LLM 多模态教程学习

126. 李飞飞《Agent AI》

127. [80页中英文报告]李飞飞最新Agent AI 重磅研究报告

128. 多模态AI Agent

129. LumeValley智能体开发怎么样？多模态Agent落地实战参考

130. 腾讯云智能体开发平台-- Multi-Agent？

131. 2026年多模态Agent开发实战全景

132. 2.4-1|多模态大模型与视觉语言动作

133. XSkill多智能体持续进化协作方案

134. Agent Swarm

135. LatentUM:解锁交互式跨模态推理新范式

136. DMLR: 动态多模态潜在推理

137. SketchThinker-R1: 草图式多模态推理范式

138. LatentUM: 潜在空间统一模型跨模态推理

139. 多模态模型真懂图吗？南洋理工揭开模态鸿沟！

140. 解决多模态推理文本瓶颈！LatentOmni用统一隐空间实现SOTA音视频跨模态理解【多模态大模型】【AI论文解读】

141. OpenClaw 架构讲解

142. OpenClaw 架构深度拆解

143. 从架构视角全面拆解OpenClaw（小龙虾）

144. OpenClaw四层架构，每层负责啥？

145. 拆解openClaw的架构

146. 人大高瓴团队

147. 蚂蚁集团全模态代码算法团队自研多模态Web GUI Agent

148. 英伟达眼中的开放式AI Agent 世界

149. [ICLR 2026] M3-Agent

150. 解决多模态智能体工具滥用！准确率涨了，工具调用还减少90% 【大模型 Agent】

151. 为什么LLM agent总是过度自信？

152. Agentic-MME

153. 突破文生图天花板！Agent赋能多模态生成，6B小模型逆袭超越SOTA！

154. 多模态Agent开发实战营

155. 多模态AI智能体开发｜数商云：技术架构与行业应用深度解析

156. 首个全流程验证的多模态智能体基准！Agentic-MME揭秘智能体能力到底带来了什么【多模态大模型】

157. 多模态Agent开发实战营技术要点资料学习 - 哔哩哔哩

158. 多模态 Agent 实战开发-极客时间\n - 哔哩哔哩

159. 多模态Agent技术介绍

160. 多模态 Agent 发展路线（Paper 向）

161. 通义千问发布多模态智能体多项测试超GPT-5.4

162. Skills技能安装以及OpenClaw必备技能清单 - 哔哩哔哩

163. AI测试｜解析Open-AutoGLM：AI驱动的手机Agent及其在移动应用测试领域的实战应用

164. 【AI论文解读】小模型赢过大模型！原生智能体框架GEMS，让6B多模态生成模型超越SOTA闭源模型

165. 多模态 Agent 开发实战营教程资料 - 哔哩哔哩

166. AI Agent架构拆解：ReAct\u002FTool Use\u002FPlanning三大核心机制｜Data老毕

167. 性能超Gemini 2.5 Pro！基于在线数据演化的原生视觉多模态深度搜索智能体【AI多模态智能体】

168. AI 智能客服能否支持多模态交互？能读懂用户图文语音、视频提问？

169. 多模态Agent开发实战2026教程学习 - 哔哩哔哩

170. Gemini多模态与Agent工具链，正在改写AI落地

171. 在多模态智能体（Agent）迈向通用大模型的过程中，“记忆”成为最关键的瓶颈。

172. Omni Model vs Pipeline 多模态实现方式优劣对比报告 - 哔哩哔哩

173. 多模态深度研究智能体。📚arXiv: 2601.12346 ✏️标题: MMDeepResearch-Bench: A Benchmark for Multimodal Deep Research Agents 📄一句话介绍：首个评估多模态深度研究智能体端到端证据整合能力的综合基准 🎯动机现有深度研究智能体的评测基准主要关注纯文本任务或简短的多模态问答，缺乏对端到端多模态证据整合能力的系统评估。研究发现，"优秀的文本生成并不保证证据的忠实使用"——模型可能生成流畅的研究报告，却未能正确引用和整合视觉与文本证据。如何全面评估深度研究智能体在多模态场景下的研究报告生成质量，成为亟待解决的问题。 💡方法与创新本文提出MMDeepResearch-Bench（MMDR-Bench），包含140个专家设计的任务，覆盖21个领域，每个任务包含图文证据包。基准强调"报告式综合与显式证据使用"，要求模型将视觉内容与文本声明正确关联。核心创新为三维度评估框架：（1）FLAE（Formula-LLM Adaptive Evaluation）评估报告整体质量；（2）TRACE（Trustworthy Retrieval-Aligned Citation Evaluation）评估引用与证据的对齐程度；（3）MOSAIC（Multimodal Support-Aligned Integrity Check）检验文本-视觉一致性。 📊实验设计本文在MMDR-Bench上评测25个前沿模型，包括GPT-4、Claude、Gemini系列、Qwen3-VL等。实验揭示了关键发现：生成质量、引用规范性和多模态一致性之间存在显著权衡，多模态完整性成为当前深度研究智能体的核心瓶颈。该基准为多模态研究智能体的发展提供了系统化评测标准。 #智能体#AI #科研 #大模型 #知识前沿派对

174. Google 把 Gemini 塞进搜索和办公：AI 入口战，变成 Agent 体系战

175. 技术进展之Intern-S1科学领域多模态大模型的训练数据构造策略

176. Openclaw技能Top30排行榜，每一个都是装机必备

177. Agent是真热啊！加上多模态热上加热，绝对还能发更多顶会论文！

178. 如何利用大模型技术有效地在跨模态场景下进行数据处理、知识融合和智能推理

179. 都2026了，该做多模态Agent了！

180. 多模态Agent开发, 打造企业级AIGCAgent平台教程资料 - 哔哩哔哩

181. 多模态，这个方向真的nice

182. XSKILL：多模态智能体从经验与技能持续学习

183. 多模态Agent开发实战营（高清同步）\n - 哔哩哔哩

184. 多模态大模型-LLAVA

185. MAny：跨模态知识合并，多模态持续微调新范式

186. Agent技能越搭越乱？缺这套分层逻辑给agent写了一堆技能文件，刚开始还行，任务一复杂就乱套——调用顺序错乱、直接卡死。换模型也没用。根本原因不在模型，在技能组织方式。硅谷团队GooseWork提出了一套原子-分子-化合物三层架构，用分层替代平铺网络。 #Agent架构 #技能分层 #SkillGraph #AI工作流 #开发效率

187. 让AI Agent自己「画」界面：Mind Lab开源Macaron A2UI

188. 多模态“对齐”到底有哪些范式？从显式对齐到隐式对齐

189. Openclaw学习笔记（4）技能SKills

190. OpenClaw每日学习笔记：OpenClaw技能详解

191. 多模态AI模型的深度解析与应用场景 ■ 模型核心功能 1.多模态深度推理：能处理文本、图像和视频等数据，实现类人认知。典型如分析菜品图识别食材，再结合用户偏好推荐餐品。 2.复杂任务拆解：可自动分解多阶段工作。例如解析甘特图生成风险评估，输出技术可行性报告。 3.智能体协同能力：采用Agent架构，支持工具调用与多角色协作。在售后场景中自主完成工单派发、技师调度和客户回访。 ■ 技术特点 1.混合专家架构：基于2000亿参数MoE设计（激活200亿），保持强推理能力同时降低训练成本，适合工业部署。 2.极速响应：通过计算图优化实现20毫秒延迟，满足高并发需求。 3.双轨学习机制：融合结构化数据与生成式训练，既能处理数学推导，也能完成创意写作。 4.成本优势：比传统方案省80%GPU资源，token定价低一个数量级，大幅降低企业成本。 ■ 应用场景 1.企业服务：自动生成商业报告（30分钟完成2天工作）、优化广告策略、测试应用交互流程。 2.生活助手：规划旅行路线、跨模态点餐系统、语音控制多设备协同。 3.专业领域：辅助医疗影像诊断、动态评估金融风险、教育问题求解系统。 4.创意生产：与文生图模型协同，完成从脚本到视觉设计的全流程内容生产。

192. 构建多模态 AI Agent 的噩梦：我为什么放弃了直连所有模型

193. MCR新框架：MLLM跨模态推理

194. 【ICLR 2026】多模态对齐新范式！DecAlign：解耦异构特征，分层搞定跨模态融合

195. 💡 ICLR 2026 | CMU × Meta 提出：MetaVLA 统一视觉语言行动（VLA）模型的高效后训练全新范式

196. 工具生态重构内容生产：AI Agent+多模态工具，解锁下一代创作可能

197. ICLR 2026 | 跨模态对齐还在硬拉齐？DecAlign 提出“先解耦，再对齐”新范式

198. 多模态训练又塌陷了？蔡达成团队力作 PMRL：奇异值极大化技术，开启 Any-to-Any 自由对齐新高度|TPAMI 2026

199. AI Agent+多模态工具，重构内容创作新生态

200. TPAMI 2026|NUS提出PMRL框架：无需“锚点”，突破多模态对齐瓶颈！

201. 多模态大模型学习笔记（七）——多模态数据的表征与对齐

202. 12篇最新多模态agent论文分享

203. Gemini In Chrome: 最强 AI 浏览器 #gemini #chrome #AI浏览器 #AI #agent Google Chrome 深度集成 Gemini AI 带来的重大变革，标志着浏览器正演变为一个智能代理工作站。核心亮点包括专为任务执行设计的 Auto Browse 自动浏览功能，以及能够实时处理网页内容的 Gemini 侧边栏。技术层面，Google 推出了 Prompt API 和 LiteRT-LM 框架，支持在本地运行 Gemini Nano 模型，并辅以 Nano Banana 实现强大的多模态图像编辑。虽然这些功能提升了跨应用的办公效率，但同时也引发了关于数据隐私、安全暴露以及用户对 AI 权限控制的广泛讨论。

204. 在Android大会上，Google发布了Gemini Intelligence，将Gemini的功能深度融合进Google硬件里。Agent支持自动化跨应用和Chrome的多步骤任务，一键填写表单，使用Rambler将口述想法转化为精炼文本，构建自定义小部件，以及更多功能。图源：i冰宇宙

多模态Agent技能架构的核心逻辑与落地实践

精选参考来源