纯文本RAG已够用？多模态RAG只在30%以上视觉内容场景值得升级_服务软件

1. Claude 1M正式上线，价格一分不涨，搭了半年RAG的人崩了。。。

2. RAG、LangChain、Agent 到底有什么关系？

3. RAG退潮，“文件系统+grep”回归，智能体检索的返璞归真

4. 讲几个我猜到有趣的地方： G-ASD 如果去比较严谨的描述，确实是一个原生的多模态大模型的能力这里我并非想去提世界模型ORVLA 这个描述，而是把他定义成原生多模态大模型 WHY？ 1️⃣：浩瀚千里有做多模态模型的研发资源【牛马】 2️⃣：吉利自己有基座模型【这个优势很大】，已经验证了有自己的基座模型后优势非常的大 3️⃣：大算力芯片能支持原生多模态大模型在车端跑推理。所以，Q1 能看到一些G-ASD有趣的进展 @极氪大白浩瀚千里的工程能力还是相当扎实的，这个没得黑 @KerryMrX 一方面是能力上限的提升【芯片的构架迭代】另一方面是场景的扩展【对于语义信息的理解】大幅度提升了驾驶场景的理解能力 @影总Tim @叫海啸的猫 @首席线索官 @碳粉说电池不胖 @40在跑车 @july再发呆 @本诺__ #极氪8X将首发新一代辅助驾驶技术##极氪[超话]##懒博小课堂##听不懂的汽车黑话#

5. 构建多模态AI应用通常需要整合数据库、文件存储、向量检索和各种模型服务，流程复杂且难以维护。Pixeltable 是一个开源的Python库，提供声明式的数据基础设施，统一管理图像、视频、音频、文档等多模态数据，支持增量存储、转换、索引和检索，简化了AI应用的数据管道搭建。它通过“表+计算列”的方式，让你用Python代码定义数据处理和AI推理流程，自动增量计算，支持内置的模型集成（如OpenAI、Hugging Face、YOLOX等），还具备内置向量搜索和版本控制功能。主要特点：- 统一多模态数据接口，轻松管理图片、视频、音频、文档等多种类型；- 声明式计算列，数据更新时自动增量执行，节省计算成本；- 内置多种AI模型推理接口，支持对象检测、文本生成、图像分类等；- 支持向量索引和语义搜索，结合结构化查询强大灵活；- 完整的数据版本管理，支持时间旅行查询；- 集成多种格式导出和机器学习工具链对接。适合需要快速搭建多模态AI数据处理和推理流水线的开发者和团队，安装简单，只需`pip install pixeltable`即可开始使用。GitHub仓库：github.com/pixeltable/pixeltable 官方文档：docs.pixeltable.com用Pixeltable，专注AI模型和业务逻辑，告别复杂繁琐的数据架构。

6. 如何系统性的学习RAG、Agent、MCP?

7. 单图生成高精度模型-现在的AI建模有多离谱丨HITEM3D-2.0

8. 【保姆级】RAG智能体终极方案：n8n+Google File Search，零门槛搭建高精度RAG工作流！

9. 深度解析RAG、LangChain、Agent三者间的关系（附应用案例+大厂内部资源合集）

10. github.com/Tencent/WeKnora 腾讯开源的RAG框架：WeKnora（维娜拉）这是一款基于大语言模型的文档理解与语义检索框架，专为结构复杂、内容异构的文档场景而打造。框架采用模块化架构，融合多模态预处理、语义向量索引、智能召回与大模型生成推理，构建起高效、可控的文档问答流程。核心检索流程基于 RAG（Retrieval-Augmented Generation）机制，将上下文相关片段与语言模型结合，实现更高质量的语义回答。核心特性 🤖 Agent模式：支持ReACT Agent模式，可调用内置工具检索知识库、MCP工具和网络搜索，通过多次迭代和反思给出全面总结报告 🔍 精准理解：支持 PDF、Word、图片等文档的结构化内容提取，统一构建语义视图 🧠 智能推理：借助大语言模型理解文档上下文与用户意图，支持精准问答与多轮对话 📚 多类型知识库：支持FAQ和文档两种类型知识库，支持文件夹导入、URL导入、标签管理和在线录入 🔧 灵活扩展：从解析、嵌入、召回到生成全流程解耦，便于灵活集成与定制扩展 ⚡ 高效检索：混合多种检索策略：关键词、向量、知识图谱，支持跨知识库检索 🌐 网络搜索：支持可扩展的网络搜索引擎，内置DuckDuckGo搜索引擎 🔌 MCP工具集成：支持通过MCP扩展Agent能力，内置uvx、npx启动工具，支持多种传输方式 ⚙️ 对话策略：支持配置Agent模型、普通模式模型、检索阈值和Prompt，精确控制多轮对话行为 🎯 简单易用：直观的Web界面与标准API，零技术门槛快速上手 🔒 安全可控：支持本地化与私有云部署，数据完全自主可控 #科技先锋官#

11. RAG（检索增强生成）会不会消亡呢？

12. 刚刚，智谱开源GLM-4.6V系列模型啦~GLM-4.6V系列型号包括两个版本：GLM-4.6V (106B)，一个为云端和高性能集群场景设计的基础模型，以及GLM-4.6V-Flash (9B)，一个针对本地部署和低延迟应用优化的轻量化模型。GLM-4.6V在训练中将其上下文窗口扩展到128k个token，并在同类参数规模的模型中实现了视觉理解的最先进性能。最关键的是，我们首次集成了原生的函数调用功能。这有效地弥合了“视觉感知”和“可执行动作”之间的鸿沟，为现实世界商业场景中的多模态智能体提供了统一的技术基础。GLM-4.6V 引入了几个关键特性：🌟原生多模态功能调用：实现了原生的视觉驱动工具使用。图像、截图和文档页面可以直接作为工具输入，而无需文本转换，同时视觉输出（如图表、搜索图像、渲染页面）会被解释并融入推理链条中。这闭环了从感知到理解再到执行的过程。🌟交错图文内容生成：支持从复杂的多模态输入中创建高质量的混合媒体内容。GLM-4.6V 处理多模态上下文—涵盖文档、用户输入和工具检索的图像—并合成与任务相关的连贯交错图文内容。在生成过程中，它可以主动调用搜索和检索工具来收集和策划额外的文本和视觉素材，生成丰富、视觉化的内容。🌟多模态文档理解：GLM-4.6V 能处理最多128K个标记的多文档或长文档输入，直接将富格式页面作为图像进行解读。它可以共同理解文本、布局、图表、表格和图形，从而准确理解复杂、以图像为主的文档，而无需将其先转换为纯文本。🌟前端复刻与视觉编辑：从 UI 截图重建像素级准确的 HTML/CSS，并支持自然语言驱动的编辑。它通过视觉检测布局、组件和样式，生成干净的代码，并通过简单的用户指令应用迭代的视觉修改。#科技先锋官#

13. 在线模型推理部署经常遇到多模态模型支持复杂，性能难以优化的问题。vLLM-Omni 基于高效的 KV cache 管理和流水线执行，专为支持包括文本、图像、音频、视频等多模态输入的模型设计，轻松实现异构模型推理和服务。它不仅兼容主流 Hugging Face 开源模型，还支持分布式推理、多阶段流水线调度、流式输出和 OpenAI 兼容接口，极大提升多模态模型在线推理的效率和灵活性。GitHub: github.com/vllm-project/vllm-omni主要功能：- 支持多模态数据（文本、音频、图像、视频）处理与生成；- 支持非自回归架构如扩散模型，实现高效的并行生成；- 基于 KV cache 优化自回归模型推理性能；- 异构流水线抽象，管理复杂多阶段模型工作流；- 分布式推理支持，涵盖张量并行、数据并行和专家并行；- 开箱即用的 OpenAI 兼容 API 服务器，方便集成；- 支持主流平台（CUDA/ROCm/NPU/XPU），广泛适配多硬件环境。适合AI开发者、研究人员和企业级应用场景的多模态AI模型推理部署。#AI开发# #多模态模型# #机器学习#

14. 阿里系连发两个重磅AI产品，暗藏了一个巨大的机会#灵光 #蚂蚁灵光 #阿里巴巴 #全模态通用AI助手 #AI工具

15. 谷歌Gemini Embedding 2公测跨模态检索打通首个原生多模态嵌入模型，简单说就是把文本、图片、视频、音频、PDF全扔进同一个向量空间，搜东西一下子打通了最实用的几个场景：文字搜图片，输入“雨中撑伞的复古女孩”，模型能从图库里精准拉出匹配图；图片搜视频，上传一张“街头滑板少年”照，能找出相似动作片段；还能图片搜图、图文混搜文档召回率和精度比之前方案高不少，电商找同款、短视频推荐、法律档案检索都能用现在Gemini API和Google AI Studio可以直接调用gemini-embedding-2-preview，输出维度可调，延迟低，支持100多种语言。想升级多媒体搜索或RAG的，可以直接上手测，效果确实香#谷歌gemini#

16. Agent时代，为什么多模态数据湖是必选项？

17. LightRAG 是一个简单快速的检索增强生成（RAG）框架，能高效整合大语言模型和知识图谱，实现智能文档查询和多模态检索。LightRAG支持多种存储方案（PostgreSQL、Neo4j、Milvus、OpenSearch等），支持文本、图片、表格、公式等多种数据类型的端到端知识抽取和问答。还提供了丰富的示例代码、Web UI，以及支持OpenAI、Hugging Face、Ollama、Azure OpenAI等多家模型接口。项目亮点：- 灵活配置的多存储架构，适合大规模知识管理；- 深度集成知识图谱构建与编辑，支持实体关系管理、知识图谱可视化；- 支持强大的Reranker提升检索效果；- 新增RAG-Anything，打通多模态文档处理与检索能力；- 丰富文档导入格式、引用功能、缓存管理、Token使用统计；- 还支持Langfuse可观测性监控以及RAGAS自动评价指标。无论是科研研究、企业知识库、还是多模态智能问答应用，LightRAG都提供了极具扩展性且高性能的解决方案。GitHub：github.com/HKUDS/LightRAG#在线智能检索# #知识图谱# #大语言模型# #RAG# #开源项目#

18. 1688 生成式检索的探索与业务落地

19. FT：DeepSeek V4 下周发布，原生多模态。和华为、寒武纪联合优化，估计是优化了 V4 在对应平台上的推理性能。现在多模态最强的还是 Gemini，Demis 的表述很有说服力： Gemini 从第一天起就是多模态的，这是有原因的。它是机器人所需要的…这些多模态模型能理解世界的物理学，再加上一点机器人微调，就能处理动作、电机控制以及机器人所需的规划…AGI 必须理解物理环境、周围的物理世界…为了让机器人工作…理解你的物理上下文。期待 DeepSeek V4 的多模态性能！

20. 今天，也就是2026年2月14日，字节跳动正式发布了豆包大模型2.0（Doubao-Seed-2.0）系列，官方宣布这标志着豆包全面进入Agent时代。这次更新推出了Pro、Lite、Mini、Code全家桶，Pro版直接对标国际顶尖如GPT-5.2和Gemini 3 Pro，亮点非常多，尤其在真实世界复杂任务执行、多模态理解和性价比上表现出色。🔻主要亮点和技术升级1. 全面进入Agent时代，强化复杂任务执行 豆包2.0不再只是聊天工具，而是针对大规模生产环境系统优化，重点提升高效推理、多模态理解和复杂指令执行能力。能更好地处理多约束、多步骤、长链路任务，已具备支撑高价值真实世界任务的基础。比如长链推理、Agent规划执行等场景更可靠。2. 多模态能力大幅跃升，多数基准达SOTA 视觉与多模态理解更稳健：对复杂文档、表格、图表、图形、视频的解析显著提升，视觉推理、空间理解、运动理解、长视频分析等达到全球顶尖水平。Pro版在大多数视觉基准测试中拿最高分，支持更精准的多模态感知和推理。3. 数学、推理、编程能力顶尖 Pro旗舰版在IMO、CMO数学竞赛和ICPC编程竞赛中取得金牌成绩，在Putnam基准上超越Gemini 3 Pro，数学和推理能力已达世界顶尖。能尝试埃尔德什级数学问题、完成研究级科学编程任务。4. 全家桶灵活适配不同场景 • Pro：深度推理 + 长链路任务，旗舰对标GPT-5.2 / Gemini 3 Pro。 • Lite：性能与成本平衡，综合能力超上一代主力豆包1.8。 • Mini：低时延、高并发、成本敏感场景。 • Code（Doubao-Seed-2.0-Code）：专为编程优化，与TRAE（字节AI编程工具）结合效果最佳，支持多模态输入（如代码截图）。5. 超强性价比，token成本降低约一个数量级 Pro版定价（32k以内输入）：3.2元/百万tokens，输出16元/百万tokens，远低于Gemini 3 Pro和GPT-5.2。Lite输入仅0.6元/百万tokens。在长链路、大规模推理场景下，成本优势巨大，真正让AI“用得起”。🔻体验入口：豆包App切换“专家”模式即可用Pro对话；Code版已在TRAE接入；开发者可通过火山引擎API调用全系列。🔻简单对比GLM-5和通义千问（Qwen）M2.5等同批更新模型从当前公开信息看（2026年2月数据），豆包2.0 Pro在数学/推理（如IMO金牌、Putnam超Gemini 3 Pro）和多模态视觉理解上特别突出，整体对标国际前沿（如GPT-5.2级别），推理链更长、Agent执行更稳。GLM-5（智谱）和通义千问M2.5（阿里）也在2025-2026密集迭代，强在中文理解、工具调用和生态（如通义千问的图像/视频生成），但字节这次强调真实世界复杂任务+极致性价比，Pro在部分国际基准领先，成本更低一个量级，适合企业级大规模部署。国内模型差距已非常小，各有侧重：字节更偏多模态+Agent执行，阿里/智谱在开源和通用中文生态更成熟。你已经试过豆包2.0了吗？我是用了，确实好。字节真是国产之光。🚀 #豆包大模型2.0发布# #HOW I AI# #过个有AI年#

21. 多模态大模型这条赛道，阿里云开始拉速度了

22. DeepSeek发布多模态论文又连夜删除

23. 构建智能问答系统通常面临查询模糊、上下文理解不足和检索效率低等挑战。Agentic RAG for Dummies 是一个基于 LangGraph 的极简 Agentic RAG（检索增强生成）框架，帮助你用最少代码快速搭建具备会话记忆和人机交互查询澄清能力的生产级系统。项目集成了多功能模块： - 会话记忆，保持对话上下文连贯； - 智能查询澄清，自动重写或请求补充信息； - 分层索引，实现精准且上下文丰富的检索； - 多Agent并行处理复杂多问； - 灵活切换多种大语言模型（Ollama、OpenAI、Google Gemini 等）； - 开箱即用的 Gradio Web UI，方便体验和部署。无论是学习 RAG 基础，还是构建定制化应用，这个项目都提供了交互式笔记本和模块化代码两条路径，助力开发者快速上手并轻松扩展。 GitHub 地址：github.com/GiovanniPasq/agentic-rag-for-dummies/ 主要功能： - 支持多轮对话记忆，提升问答自然度； - 自动拆分复杂查询，精准定位信息点； - 结合关键词稀疏向量和语义稠密向量的混合检索； - 内置人机交互机制，避免误解或无效查询； - 多Agent协同，提升复杂问题的处理效率； - 完整文档处理流水线，支持 PDF 转 Markdown 及分块索引。适合 AI 研究者、开发者及数据工程师，轻松构建满足生产需求的智能问答系统。

24. 面向实战的多模态数据生成与表征技术创新

25. 半夜，小米大模型团队发布小米全模态Agent基座大模型 MiMo-V2-Omni“MiMo-V2-Omni 专为现实世界中复杂的多模态交互与执行场景而生。从底层构建了融合文本、视觉、语音的全模态基座，并以统一架构将“感知”与“行动”深度绑定。这不仅打破了传统模型“重理解、轻执行”的局限，更让模型原生具备了多模态感知、工具调用、函数执行及 GUI 操作能力。”“MiMo-V2-Omni 可无缝接入各种 Agent 框架，实现了从理解到操控的跨越，大幅降低了全模态 Agent 的落地门槛。”“在正式发布之前，我们将一个早期测试版本以「Healer Alpha」为代号匿名上架 OpenRouter，没有任何宣传，纯粹让模型能力说话。结果调用量自然攀升至平台前列，并在 OpenClaw 测评榜单 PinchBench 上拿下均分第一，用户和基准双双给出了同一个答案。” “我们还与金山办公合作，将 MiMo-V2-Omni 接入 WPS Office，探索全模态智能体模型在日常生产力场景中的表现。”

26. 学习大语言模型（LLM）常常需要翻阅各种资料，Transformer架构论文难懂，训练部署细节零散，还要搜集多模态和微调教程。《The Big Book of LLMs》把LLM全知识体系整合到一本手册，提供从基础到部署的完整指南。不仅详解Attention机制和现代Transformer架构，还覆盖多模态LLM、非Transformer模型、指令微调、模型训练与部署，甚至包括文本生成和分词原理。网站：book.theaiedge.io- 详尽讲解Transformer原论文《Attention Is All You Need》和自注意力改进；- 介绍多模态LLM及超越语言模型的应用；- 剖析LLM文本生成、从词到Token的过程；- 指导指令训练、Scaling训练和Fine-Tuning技巧；- 部署LLMs的最佳实践；- 涵盖非Transformer语言模型前沿。由Meta前ML Tech Lead Damien Benveniste撰写，支持在线阅读，适合AI工程师、研究者和创业者深入掌握LLMs。#AI创造营##大语言模型#

27. 北大王选所彭宇新团队：让多模态大模型学会「看懂物种关系」丨CVPR 2026

28. 商汤科技正式发布并开源了与南洋理工大学 S-Lab合作研发的全新多模态模型架构 —— NEO，为日日新 SenseNova 多模态模型奠定了新一代架构的基石。作为行业首个可用的、实现深层次融合的原生多模态架构（Native VLM），NEO 从底层原理出发，打破了传统“模块化”范式的桎梏，以“专为多模态而生”的创新设计，通过核心架构层面的多模态深层融合，实现了性能、效率和通用性的整体突破，重新定义了多模态模型的效能边界，标志着人工智能多模态技术正式迈入“原生架构”的新时代。发布了头条文章：《商汤发布 NEO 架构，重新定义多模态模型效能边界》 #大模型 # 商汤科技##ai# 商汤发布 NEO 架构，重新定义多模态模型效能边界

29. 盘点一周AI大事(1月25日)｜Agent进化，24小时打工开源视频制作Remotion Skills爆火 AI编程开无限画布插件Pencil 爆火开源个人AI助手Clawdbot爆火，7成24小时给你打工 Claude Excel插件更新 Runway上线最强视频模型Gen 4.5 字节开源视频参考模型OminiTransfer 字节发布最强数字人直播模型FlowACT R1 阿里开源最强文本转语音模型Qwen 3 TTS #AI新星计划 #抖音知识年终大赏 #AI #OpenAI #AIGC

30. 阿里开源 Qwen3.5-Plus！三千行代码一次生！超强性能超低价格

31. 养虾人才懂有多香！之前一直用Claude，虽然能力强但价格高，国模套餐要么模型少、要么全模态不全，体验差太多。这次小米直接比肩Anthropic，一次付费就覆盖全模态全家桶，把MiMo-V2-Pro、Omni等全系列打包，能力完全不落下风，甚至在智能体、多模态理解上还有自己的优势。可以预见，MiMo开了这个头，后续国产模型肯定也会跟进做全模态包月套餐，之前大家吐槽的用不起终于要改善了。从套餐搭配到实际能力，MiMo这波性价比算是拉满了

32. SenseNova U1开源：8B参数原生统一多模态模型

33. 多模态——感官融合还是概念堆叠

34. 以数据驱动赋能 AI 多模态创新

35. Cell Reports Medicine（一区|IF=10.6）|人工智能驱动的多模态成像集成在神经精神疾病精准医疗中的应用

36. AI 术语通俗词典：准确率（分类）

37. 谷歌闷声放大招：Gemini 3 Pro 的多模态杀手锏曝光

38. 罗福莉加入后，其智能从语言迈向物理世界理念刚落地，我米推出Miloco大模型+智能家居方案，基于摄像头和自研大模型，可识别家居场景并联动设备，结合AIoT优势，有望引领行业进入大模型时代，未来多模态及硬件升级将助力人车家全生态发展，值得期待！

39. #马斯克感慨Seedance2.0发展快#马斯克对字节跳动Seedance 2.0的发展速度公开感慨，标志着中国自研AI视频生成模型已跻身全球第一梯队，折射出全球AI视频赛道进入加速迭代期，也印证了中国在多模态AI领域的工程化落地能力实现关键突破。这一现象说明，中国AI企业在算法架构、多模态融合、时序一致性控制等核心环节已形成自主能力，Seedance 2.0凭借多镜头叙事、音画同步、混合模态输入等特性，实现从“片段生成”到“完整作品创作”的跨越，获得国际科技界认可。与OpenAI Sora、Google Veo 3等海外同类模型相比，Seedance 2.0优势突出：多镜头连贯性与角色一致性表现优异，生成效率与商用适配性更强，贴合短视频、短剧等场景落地；劣势在于单段生成时长、极端物理场景还原度仍有提升空间，算力依赖度较高，全球生态开放与适配性有待完善。后续发展上，Seedance 2.0将持续向更长时长、更高画质、更强物理仿真方向迭代，加速在内容创作、影视工业化、数字营销等领域落地。全球AI视频模型将呈现技术竞争与场景互补格局，中国模型依托场景优势快速迭代，海外模型聚焦基础研发，共同推动行业走向成熟。同时，合规治理与技术创新协同推进，将成为AI视频产业健康发展的核心方向。马斯克感慨seedance2.0发展快

40. 千问 vs ChatGPT：4大功能实测！到是更好用的AI助手！Qwen3能否战胜GPT-5.1？

41. 多模态预训练，才是大模型的下一条路？Yann LeCun、谢赛宁参与

42. DeepLearning AI 吴恩达和 Qdrant新出的这个课程看起来不错。Multi-Vector Image Retrieval，大多数检索系统都会用单个向量来表示一张图像。本课程展示了多向量方法如何将图像表示为由多个嵌入组成的集合，从而在文本查询与视觉内容之间实现更加精确的匹配，尤其适用于包含图片、图表和文字混合的文档场景。1 实现 ColBERT，用于理解多向量文本检索与延迟交互式搜索。2 应用 ColPali，从图像中提取更细粒度的局部补丁级特征，用于精细视觉检索。3 通过量化与池化技术优化内存占用。4 将多向量输出转换为 MUVERA 向量，以加速基于 HNSW 的快速检索。5 构建一个多模态 RAG 流水线，用于检索并推理复杂的视觉类文档。访问：learn.deeplearning.ai/courses/multi-vector-image-retrieval/#ai创造营# #程序员#

43. 从RAG到记忆工程：AI长期记忆系统的架构范式与落地瓶颈

44. 谷歌发布 Gemini3Pro，其多模态理解和生成能力将如何影响 AI 发展？

45. 商汤SenseNova U1：原生多模态统一模型的范式革命

46. 走出屏幕，多模态智能硬件如何承载最新的 AI？

47. 混合研究新路径：多模态内容分析法及其应用

48. Nature | 统一的多模态学习模型

49. 阿里妈妈发布MUSE：用多模态搞定十万级超长行为序列，并开源Taobao-MM数据集

50. AI如何走进工厂、矿山与餐饮店？百度一见多模态专业视觉管理平台给出了答案：管安全：风电场隐患响应从“小时级”压缩至“分钟级”，人效提升300%+。管工序：装备制造新员工误操作率降低90%，AI自动拆解“老师傅”经验。管质量：金相分析分割准确率达95%，解决传统检测痛点。管服务：助力餐饮头部品牌量化千家门店服务，满意度提升至98.2%。基于云边端协同架构，让专业级视觉AI应用门槛骤降，真正实现“用得起、效果好”。视觉管理的新基础设施已经到来。#赋能千行百业 ##百度一见 ##视觉管理# #多模态大模型# 思想聚焦的微博视频

51. 小米MiMo大模型终于出了Token包月套餐，把全模态全家桶一次包圆。之前按量调用Token消耗太迷，尤其养虾跑多模态时烧得飞快。这次小米直接明码标价，整顿Token市场。MiMo-V2-Pro本来就是OpenRouter周榜第一，单周消耗破3万亿，性能对标Claude但价格只有五分之一。实力加诚意都到位了，养虾的兄弟们可以安心薅！

52. 小米正式开源首代机器人VLA大模型Xiaomi-Robotics-0，成为国产具身智能领域的重要突破。#小米发布机器人基座模型#这款47亿参数的基座模型，核心采用“大脑+小脑”MoT混合架构，以VLM负责多模态理解、DiT实现平滑动作生成，打造出感知-决策-执行的高效闭环，成功解决传统VLA模型推理延迟、真机动作卡顿的行业痛点，还能在消费级显卡上实现实时推理，大幅降低硬件门槛。模型在LIBERO、CALVIN、SimplerEnv三大主流仿真测试中刷新多项SOTA，真机部署后在积木拆解、叠毛巾等高难度任务中也展现出优异的手眼协调性，兼顾多模态理解与精细动作控制的能力尤为亮眼。此次开源不仅为开发者提供了优质的技术底座，更将加速具身智能技术的落地与行业协同创新，让机器人向物理世界的智能交互又迈进一步。#雷军公布小米机器人最新进展#

53. ICML'26 | 复旦新作OneTrackerV2：多模态视觉跟踪大一统！

54. 原生理解生成统一：商汤开源SenseNova U1，用统一架构终结「缝合怪」多模态

55. 《扣子开发 AI Agent 智能体应用》014-基于大模型的企业知识库（知识库的理论基础 RAG）

56. 中文多模态视觉语言模型12月测评报告，12月29日发布！

57. #豆包大模型2.0将发布#豆包视频生成模型Seedance升级要点：复杂交互和运动生成可用率高，业界最佳级别；多模态能力全面，支持音、视、图全模态输入；可控性强，指令遵循表现好；深度适配影视、广告及营销场景，输出质量对齐工业交付标准。

58. “源神”的新年贺礼！深度实测Qwen3.5，原生多模态表现如何

59. 删掉 OpenClaw！Hermes Agent 才是真王炸，一键本地部署 +模型接入全教程（避坑指南） | 零度解说

60. 【直播回放】解析谷歌Gemini 3：“AI 全模态”时代与Scaling Law的极致执行

61. 2026开年王炸：Qwen3.5震撼发布，一条视频讲清所有玩法...

62. #国产AI超过ChatGPT了吗# 今天国内又有一款基于国产大模型的AI助手APP开始公测，并喊出对标ChatGPT。和国外相比，国内AI应用有更肥沃的落地土壤，比如中文场景、产业落地、数据合规等方面，但这些都是局部的领先，AI未来的发展一定是更加专业化、更加垂直。客观讲，ChatGPT在多模态融合（图像/语音处理）、多语言支持以及创意内容生成方面还是有着自己的优势。#科技先锋官#

63. 阿里云发布多模态交互开发套件

64. 超越传统 RAG：知识图谱如何增强 AI 的记忆与推理能力

65. Milvus 向量数据库实战：从零构建高性能 RAG 系统

66. 孔令东博士分享 | 如何将事件相机视觉与自然语言系统地融合?

67. #Seedance2.0是世界最强视频模型吗##过个有AI年##HOW I AI# 结合现有信息，Seedance 2.0在“多模态整合与控制”、“生产效率”方面处于世界顶尖水平，被多位权威人士（比如《黑神话：悟空》制作人冯骥）评价为“最强”，但在某些单项上，仍有其他模型表现相当或更优。Seedance 2.0的优势是多模态控制、导演级精度、音画同步、多镜头叙事，但时长最长15秒，部分场景物理模拟略逊于Sora 2。OpenAI Sora 2的优势是复杂物理模拟、超现实主义、更长时长（20秒）、全面的音频生成，但在多模态输入灵活性和对中文场景理解上可能不如Seedance 2.0。Vidu Q3的优势是单视频时长更长（16秒）、音画同步质量高、分镜控制能力强，但多模态输入支持的丰富性和灵活性未及Seedance 2.0突出。Kling的优势是长视频生成（最长可达数分钟）、物理仿真能力突出（如流体、烟雾），但在多模态控制和多镜头叙事等导演级功能上不及Seedance 2.0。Veo 3.1的优势是照片级真实感、光照渲染出色、生成速度快，缺点是视频时长较短（8秒），缺乏原生多镜头叙事能力。综合来看，如果你需要极其精细的控制、希望高效地“复刻”特定风格或动作，并追求从文字到成片的“一站式”高质量输出，那么Seedance 2.0无疑是目前最强大的选择之一。但如果你追求极致的物理真实感、更长的单视频时长，或者主要在特定领域（如长视频、动画风格）使用，Sora 2、Vidu Q3和Kling也是顶级选项。#老张聊科技#

68. LLM 处理多模态是问题。然后多模态就被解决了。LLM 实在是容易 token 超长，然后 RAG 和超长 token 就出现了。LLM 的再训练太麻烦，没有长期记忆，不会持续学习，然后 HOPE 就出现了。。。神经网络的优化潜力，是非常非常高的。开源世界一定会跟进 HOPE 。我相信模型现在还是处于非常早期的阶段。最多最多，类似于智能手机大潮中，Palm 或者黑莓的阶段。iPhone 还没有出现。

69. 照着学～大语言模型（LLM）学习路径和资料汇总入门篇：- 了解大语言模型的基础知识和常见术语。- 学会使用编程语言访问 OpenAI API 等常见大语言模型接口。- 面向非专业背景的大模型普及知识。应用篇：- 可以在本地环境搭建开源模型的推理环境。- 大语言模型应用开发框架（如 LangChain、Dify等）。- Prompt 工程、 RAG、Agent 等大模型应用开发范式。深入篇：- 大模型技术原理、训练微调、数据工程、推理优化等。- 大模型应用范式（RAG、Agent等）前沿进展。访问：github.com/ninehills/blog/issues/97#HOW I AI# #程序员#

70. B 站下一代多模态数据工程架构的落地实践

71. 基于 RAG 的 AI 搜索技术实践

72. 多模态RAG:通用框架方案调研汇总

73. 当今模型真的能看懂图表吗？重大钟将、魏楷文团队发布Chart-MRAG基准，揭开多模态RAG在图表文档上的系统性盲区

74. 阿里通义提出 VimRAG：用多模态记忆图驾驭海量视觉上下文的检索增强生成

75. 超越字节MemAgent！阿里通义开源面向全模态Agent的RAG新范式，用记忆图驾驭海量视觉上下文

76. 2026年4月16日 | VimRAG架构解析：阿里通义如何用动态记忆图革新多模态RAG

77. 阿里开源VRAG：图文视频跨模态检索生成，多模态RAG下一代方案！

78. VimRAG：多模态RAG记忆管理方案

79. 迈向下一代RAG，通义VimRAG用了这个方案

80. Vgent：基于图的多模态检索推理增强生成框架GraphRAG，突破长视频理解瓶颈

81. NeurIPS 2025 oral：多模态RAG有时胡说八道

82. 解锁 MLLM 跨模态潜力！多模态RAG再超神，性能狂飙 33%+！高区热门！

83. Zero-Shot 风机叶片 VLM 巡检：RAG + 多模态知识库 + Qwen-VL-Max，30 张测试图 100% 准确率

84. 18000star，港大开源的RAG-Anything：一个框架搞定文本、表格、公式、图表的 AI 检索

85. AI算法面试：多模态RAG详解

86. 18k stars 炸场！香港大学开源多模态 RAG 神器，学术论文、财报、技术文档一网打尽！

87. 狂揽1.8万星！港大开源多模态RAG神器，破解复杂文档解析难题

88. 现成可用，MegaRAG开启GraphRAG新纪元

89. mKG-RAG：用多模态知识图谱增强检索生成，赋能知识密集型视觉问答

90. HiTech团队成果入选 SIGIR 2026：多模态知识图谱增强 RAG，推动知识密集型视觉问答

91. RAG进阶：下一代RAG怎么玩？

92. Paper1： TableRAG，解决表格解析难题的新思路

93. RAG 新突破！这个框架能读懂图表和公式了

94. 让多模态检索超越SOTA！ReCALL框架化解生成式与判别式的范式冲突

95. 多模态RAG原理：（面试+落地）必看的PDF图表智能问答方案

96. 阿里开源VRAG，图文视频跨模态检索生成框架，多模态RAG的下一代解决方案！

97. V-RAG 增强基于视觉感知的 RAG，实现对视觉丰富信息的理解通过强化学习的迭代推理实现理解

98. VimRAG：用记忆图管理视觉上下文多模态推理

99. 让AI真正“读懂图表”：澜舟多模态RAG技术揭秘

100. RAG的"终极形态"来了！16k star背后，隐藏着一个巨大的范式转移

101. RAGFlow：下一代RAG知识库引擎，让文档真正被AI"理解"

102. 京东云JoyAgent持续开源！多模态RAG能力正式开源

103. 多模态DeepResearch，成了！

104. VisRAG——抛弃OCR，走向多模态文档的纯视觉检索增强生成

105. Meta 新作：多模态模型终于会查资料了

106. 《计算机科学与探索》《计算机工程与应用》“检索增强生成技术与应用”专题征文通知

107. PAKDD 2026 | 面向多模态 RAG 的统一多模态检索框架

108. 多模态RAG前沿方案解读：DocSeeker分析-定位-推理及PurifyingFIG碎片信息增益去噪

109. 深度复盘：我是如何构建一个“能看懂图”的 RAG Agent 的？

110. 通用多模态信息检索范式：UniIR 框架实现从模态融合到全域检索

111. RAG-Anything 全流程导读：开启多模态 AI 的知识内化之路

112. 从零构建高效多模态RAG系统:交叉注意力设计的7个黄金法则

113. 港大开源！1.7万星的 RAG-Anything，把 PDF/表格/公式/图片全塞进知识库

114. 多跳多模态知识图谱增强的检索增强生成方法：M3KG-RAG

115. ICLR 2025：医疗多模态RAG新范式-MMed-RAG

116. VimRAG图文视频知识库的统一多模态RAG框架

117. 强大的多模态文档助手RAG-Anything，一张图一句话就能调阅你的全部知识库

118. 多模态检索增强生成（MRAG）综述

119. RAG-Anything：一站式多模态文档处理系统，解锁高效检索新方式

120. 有趣的多模态GraphRAG实现思路M³KG-RAG及大模型用于绘制图表开源工具

121. 多模态RAG新突破：M3KG-RAG

122. 统一图文视频检索：Qwen3-VL-Embedding，把多模态“搜得更准”

123. 什么是多模态 RAG?教你结合图片知识库搭建高级 AI 助手

124. SIGIR+1！MoRE：让多模态模型学会动态检索

125. 迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合

126. RAG 系统里的图文多模态实现

127. Google扩展Gemini文件搜索：多模态RAG能力全面升级

128. RAG如何用于高分辨率图像理解任务？两个代表方案

129. 阿里大模型二面：PDF、表格、图片混排文档，你的RAG系统是怎么解析的？

130. Google扩展Gemini文件搜索：多模态RAG走向“读文档…

131. 多模态RAG实战指南：让AI看懂图片、表格、图表、PDF（代码优化版）

132. 视觉理解和视觉回答 - 乐高积木AI拼搭 - 多模态RAG

133. 多模态RAG不止知识问答：文搜图与图搜图的四种实现方案

134. 多模态RAG新轮子Qwen3-VL-Embedding/Reranker

135. 多模态 RAG，这个是真的香

136. 多模态RAG火了！但这四个前沿方向才是发顶会的密码！

137. 三大多模态RAG项目源码完全开源，从入门到实战32期完整版！从零搭建工业级多模态RAG系统。零门槛vLLM部署PaddleOCR-VL，DeepSeek-OCR

138. 强推|一口气掌握27集多模态RAG从入门到实战完整版！少走99%弯路！零门槛vLLM部署PaddleOCR-VL，DeepSeek-OCR，中间件，情景光学压缩

纯文本RAG已够用？多模态RAG只在30%以上视觉内容场景值得升级

精选参考来源