当前多模态大模型在回答需要外部知识的视觉问题时，常因无法精确关联图像中的具体实体而受限。Meta提出的PixSearch框架，通过让模型自主进行像素级检索，有效解决了这一痛点，显著提升了回答的准确性和事实依据，为更智能的AI应用铺平了道路。
智能速览
PixSearch是首个将分割与检索融为一体的端到端框架。
模型能自主决定何时检索，并动态切换查询方式。
通过生成像素级掩码，实现对图像区域知识的精准对齐。
新方法在知识型问答基准上准确率提升近20%。
该技术在第一视角和强实体依赖场景中优势明显。
精华内容
PixSearch的核心突破在于赋予了模型自主决策的能力。它不再依赖外部工具，而是内生地判断何时需要查找资料，并以像素级的精度锁定查询目标，从而实现了感知与检索的无缝融合。
现有技术瓶颈
以往的多模态检索增强生成（MM-RAG）方法普遍存在两大局限。一是只能利用整张图片或简单文本进行粗粒度检索，导致查询信息包含大量无关背景噪声，难以精准匹配与图像中具体实体相关的知识。二是这些方法通常需要依赖外部工具（如独立的检测器、分割器或描述生成器）来构建检索查询，使得整个系统流程复杂且效率低下。
端到端新框架
为解决上述问题，PixSearch被设计成一个端到端的框架，它是首个将图像分割、检索触发决策、查询构造与知识推理等关键步骤全部融合在单一模型中的大型多模态模型（LMM）。该模型通过生成特殊的
像素级精准检索
PixSearch最核心的创新在于其区域级检索能力。模型不再使用整张图片作为视觉查询，而是直接预测像素级的分割掩码，精准圈选出图像中的关键实体。然后，模型会根据这个掩码裁剪出对应的实体区域，并将其作为视觉查询输入检索系统。这种方式有效排除了背景干扰，显著提升了实体级别知识与视觉信息的对齐能力。
训练与推理策略
为了让模型学会何时检索以及如何查询，研究者设计了“检索交织”的解码机制和两阶段训练策略。在训练过程中，模型首先学习分割任务，然后在保持分割能力的同时，通过监督学习掌握检索决策与多步知识推理的复杂能力。此外，还引入了信息token masking技术，防止模型在训练中直接记忆检索到的内容，确保其真正学会推理。
实测性能飞跃
实验数据充分证明了PixSearch的优越性。在多个知识型与多模态视觉问答的权威基准测试中，PixSearch均显著超越了现有方法。特别是在CRAG-MM基准上，拥有130亿参数的PixSearch模型取得了最高的准确率和最低的幻觉率。与使用整图检索的MM-RAG方法相比，其准确率获得了约19.7%的相对提升，在第一视角场景（如AR眼镜所见）和强实体依赖的问答任务中，优势更为突出。
PixSearch通过像素级检索和自主决策，为多模态模型的知识获取能力树立了新标杆。它不仅有效降低了AI“一本正经地胡说八道”的现象，也为未来实现更可靠、更智能的视觉交互系统提供了关键路径。这项技术能否引领下一代AI的认知革命，值得期待。
