在企业知识库中,PPT因图文混杂、逻辑跳跃成为传统RAG方案的难题。一个创新的系统架构通过父子分块、图文对齐等技术,让大模型能深度解析PPT内容,实现精准问答,突破信息提取的边界。
智能速览
传统RAG方案在处理PPT时因丢失图文上下文和页间逻辑而效果不佳。
采用父子分块架构,兼顾检索的精度与生成的上下文质量。
通过算法与人工干预双轨制,智能聚合逻辑相关的PPT页面。
轻量化的图文对齐方案,低成本实现图片信息在问答中的有效利用。
结合BM25关键词匹配与向量语义检索,优化复杂术语和概念的召回率。
精华内容
要构建一个真正理解PPT的问答系统,关键在于如何重构信息处理流程,让模型看透离散页面背后的内在逻辑。
PPT的异构挑战
相比线性文档,PPT的信息分布是离散且高度视觉化的,这给传统RAG系统带来三大挑战。首先是非线性的视觉布局,PPT排版灵活,传统的文本分块策略完全失效。其次是极高的信息密度,例如工业培训PPT中的传感器接线图,图片承载的信息远超文字,但传统系统难以处理。最后是断裂的跨页逻辑,连续的步骤被分页切分后,检索答案会显得不完整。
父子分块架构
为平衡检索精度与生成质量,系统采用父文档检索架构。子块以单页PPT为单位,包含文本、标题和图片描述,因其粒度小,能精准响应用户查询。父块则通过页面合并算法,将逻辑相关的连续页面聚合。当子块被命中时,系统会将整个父块的丰富上下文提供给大模型,确保回答的完整性。
双轨制逻辑聚合
判断页面间的逻辑关系采用双轨制。第一轨是算法自动判定,通过计算相邻页面标题的Jaccard相似度,将“传感器安装(1)”和“传感器安装(2)”这类页面自动合并。第二轨是专家干预,用户可在PPT备注栏使用
轻量图文对齐
针对PPT中的关键图片信息,系统没有采用成本高昂的多模态大模型,而是设计了“文本锚点+本地渲染”的轻量化方案。在解析PPT时,系统会记录图片在页面中的位置信息(文本锚点)。在生成回答后,前端可根据这些锚点信息,在原文档中高亮渲染出对应的图片,为答案提供可视化依据,增强可信度。
混合检索优化
系统采用BM25与向量的混合检索模式以应对不同场景。BM25擅长处理工业PPT中的专有名词,如“PLC-X1”,能实现精确的关键词匹配。向量检索则能理解语义相似的概念,适用于方法论类问题。系统支持动态调整二者权重,对于术语密集的文档可调高bm25_weight,以获得最佳检索效果。
该系统的核心价值在于从业务痛点出发,通过精巧的技术组合实现了对PPT的深度理解。它不仅是一个技术方案,更是对信息处理思路的创新。未来若结合更强的多模态模型,AI解读复杂图表与流程图的能力将迎来新的飞跃。