构建RAG系统时，Bi-Encoder、Cross-Encoder等模型常被一同提及，但为何需要这么多模型？本文深入拆解它们的核心机制、优劣边界与协作模式，阐明高召回与高精准的平衡之道，助你构建高效精准的检索系统。
智能速览
精准率与召回率的平衡是RAG检索的核心矛盾。
Bi-Encoder速度快，适合大规模初筛，但精度有限。
Cross-Encoder精度最高，但计算成本高，适合小规模重排序。
SPLADE融合了稀疏匹配与语义理解，提升了可解释性。
ColBERT通过延迟交互，在精度和效率间取得了新平衡。
多阶段混合架构是兼顾召回、精准和扩展性的最佳实践。
精华内容
单一模型难以兼顾检索速度与精度，多阶段混合架构成为RAG系统的必然选择。下面将具体剖析各模型的定位与协作方式。
Bi-Encoder：速度基石
Bi-Encoder为查询和文档各自生成向量，通过计算余弦相似度判断相关性。其核心优势在于文档向量可离线预计算并存入FAISS等向量数据库，查询时仅需一次编码和快速ANN搜索，扩展性强，是大规模语义检索的基础。
但其缺点在于查询与文档无token级交互，相关性判断是近似的，在处理复杂逻辑、否定表达或长距离依赖时，表现会打折扣。
Cross-Encoder：精度担当
Cross-Encoder将查询与文档拼接后送入Transformer，直接输出0到1之间的相关性分数，精度最高。它能捕捉真正的语义交互，是提升精准率的有效工具。
然而，它无法预计算，每次查询需对所有候选集做前向传递，计算成本高昂。例如，对10000个句子聚类，Bi-Encoder仅需5秒编码，而Cross-Encoder需计算约5000万对，耗时约65小时，故仅适合对少量候选（如Top-100）进行重排序。
SPLADE：稀疏语义
SPLADE是基于Transformer的稀疏检索模型，输出的是词汇表上的稀疏权重分布，可理解为一个“学出来的BM25”。它结合了关键词的精确匹配能力与一定的语义理解，在处理ID、错误码、专有术语等场景时，效果优于稠密模型。
此外，它能学习词项的重要性权重，可解释性更好。但代价是索引体积大于传统BM25，且语义表达能力不如纯稠密模型。
ColBERT：延迟交互
ColBERT在Bi-Encoder和Cross-Encoder间找到了平衡点。它不为整个文档生成单一向量，而是为每个token生成一个向量，通过“延迟交互”机制计算最大余弦相似度之和。
这种设计保留了token级的语义信息，精度显著高于Bi-Encoder，又比Cross-Encoder更容易扩展。这种细粒度匹配对长文档尤其有效，但代价是token级向量导致索引体积膨胀，内存占用和延迟都会上升。
架构：组合制胜
实际效果最好的RAG系统采用多阶段混合架构，以兼顾召回率、精准率和可扩展性。典型的流水线是：先用稀疏检索（BM25/SPLADE）和稠密检索召回大量候选，然后合并候选集，最后用Cross-Encoder对Top-K（如20个）结果进行精排。
例如，一次查询仅需1次Transformer前向编码，万级向量检索，20次Cross-Encoder重排，最终返回3-5个最佳文档块。这种组合分工明确，是当前工业界的主流选择。
