针对开放词汇语义分割中传统两阶段方法计算成本高、内存效率低的问题，ESC-Net 提供了一种高效的单阶段解决方案。该模型利用伪提示驱动预训练 SAM 解码器，在无需沉重掩码提议生成器的前提下，实现了 CLIP 语义能力与 SAM 空间能力的结合。
智能速览
提出单阶段 ESC-Net 模型解决传统方法效率低下问题。
设计伪提示生成器，将图像-文本相关性转化为 SAM 提示。
利用 SAM 解码器块实现精细化空间聚合与特征增强。
引入视觉-语言融合模块，提升最终掩码预测的准确性。
在多项标准基准测试中表现优异，兼顾了效率与精度。
精华内容
ESC-Net 通过创新的伪提示机制，打破了传统两阶段架构的局限，为开放词汇分割提供了新的技术路径。
传统方法的困境
传统开放词汇语义分割通常采用两阶段方法：先使用 MaskFormer 或 SAM 等生成掩码提议，再通过 CLIP 进行分类。这种方法虽然直观，但存在计算成本高和内存效率低下的显著缺点。虽然也有尝试将相关性建模转移到像素级预测的单阶段方法，但往往未能充分利用预训练模型的强大空间聚合能力，限制了性能的上限。
伪提示生成器
ESC-Net 核心在于伪提示生成器（PPG），它首先计算 CLIP 图像特征与文本特征的余弦相似度，生成相关性图。基于此图，PPG 为每个类别提取出一组伪坐标点和伪掩码。这些生成的提示随后被输入到 SAM 的提示编码器中，转化为 SAM 能理解的特征形式，从而为后续处理提供富含空间上下文的伪特征。
SAM块特征融合
模型利用预训练的 SAM Transformer 解码器块来处理伪提示与图像特征。通过注意力机制，SAM 块能够有效地聚合图像特征的空间上下文信息，即使提示模糊也能实现有效的区域级特征表示。这种设计允许模型在批次维度上并行处理所有类别的提示，既保证了特征增强的效果，又维持了较高的计算效率。
性能与实验验证
实验结果显示，ESC-Net 在 ADE20K、PASCAL-VOC 等标准基准测试中取得了卓越性能，准确性和效率均优于先前的单阶段方法。消融研究证明了该方法在各种挑战性条件下的鲁棒性。通过微调 CLIP 编码器并结合 SAM 的空间能力，该模型成功实现了语义理解与精准分割的平衡。
ESC-Net 证明了通过合理的架构设计，单阶段模型同样能在开放词汇分割任务中取得优异表现。这种方法不仅降低了计算门槛，也为未来视觉-语言模型的融合提供了新思路。随着技术的不断演进，我们能否期待更多轻量化且高精度的分割方案出现？
