先说结论：Segment Anything 这个家族现在不是"装最新的就行"，而是"按活儿选代"。这两天社区还在持续整活——8 月 20 日有人把 SAM3.1 接进 ComfyUI 做物体智能擦除。知乎8 月 18 日 QuPath 出了个基于 SAM 的病理标注插件，号称效率翻百倍。哔哩哔哩但另一边，B 站搜"分割一切"，满屏都是"2026 最强 SAM 模型，草履虫都能学会"的卖课视频，点进去全是引流。真想自己跑起来干活的人，反而找不到一句实话。
这篇不讲课，就干三件事：把家族谱系捋清楚，把显存账算明白，把社区踩过的坑列出来。
一、先搞清楚现在有几个"SAM"
很多人还停留在"抠图模型"的印象里，其实这个家族已经开枝散叶了：
版本 | 时间 | 一句话定位 |
|---|---|---|
SAM1 | 2023 年 4 月 | 点一下/框一下就能抠，交互式分割开山之作 |
SAM2 | 2024 年 8 月 | 把分割从图片扩展到视频，加了记忆机制做跟踪 |
SAM3 | 2025 年 11 月 | 能用文字提示做"概念分割"，一句话圈出画面里所有符合描述的目标 |
SAM3.1 | 2026 年 3 月底 | 主攻视频多目标跟踪，官方称 128 个目标同时追踪提速约 7 倍 |
SAM Audio | 2025 年 12 月 | 分割声音：一句话/一个点击，把目标声源从混音里抽出来 |
SAM3D | 2025 年 11 月 | 一张照片重建 3D 场景 |
SAM3 是真正的分水岭。之前你得当"人工提示器"，一张张图去点；SAM3 之后，输入一句英文描述，它一次找出画面里所有匹配的实例。社区有人实测用它数树，零标注、不训练，直接说"tree"就把每棵树圈出来。知乎它的定位也变了：检测、分割、跟踪被塞进同一套提示词驱动的系统，架构从纯视觉变成图文融合加 DETR 风格解码器。官方给的数字是处理 100 个检测对象约 30 毫秒，在自建的 SA-Co 基准（27 万个概念，比已有基准多 50 倍）上能达到人类表现的 75-80%。知乎GitHub
但要泼盆冷水：SAM3 不是 SAM2 的无脑升级版。它强在"用语言指挥"，老本行里的某些细节反而有坑（后面避坑部分细说）。
二、按活儿选版本，别按新旧选
结合社区这两个月的实操反馈，我给个粗暴但能用的对照：
点选抠图、静态图处理：SAM1 或者直接用现成工具就行。模型小、生态熟，很多整合包还是基于它。没必要为了抠个头像上 SAM3。
视频逐帧抠像、动态物体跟踪：剪辑党看这里。小红书上有剪辑博主感叹"终于告别逐帧抠图"，用的就是 SAM 系的视频跟踪。小红书SAM2 把分割带进了视频，多目标、长视频场景现在直接上 SAM3.1。
SAM3.1 是今年 3 月底更新的，这次升级的核心不是更准，而是快：官方叫 Object Multiplex（对象多路复用），用共享内存做联合多目标跟踪。GitHub官方效率图很直观——128 个目标时，SAM3.1 能跑 11.5 FPS，SAM3 只有 1.6 FPS，约 7.2 倍。有知乎用户拿 24G 显存的卡完整复现了官方例程，能跑，但视频太长会 OOM，得控制长度。知乎
批量自动标注、训练数据生产：这是 SAM3 文本提示最大的用武之地，一句提示批量出 mask，导出 YOLO/COCO 格式。有个遥感方向的拆解说得扎心又实在：“SAM 最好的用法可能不是直接用，而是用它造数据”。知乎工具也现成：X-AnyLabeling 今年 1 月就上线了 SAM3 文本/视频提示跟踪标注。哔哩哔哩开源的 LabelPaw 支持 SAM3+YOLO26 批量标注，4 月那条演示视频播放量两万多，说明需求是真大。哔哩哔哩
ComfyUI 工作流、物体擦除：ComfyUI 今年上半年起原生支持 SAM3.1，官方模板库里就有图像和视频两套分割工作流。知乎搭配 Krea2 AnyPaint 这类 inpaint LoRA 可以实现"输入英文词 → 自动圈目标 → 擦除补全"一条龙。
想尝鲜声音分离：SAM Audio 支持文本、画面、时间范围三种提示。GitHub但实测党反馈比较冷静：10B 版本分流行音乐可以，交响乐、多和声场景拉胯，一次只能出两个音轨。质量也一般，当玩具和粗加工工具可以，别指望替代专业分轨。
三、显存账：你的显卡到底够不够
这是卖课视频从来不告诉你的部分，社区实测数据拼一下（不同版本、不同任务口径有差异，仅供参考）：
推理：SAM3 的分割模型权重社区实测约 3GB 显存，消费级显卡够用。知乎ComfyUI 里跑 SAM3.1，模型全部加载进显存后，找目标大概 1 秒多。知乎
视频跟踪：SAM3.1 官方例程，24G 显存能跑，但长视频会 OOM。知乎
微调：差异最大的地方。SAM3 分割模型全量微调约 12GB 显存，一张 4090 很从容；但如果走检测器全参数路线，医学方向的论文报告峰值能到 80GB。好在参数高效方案已经很成熟：有工作只训 0.98% 的参数，RTX 3090 上 9GB 显存就完成训练，效果还在三台手术分割任务上超过了全参数微调的版本。知乎工业侧的实践也一样：先冻结大部分参数，只校准输出层，再逐层"松绑"，避免显存暴涨和通用能力被小数据带偏。
翻译成人话：想干活，12G 显存是体面线，24G 很舒服；想微调，别上来就全参数，LoRA 类方案能省一个数量级的显存，效果往往更好。
四、社区踩过的六个坑
提示词只能写英文。SAM3 的文本侧只训了英文，在 ComfyUI 里输中文没反应不是你的问题。知乎
行话没用，视觉描述才有用。一个工业团队的教训特别典型：SAM3 不认识"电子加速踏板"，检测结果 0 个；把提示词换成"黑色弯曲杠杆"，立刻检出 3 个实例。知乎料号、内部代号对模型来说等于乱码，颜色+形状+材质的描述才是通行证。他们的结论值得抄：先做 prompt baseline 摸清边界，再决定要不要微调。
毛发、绒毛边缘是老大难。实测用 SAM3.1 擦除马和兔子，毛发边缘都会切漏。ComfyUI 里的土办法是接一个 Grow Mask 节点，把遮罩往外扩十几个像素，大体干净，但偶尔还会"留一根毛在空中"。
fp8 量化版别乱用。ComfyUI 官方只给了 fp16 版本的 SAM3.1 模型，社区有人传了 fp8 量化版，在最新版 ComfyUI 里跑不起来。省显存别省在这一步。
密集场景和关系理解会翻车。"定位左侧第二个没戴头盔的警员"这种带空间关系的指令，SAM3 会频繁翻车——它倾向于把符合条件的目标全分割出来，不管位置关系。知乎开源社区已经在用 FalconPerception、InstructSAM 这类工作补 OCR、空间、关系这三块短板，选型时心里要有数。
别被"一小时学透"带节奏。B 站这批 SAM 教程视频，标题高度雷同，简介里全是"关注公众号领数据集"，多数是卖课引流。真干货在知乎的实战记录和 GitHub 的开源工具里。
五、接下来值得盯什么
垂直领域微调会越来越多：手术分割、病理标注、工业质检、遥感解译都有团队在把 SAM3 往行业里塞，路线基本收敛到"少量参数微调+结构化提示词"。
SAM Audio 这类分支：从"分割像素"到"分割声音"，Meta 显然想把 Segment Anything 做成一个系列。声音分离目前还很糙，但方向值得观察。
短板补丁生态：HQ-SAM 磨边界、InstructSAM 补指令理解、SegEarth-OV 做免训练适配——围绕 SAM 的"补丁生态"本身就是一个信号：它已经成了视觉领域的基础设施。知乎
最后给个一句话版本：抠图点选用老版本，视频跟踪上 3.1，批量标注靠 SAM3 的文本提示，显存 12G 起步，微调走 LoRA，提示词用英文写视觉描述。
你跑 SAM 踩过什么坑？显卡是什么型号、跑的哪一代？评论区聊聊，给后面的人省点显存。
