千元400G交换机到手了，集群的真账不在交换机上：CRS812-DDQ的三笔账和三个坑
九月的桌面AI集群圈格外热闹：ServeTheHome那台"给NVIDIA小金砖当算力内网核心"的400G交换机实测被译制进B站，播放3000+、收藏76，译制文案给的口径是单价不到1100美元、提供1.6Tbps带宽、“完美适配NVIDIA GB10集群”。9月26日，知乎有人把DGX Spark的扩展路径写成实战路线图。哔哩哔哩知乎
9月10日，B站UP主"程序员分享人生"晒出8台Spark组成的1TB统一内存集群，用的正是400Gbps高速交换机。更早，微博账号"屈恒_小米"发过"4台DGX Spark+一台MikroTik CRS812"跑MiMo-V2.5的实机图，24并发稳在200 tok/s。被点名当核心的那台交换机，就是MikroTik的CRS812 DDQ。哔哩哔哩微博
这台机器2025年秋天就放出过宣传，当时B站搬运视频写的是"400G交换机曾意味着昂贵、遥不可及，但CRS812DDQ彻底改写了这一认知"。评论区那会儿还在问价、喊"想买"，官方渠道的价和货磨了近一年才落进玩家手里。对正在攒第三、第四块砖的人来说，"千元档400G"听起来像一张便宜门票。但把全网这几周的实测、晒单、配置帖和踩坑记录拼起来看，门票恰恰是整条链路上最便宜的一项。这篇替你算三笔账，再标三个坑。哔哩哔哩
先把设备认全：CRS812 DDQ到底是台什么交换机
对照MikroTik官网产品页和ServeTheHome实测，这台机器的账面是：Marvell 98DX7335交换芯片，安纳普尔纳实验室AL52400四核2GHz ARM，4GB内存，RouterOS v7授权Level 6；双冗余热插拔电源、4个热插拔风扇，官网的目标场景清单里直接写着"Labs, AI clusters"。端口排布是：2个40G/50G/100G/200G/400G的QSFP56-DD大口、2个最高200G的QSFP56口、8个最高50G的SFP56小光口，外加2个1G/10G电口，12个数据口顶格合计1.6Tbps单向带宽（组网帖报的3.2Tbps是双向口径）。MikroTik官网
官网还专门标注：QSFP56/QSFP-DD端口支持breakout拆分模式——"两个400G口拆四路200G"的集群方案正是靠这一条成立的。MikroTik官网
ServeTheHome首发报道转述了MikroTik CEO约翰·塔利的表态：对即将铺开的DGX Spark和其他GB10机器，这会是很棒的交换机，“NVIDIA正在开放NCCL，如果能对上这个生态，它就是低功耗AI集群扩容的抢手货”。ServeTheHome
三笔账：交换机只是整条链路上最便宜的一项
第一笔，门票账。 官网产品页挂着$1,295.00的建议零售价。中文译制文案给的到手口径是"不到1100美元"，而评论区谈国内街价，直接是"1w块钱真不贵"，同一条评论还给了整条链路的价格锚：一张400G网卡最低五六千、一个400G QSFP-DD光模块两千级。参照系是知乎高赞回答里提到的37999元：一块砖的街价约等于3台这台交换机。买砖的钱都掏了，门票在总投入里几乎不构成门槛——真正的门槛在后两笔。MikroTik官网哔哩哔哩知乎
第二笔，线路账。 实测点名：400G大口必须用QSFP56-DD封装的模块或线缆，OSFP/QSFP112塞不进或带不动。好消息是MikroTik首发时同步推出建议价$159的400G QSFP-DD光模块，报道原话是相对现有同封装选择"折扣惊人"——对比国内零售的两千级模块价，线路成本被官方自己打下来一截。更关键的是，传统400G贵贵的真正大头——每口五到六千的网卡——在Spark上根本不用买：每块砖自带200GbE级ConnectX-7高速口。这正是"千元400G"对GB10玩家格外刺眼的结构性原因。哔哩哔哩ServeTheHome
按小红书"深圳服务器配件供应"9月6日那篇组网帖的方案，两个400G大口各拆成2×200G，breakout线一插刚好接四块砖；他们报整机投入约25万，号称比同算力专业AI服务器省一半以上。厂商的省钱口径听听就好，但结构是实的：在这个规模段，交换机确实不是花钱的大头。小红书
第三笔，时间账。 NVIDIA官方教组网只到两台：英伟达官方账号8月20日在B站发布的教程，用NVIDIASync通过ConnectX-7连接两台DGX Spark，自动处理网络设置、性能检测和SSH配置。第三台开始基本是文档空白区——做8集群那位UP主的说法是，一旦需要超过2台DGX Spark的算力，官方文档就是片空白。9月19日知乎那篇三机直连实战帖的标题更直白：“三个伪装成NCCL坏了的真因”——新手排到最后，锅多半在网络参数而不是硬件。这台交换机能不能替你省掉这摊折腾？能省一半：它接管了互联，但静态IP、MTU、SSH互信、NCCL环境变量还是得你自己配。哔哩哔哩哔哩哔哩知乎
三个坑：晒单帖和实测里扒出来的
默认队列限速。 配置帖标了重点：egress-rate-queue3=0必须手动设，不然200G口会被限到100G，性能直接腰斩。这是RouterOS交换队列的默认行为坑，不是硬件故障——装完不检查，等不到预期带宽还怀疑人生。小红书
速率和MTU要写死。 配置帖的做法是强制speed=200G-baseCR4、l2mtu=9500，配合端口breakout-mode=2x200G；砖侧对齐MTU 9000。参数不对，NCCL掉速极难定位。
模块封装别买错。 再强调一遍：大口是QSFP56-DD形态，OSFP/QSFP112塞不进或带不动；400G转2×200G要用breakout线而不是两截普通模块。这一项比交换机本身还容易翻车，下单前逐条核对。
谁该上，谁别上
只有1–2块砖：官方NVIDIASync直连就够了，交换机一分钱不用花。
3块砖：知乎三机帖给了现成的三角直连方案——每砖双口CX7正好全互联、无交换机，代价是自己扛网络排障。知乎
4–6块砖：CRS812 DDQ最顺的区间——2个400G拆4路200G加2个原生200G口刚好接住，512GB统一内存跑70B–100B级推理或分布式微调（屈恒_小米那套24并发200 tok/s可作参照）。想清楚跑什么模型、要几并发，再动手。
8块砖往上：200G口数量先不够用，要么堆第二台交换机，要么接受部分节点降到50G。
普通homelab、NAS玩家：别跟风。STH评论区有人清醒："家庭实验室用上全域40Gbps就已经是我的极限了。"100G圈9月也刚给过教训——老外拿CRS504-4XQ搭100G家居网络，发现自己的NAS和服务器硬件性能不支持100Gb速率，交换机到位了端点跟不上，白烧预算。哔哩哔哩哔哩哔哩
数据敏感、在意管理生态的团队：掂量RouterOS进生产算力网的接受度。今年4月伊朗方面公开指控在网MikroTik设备集体故障，真假之外它已进了采购圈的信任考量。STH视频下那句评价——这品牌老出一些又便宜性能又牛的产品，偏偏国内市场它不行——点破的就是渠道、质保和社区支援的短板。快科技
值得继续盯的三个信号
一是国内渠道价和批次——今年RB660刚出过内存3G变2G的缩水风波，MikroTik的硬件修订值得每个等货的人留心；二是小兄弟CRS804 DDQ会不会先一步铺进国内——4个400G口的更入门型号，RaidOwl那套2.8万美元四砖集群用的就是它，门票还有下压空间。三是NVIDIASync和RouterOS容器生态的赛跑——7.24之后官方把路由器往应用平台上引，哪天监控、遥测组件跟上了，或者官方集群工具把支持规模从两台往上抬，DIY党要付的就不只是模块钱了。哔哩哔哩
带走这几句
千元档400G门票是实的，但它是三笔账里最小的一笔：$159的官方模块、breakout线和排错时间才是你要重新算的账；
第4块砖起，交换机从可选项变必选项；3块砖以内，先把直连方案穷尽再谈花钱；
下单前核封装（QSFP56-DD）、装完先查egress-rate-queue3和l2mtu，别把队列限速误诊成硬件故障；
普通NAS用户别上——这个圈子的账从"跑什么模型、几并发"开始算，而不是从带宽开始算。
