今年3月,铠侠公布了一组演示数据:一台服务器,48亿条1024维向量,索引构建加速了7.8倍,DRAM占用却很低。KIOXIA铠侠中国电子创新网
先算一笔账。48亿条1024维向量,按FP32存,原始数据接近20TB。要把这个规模的向量索引全放进内存,账单会先于技术把人劝退。
大模型回答一个问题前,常要先从知识库里找资料,这套动作叫RAG。文档被切成片段,每段变成一个向量,提问时再找最相似的几条。
问题在于,向量一上亿,索引就从一张表变成一片海。最常见的做法是把索引放在内存里,查得快,但内存贵。
海豚投研给过一组对比:HBM4约16美元/GB,企业级SSD约0.3到0.4美元/GB,差了40到50倍。HBM和DRAM还要留给模型权重和KV Cache,能分给向量索引的空间更少。36氪

铠侠的办法叫AiSAQ,全称是“基于乘积量化的全存储式近似最近邻搜索”。名字拗口,做的事很直接:用乘积量化把向量压小,再把索引和向量一起放到SSD上。
查询时,系统只把一小部分候选读进内存。大部分数据留在盘上,靠SSD的并发读把吞吐撑起来。
这套软件在2025年初开源。今年3月的演示里,单台服务器做到48亿条1024维向量,靠NVIDIA cuVS加速索引构建,DRAM用量压得很低。KIOXIA铠侠中国
SSD不是内存。随机读延迟差着数量级,乘积量化又是有损压缩,召回率会掉。AiSAQ的取舍是:不跟DRAM抢“最快”,而是把“装得下”和“查得起”做成另一条路。
对动辄几十亿条向量的RAG来说,瓶颈往往不是单次查询快几微秒,而是整柜内存装不下、装得起也养不起。

铠侠做这件事,不只是技术兴趣。它测算,数据中心NAND需求会从2025年的286EB涨到2031年的1686EB;其中AI推理从86EB涨到1251EB,占比从30%升到74%。36氪
推理越火,越需要又大又便宜的存储层。一家卖NAND的公司,如果只卖颗粒,价格随行就市;如果能让SSD承接向量索引、KV Cache这些“半计算”的活,卖的就是解决方案。
AiSAQ开源,软件本身不直接收费,但给SSD找了一个新的非买不可的理由。
这套东西离普通用户并不远。端侧AI要在手机、PC上跑本地知识库,内存同样不够用;铠侠已经在推UFS 5.0和1亿IOPS的路标,方向一致:让存储离计算更近一点。KIOXIA铠侠中国哔哩哔哩

短期更直接的影响在价格端。企业级AI把NAND产能吸走,消费级SSD很难独善其身。你今年看SSD价格时多出来的那几百块,背后就是这条正在重排的存储链。36氪

SSD不会取代内存。HBM、DRAM、NAND各有各的脾气。但边界正在移动:过去硬盘是仓库,现在它开始被拉进工作台。
铠侠的48亿条向量,是一次试探——存储层能不能不只保存答案,也参与找答案。