48亿条向量,一台服务器:铠侠想让SSD替内存干活

源自114位全网作者

10:48

今年3月,铠侠公布了一组演示数据:一台服务器,48亿条1024维向量,索引构建加速了7.8倍,DRAM占用却很低。KIOXIA铠侠中国电子创新网

先算一笔账。48亿条1024维向量,按FP32存,原始数据接近20TB。要把这个规模的向量索引全放进内存,账单会先于技术把人劝退。

大模型回答一个问题前,常要先从知识库里找资料,这套动作叫RAG。文档被切成片段,每段变成一个向量,提问时再找最相似的几条。

问题在于,向量一上亿,索引就从一张表变成一片海。最常见的做法是把索引放在内存里,查得快,但内存贵。

海豚投研给过一组对比:HBM4约16美元/GB,企业级SSD约0.3到0.4美元/GB,差了40到50倍。HBM和DRAM还要留给模型权重和KV Cache,能分给向量索引的空间更少。36氪

48亿条向量,一台服务器:铠侠想让SSD替内存干活

铠侠的办法叫AiSAQ,全称是“基于乘积量化的全存储式近似最近邻搜索”。名字拗口,做的事很直接:用乘积量化把向量压小,再把索引和向量一起放到SSD上。

查询时,系统只把一小部分候选读进内存。大部分数据留在盘上,靠SSD的并发读把吞吐撑起来。

这套软件在2025年初开源。今年3月的演示里,单台服务器做到48亿条1024维向量,靠NVIDIA cuVS加速索引构建,DRAM用量压得很低。KIOXIA铠侠中国

SSD不是内存。随机读延迟差着数量级,乘积量化又是有损压缩,召回率会掉。AiSAQ的取舍是:不跟DRAM抢“最快”,而是把“装得下”和“查得起”做成另一条路。

对动辄几十亿条向量的RAG来说,瓶颈往往不是单次查询快几微秒,而是整柜内存装不下、装得起也养不起。

48亿条向量,一台服务器:铠侠想让SSD替内存干活

铠侠做这件事,不只是技术兴趣。它测算,数据中心NAND需求会从2025年的286EB涨到2031年的1686EB;其中AI推理从86EB涨到1251EB,占比从30%升到74%。36氪

推理越火,越需要又大又便宜的存储层。一家卖NAND的公司,如果只卖颗粒,价格随行就市;如果能让SSD承接向量索引、KV Cache这些“半计算”的活,卖的就是解决方案。

AiSAQ开源,软件本身不直接收费,但给SSD找了一个新的非买不可的理由。

这套东西离普通用户并不远。端侧AI要在手机、PC上跑本地知识库,内存同样不够用;铠侠已经在推UFS 5.0和1亿IOPS的路标,方向一致:让存储离计算更近一点。KIOXIA铠侠中国哔哩哔哩

48亿条向量,一台服务器:铠侠想让SSD替内存干活

短期更直接的影响在价格端。企业级AI把NAND产能吸走,消费级SSD很难独善其身。你今年看SSD价格时多出来的那几百块,背后就是这条正在重排的存储链。36氪

48亿条向量,一台服务器:铠侠想让SSD替内存干活

SSD不会取代内存。HBM、DRAM、NAND各有各的脾气。但边界正在移动:过去硬盘是仓库,现在它开始被拉进工作台。

铠侠的48亿条向量,是一次试探——存储层能不能不只保存答案,也参与找答案。

内容由AI生成

精选参考来源

1. 铠侠宣布,已成功演示基于其开源 KIOXIA AiSAQ™ 近似最近邻搜索(ANNS)技术,在单台服务器上实现可扩展至 48 亿个向量的高维向量搜索。同时,铠侠还展示了通过结合 NVIDIA cuVS 库的 GPU 加速能力,显著缩短索引构建时间。这两项成果标志着检索增强生成(RAG)搜索解决方案取得重大进展。 助力GPU加速7.8倍,铠侠AiSAQ拿捏48亿级向量数据库

2. 【KIOXIA单服务器实现48亿高维向量搜索数据库,借助GPU实现索引构建时间加速7.8倍】依托NVIDIA cuVS库和KIOXIA AiSAQ技术,以极低DRAM用量完成1024维向量索引网页链接 #张国斌的芯发布#

3. 从绿叶到鲜花,AI 推理如何为 NAND“逆天改命”?

4. 近日,铠侠宣布开源最新的全存储式产品量化近似最近邻搜索(AiSAQ)技术(1)。KIOXIA AiSAQ™ 软件采用专为SSD优化的新型“近似最近邻”搜索(ANNS)算法,跳过将索引数据载入内存(DRAM)的步骤,直接在SSD上执行检索操作,为检索增强生成(RAG)提供可扩展的性能支持,以进一步降低成本。#KIOXIA铠侠中国# #生成式AI# 助力生成式AI,铠侠宣布开源AiSAQ™技术

5. 铠侠宣布推出 UFS(1)5.0 嵌入式闪存解决方案,旨在为下一代支持AI的移动和边缘设备提供其所需的性能、能效和存储容量。新产品将于下周在FMS: the Future of Memory and Storage(未来内存与存储峰会)上进行演示。目前可提供1TB和512GB两种容量的商用样品。预计将于2026年底正式启动量产。 铠侠全新 UFS 5.0 嵌入式闪存助力端侧AI发展

6. 人类为什么需要1亿IOPS?

7. 固态硬盘价格1年涨至约4倍

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章