随着AI重心从训练转向推理,存储瓶颈日益凸显。铠侠开源的AiSAQ技术,通过在SSD上优化向量数据库,有效降低了RAG系统对DRAM的依赖。这一创新不仅大幅削减了成本,还提升了检索精度,为AI技术的大规模落地提供了更具扩展性的基础架构。
智能速览
AI行业焦点正从训练转向推理,存储成为新瓶颈。
RAG系统因依赖DRAM,面临成本高、扩展难的挑战。
铠侠开源的AiSAQ技术在SSD上优化向量检索,大幅降低内存需求。
该技术通过近似最近邻搜索与产品量化,兼顾速度与成本效益。
存储厂商正从数据承载者,转变为AI算力体系的重要组成部分。
基于存储的向量检索优化,将成为未来大型AI系统的标配。
精华内容
当AI的算力竞赛从训练场延伸至推理端,存储架构的创新正成为决定其大规模落地的关键。铠侠的AiSAQ技术,正是这场变革中的一个重要信号。
RAG的内存困境
检索增强生成(RAG)技术通过让大模型先检索外部知识库再作答,显著提升了回答的准确性。然而,其背后的向量数据库数据量极为庞大,传统方案必须将索引和向量全部加载到DRAM中运行。随着知识库规模的增长,内存成本呈指数级上升,这直接限制了系统的扩展性,成为RAG技术普及的一大障碍。
AiSAQ的破局之道
铠侠的AiSAQ(All-in-Storage ANNS with Product Quantization)技术为这一困境提供了巧妙的解决方案。它在SSD上实现了高效的近似最近邻搜索(ANN)和产品量化(PQ),使得向量数据可以直接在闪存中进行检索与调用,而无需完全依赖昂贵的DRAM。这种“存算一体”的思路,在保证检索速度的同时,极大地降低了硬件成本和系统复杂度。
存储厂商的AI转向
铠侠在AI领域的布局由来已久,从2017年在晶圆厂部署AI机器视觉系统,到2020年用AI创作漫画,其探索从未停止。AiSAQ的开源,标志着铠侠的战略从“用AI提升制造”转向“让存储服务AI”。这反映了存储厂商在AI生态中的角色演变:它们不再是单纯的数据仓库,而是深度融入算力体系、推动智能计算的关键一环。
技术趋势与展望
将向量数据置于SSD中进行优化的理念并非孤例,微软的DiskANN技术已在Azure和Cosmos DB中成功应用。铠侠的AiSAQ则推动了这一方向的开源化与通用化。随着RAG在企业知识库、智能搜索等场景的深入应用,基于存储的向量检索优化将逐渐成为AI基础设施的标准配置。从硬件底层优化AI工作负载,正引领新一轮的技术创新。
AiSAQ的开源,不仅是一个技术解决方案的公开,更预示着AI基础设施构建思路的转变。它让存储不再仅仅是数据的仓库,而是推动智能计算的引擎。未来,这种从底层硬件出发的创新,将如何持续赋能大模型的广泛应用?