张大妈

Agent Bucket:万亿级 Agent 原生存储桶

源自今日头条:字节跳动技术团队

02-16 11:19

AI Agent 应用正迎来爆发式增长,但面向海量用户的多租户存储方案却成为其规模化分发的关键瓶颈。传统的对象存储方案在隔离、权限和成本核算上存在先天不足。Agent Bucket 提出了一种全新的多租户原生存储范式,旨在帮助开发者从根本上解决万亿级终端用户的数据管理难题,让 AI Agent 的构建回归简单高效。

Agent Bucket:万亿级 Agent 原生存储桶智能速览

  • 传统对象存储在百万级用户规模下面临严峻的多租户隔离与计费挑战。

  • Agent Bucket 引入 ObjectSet 概念,为每个终端用户构建原生的数据保险箱。

  • 通过 Set Slice 技术,方案解决了单集群物理容量瓶颈,实现海量数据扩展。

  • ObjectSet 支持原生配额、权限和计量,极大简化了海量用户的运营管理。

  • Set AccessPoint 为每个用户提供独立域名与差异化策略,打造专属安全入口。

Agent Bucket:万亿级 Agent 原生存储桶精华内容

面对传统对象存储在多租户场景下的种种困境,Agent Bucket 提出了一套系统性的解决方案。其核心在于引入新的资源层级,将复杂的多租户管理难题转化为开箱即用的原生能力。

多租户存储的困境

随着AI Agent应用走向海量用户,传统对象存储如S3和TOS在多租户管理上暴露出明显局限。主流方案有两种:为每个租户创建独立的桶,但这会受限于AWS S3全局仅10000个桶的配额,扩展性极差;或在单桶内用前缀区分用户,但对象存储的扁平化设计导致其高级特性(如权限、生命周期)无法精细化作用于每个用户,容易引发“邻居效应”,即一个用户的高频访问影响整体性能,且权限管控复杂、成本核算模糊,给开发者带来沉重负担。

ObjectSet:多租户原生

Agent Bucket的核心创新是在“桶”与“对象”之间引入了“对象集合”这一原生资源层级。每个终端用户都分配一个独立的ObjectSet,开发者无需再为前缀隔离硬编码逻辑。一个Agent Bucket支持高达1亿个ObjectSet,从而从容服务上亿规模用户。更重要的是,ObjectSet将多租户的棘手需求变为原生能力:可设置独立的QPS、带宽和容量配额,实现真正的故障隔离;每个ObjectSet拥有独立域名,结合STS临时凭证形成“两把锁”的安全机制,极大提升数据安全性。

Set Slice:破解容量瓶颈

当桶内对象数量达到千亿甚至万亿级别时,单个元数据集群的容量会成为物理瓶颈。Set Slice技术提供了一种“逻辑不拆、物理拆分”的解决方案。从逻辑上看,开发者仍管理统一的Agent Bucket;在物理上,系统根据ObjectSet及对象名的范围,将元数据分布到多个不同的集群中。这不仅实现了单集群容量的无限扩展,还通过跨集群物理隔离,防止某个“超级大户”的数据增长挤占全部资源,确保了整体架构的稳定性与性能,且对上层应用完全透明。

Set AccessPoint:独立访问入口

为每个用户提供独立且安全的访问入口至关重要。Set AccessPoint支持为每个ObjectSet开启独立的接入点(独立域名),系统需要支持亿级独立接入点的调度。其安全设计包含两级防护:第一级是隐匿性,每个用户域名是高熵散列的,无法被猜测和穷举;第二级是收敛性,即使访问凭证泄露,其权限也被严格限制在单个ObjectSet内。此外,启发式调度系统还能根据用户标签动态调度,为风险用户隔离入口,为加速用户调度高速通道,实现差异化的服务保障。

超越AI的应用场景

Agent Bucket的设计理念使其应用场景远超AI Agent。在代码仓库场景,可为每位开发者分配一个ObjectSet,实现代码与构建产物的安全隔离。在企业相册网盘中,每个用户拥有独立的ObjectSet,访问高峰互不干扰。在Hadoop数仓领域,可将每个数据库映射为一个ObjectSet,实现逻辑隔离与配额管理。在模型托管平台,每个模型及其版本、配置可打包进一个ObjectSet,便于精细化运维和成本核算。

Agent Bucket 通过引入 ObjectSet 这一创新设计,从根本上解决了海量 Agent 应用的多租户存储难题,让开发者能更专注于业务逻辑本身。这套方案不仅为 AI 时代的基础设施提供了新思路,其设计理念或将为更多面向海量用户的云原生应用带来启示。未来的云存储,是否会因此迎来新的变革?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章