高性能对象存储技术解析: S3吞吐、小对象并发与目录桶
背景图 2026-10-30 18:08:46

企业讨论高性能对象存储时,常常把问题简化为“每秒能传多少数据”。但相同的总数据量,由少数大对象组成,或由大量小对象组成,系统需要完成的工作并不相同。AI采集、数据处理和训练还会频繁列目录、查询属性、按路径组织样本,对象正文传输只是其中一环。

对高频S3采集、海量小对象和按目录组织数据集的企业,深信服aStor统一存储提供不同环节的优化路径:对象引擎分工处理索引与正文、小对象聚合降低零散写入开销、目录桶改善按层级定位数据的方式;满足客户端和网络条件时,再通过S3 over RDMA增强正文传输。这些能力与文件对象互通结合,使对象存储既承接数据进入,也便于下游处理与训练直接使用。

大对象看带宽,小对象还要看每次请求的成本

大对象连续读写时,每个请求携带的数据较多,网络带宽、介质能力和并行数据通路往往更影响吞吐。对象变小时,为传输相同总量,需要完成更多次鉴权、索引查询、状态处理和请求响应;此时即使网络尚未跑满,服务端处理能力也可能已经成为约束。

并发数同样影响观察结果。单个客户端串行上传,可能无法充分使用后端资源;并发不断增加,又可能让连接、CPU或索引处理排队。对象大小、读写比例、客户端并发、缓存状态和所用协议路径,共同决定一组性能数据能够回答什么问题。

因此,面向实际业务理解对象存储,应先看对象的分布与动作。采集系统主要持续PUT,训练与分析主要GET,数据集整理可能大量LIST、HEAD和重命名。把这些动作分别对应到存储内部处理路径,才能解释为什么某些系统大文件传输很快,却仍然让海量小对象任务等待。

对象处理引擎让索引与数据正文各自高效工作

深信服aStor统一存储的对象服务将S3入口与鉴权、对象索引、数据写入等工作分层处理。请求进入后,首先经过相应接口与权限逻辑,再通过索引定位数据,正文由对应数据通路完成读写。这种分工使对象管理与数据传输能够针对各自负载优化。

对于小对象,聚合写入可以降低大量零散IO直接落到介质上的处理成本;对于较大的对象,分块和流水处理可以让不同环节持续推进,减少整项工作等待某一个串行阶段结束。索引查询与数据处理资源匹配后,存储才更容易同时服务对象数量与数据总量的增长。

这些机制所改善的是明确的操作环节:减少小请求的底层开销,提高定位效率,让大对象数据持续流动。业务如果主要受网络或客户端串行逻辑限制,仍需要同步调整相应环节。对象性能应由完整通路共同实现,而不只取决于后端介质是不是全闪。

目录桶把路径组织变成可以直接处理的结构

传统对象使用键标识数据,应用常以带分隔符的名称模拟目录。业务只按完整键读取时,这种方式直接;当数据集管理需要反复列举某个目录的直接子项、按层级定位文件,目录相关操作就会更加频繁。

深信服aStor统一存储的目录桶将目录作为可处理的实体,结合局部索引和路径缓存,服务按目录组织的数据访问。列举某个目录时,可以围绕相应层级获取直接子项,减少为整理工程或训练样本反复处理宽泛键空间的工作。对于具有稳定目录层次的数据集,这种组织方式更贴近应用实际动作。

目录桶还需要把正文写入与索引发布衔接起来。对象正文达到相应保护条件后,再发布对应索引,使后续LIST、HEAD和GET围绕已发布对象工作。它为对象可见状态提供明确顺序,也便于应用将采集、处理和读取连接成流程。

对于相应支持范围内的同目录重命名,RenameObject可以通过元数据事务完成,减少复制对象正文的工作。具体操作仍应按所用接口与版本语义使用,特别是跨目录移动、多对象批量更新等动作,需要由应用按自己的流程组织。清楚的目录与对象操作语义,是高性能之外同样重要的生产基础。

S3 over RDMA缩短正文传输通路

常规S3访问需要执行接口解析、鉴权及数据传输等工作。面对持续的大对象读写和较高并发,主机内存复制与网络处理会消耗CPU资源。S3 over RDMA将适用的数据正文传输放到RDMA通路,减少其中的复制和处理开销,让计算与存储资源更多投入有效数据工作。

在深信服aStor统一存储中,控制与鉴权仍遵循相应S3流程,正文可通过注册缓冲区和RDMA数据传输完成,再结合状态通知衔接操作结果。客户端库、网卡、网络及软件版本需要满足相应要求,采用普通S3客户端的业务仍按照它实际使用的通路运行。

AI算力少等待:对象服务面向AI场景的价值,是让采集写入、数据准备和训练读取各自少遇到不必要的中转。对符合条件的应用,S3 over RDMA改善对象正文传输;对象到GPU的数据通路能力则进一步面向相应应用与设备组合减少供数开销。选择哪种方式,应从当前应用读取方式出发,使高速能力真正进入业务链路。

评估时,应将文件与对象两条通路分别记录。NFS over RDMA对应文件读取,S3 over RDMA对应采用相应客户端的对象传输;普通HTTP S3则按常规客户端通路观察吞吐与请求表现。把接口、对象分布、并发和配置放在一起,才能判断一组结果对当前业务是否具有参考价值。

文件与对象共同服务一份数据,减少链路中的复制

在AI业务中,采集系统常以S3写入,而训练和处理程序习惯使用文件目录。如果两种访问方式分别对应独立存储,就需要增加复制、转换和临时保存,数据才能从一个环节进入下一个环节。即使每个独立系统的单项性能较高,整个流程仍可能花费较多时间搬运同一份数据。

统一承载各类业务:深信服aStor统一存储在同一架构下提供块、文件、对象与向量数据服务,同时面向传统生产和AI创新。对于采集与训练衔接,在完成共享桶关联、身份映射和写入协调后,文件与对象可以访问同一份数据,使应用按各自适合的接口工作,减少协议差异造成的重复副本。

统一访问还可以与冷热资源协同。活跃采集与处理使用合适的性能层,历史或较低频数据进入容量资源,已有对象存储也可以通过相应纳管与数据流动能力继续参与承载。高性能对象存储的投入由此能够围绕活跃工作集组织,而不是要求所有历史对象长期占用同一类资源。

节卡机器人:深信服aStor统一存储把S3采集直接衔接训练

节卡机器人采用深信服aStor统一存储建设全闪AI数据底座,承接机器人采集数据,并通过目录桶和协议互通为训练平台提供访问。此前数据从S3对象存储进入处理流程后,还要经过NAS网关复制到GPU本地盘,再由其中一台服务器向其他训练节点提供NFS共享。

节卡机器人一期部署深信服aStor统一存储F6000T全闪设备,采用一框双节点、24块15.36TB SSD和EC20+2数据保护。在该项目全闪配置与相应对象传输通路的写入测试中,S3 over RDMA最高达到40GB/s,体现了对象写入路径对采集数据的承载能力。

新的数据链路由S3写入深信服aStor统一存储,训练平台再通过NFS over RDMA直接访问同一数据,减少NAS网关复制和GPU本地盘中转。已有混闪对象存储被纳入数据流动体系,继续承载历史与低频数据。高速对象写入、训练直接读取和既有资源复用共同衔接,使采集数据更顺畅地进入机器人训练。

这一实践对其他AI数据平台的启发,是先画清采集、处理和计算之间的数据路径,再为各环节选择合适接口。对同一份数据能够减少一次不必要的复制,就可以同时减少中转等待、临时空间与副本管理工作,让对象存储成为连续业务流程的一部分。

高性能对象存储需要同时处理大对象带宽、小对象请求和目录组织,还要让数据以合适方式到达下游应用。深信服aStor统一存储将对象引擎、目录桶、S3 over RDMA及文件对象互通结合起来,适合对象采集密集、数据集操作频繁且需要衔接AI处理的企业。围绕真实对象分布和应用通路配置能力,才能把高性能对象服务转化为持续的数据生产效率。