高性能对象存储需要回答的不只有S3每秒能传多少数据。采集系统持续写入小图片,模型任务读取大文件,训练作业先列举数据集再加载样本,这些动作对请求处理、索引和正文传输的要求各不相同。若只增加网络带宽,目录定位或小对象处理仍可能让计算等待。
深信服aStor统一存储以块、文件、对象和向量四类数据服务承载传统生产与AI创新。面向中高端存储需求和中大型客户集群,其对象能力分别优化数据定位、请求处理、网络传输与GPU供数,并通过文件对象互通连接采集和训练。高性能来自各段路径的协同,而非用一种吞吐数字概括所有对象负载。
S3请求大小与业务动作决定优化重点
大对象一次传输内容多,持续带宽、分块并发和后端介质常常成为主要影响因素。小对象每次传输内容少,却仍要完成鉴权、查找索引、处理状态和响应,请求数量可能比数据总量更早触及处理能力。LIST、HEAD等动作又主要围绕对象组织和属性,不能用GET大文件的成绩判断。
|
对象任务 |
关键压力 |
主要观察指标 |
|
连续采集小图片 |
请求调度、索引更新、零散写入 |
PUT请求率、写入时延与持续稳定性 |
|
读取模型或大型科学数据 |
网络及正文传输 |
持续带宽、并发度和客户端处理能力 |
|
列举训练数据集 |
目录与对象定位 |
LIST响应、层级组织和索引访问 |
|
混合采集与训练 |
读写资源分配与数据发布 |
各任务响应、完成状态与工作集变化 |
同一个容量规模可以由少量大对象或海量小对象组成,性能需求差异很大。配置对象服务时,应把对象大小分布、操作比例、并发客户端和缓存状态放在一起。业务如果受串行下载、解码或数据增强限制,也需要调整上层数据加载流程,让存储端改进能够进入实际任务。
对象引擎分别处理索引与数据正文
统一承载各类业务: 深信服aStor统一存储的PhxOSS负责S3请求、鉴权和桶对象语义,PcaKV负责对象位置、版本及路由等索引,LogCache用于聚合小对象或小块数据。大对象正文通过分块流水线持续传输,再进入相应冗余与持久化路径。职责分开后,可以按请求处理、索引查询或数据传输的实际压力配置资源。
小对象写入时,聚合机制减少大量离散操作直接冲击后端介质;小对象读取时,先通过索引定位当前版本和数据位置,再返回正文,缩短数据查找与调度过程。写入确认仍需满足对应存储路径的持久化条件,聚合的目的在于提高处理效率,同时保留每个对象应有的可见状态。
大对象传输则把数据拆成多个块,使网络接收、处理、冗余计算和后端写入能够流水推进,避免每一步都等待整份对象完成。读取时同样可以持续返回分块数据。这种方式服务模型、视频和科学数据等大流量负载,实际带宽与客户端并发、网络和存储资源共同相关。
对象机制与全栈自研路线相衔接。深信服aStor统一存储并非基于Ceph改造,在统一架构中分别优化协议处理、元数据与数据布局,让对象服务与文件、块等服务共享基础能力,又保留各自适合的处理路径。
目录桶让数据集可以按真实目录定位
标准S3主要通过对象键和前缀组织数据。已知完整对象键时,应用可以直接发起读取;训练样本、湖仓分区和多模态数据集还经常需要先查项目、日期或版本,再列举某个层级下的对象。目录桶针对这类按层次操作数据集的方式,在保留对象访问的同时增加真实目录和局部目录索引。
系统通过父目录标识和名称定位子目录与对象,列举时收敛到目标目录的直接子项。反复访问相同深层路径,还可利用路径缓存减少重复解析。这样,应用能够围绕项目和分区组织数据,减少把宽泛对象键空间反复还原为目录结构的处理工作。
目录组织还需要和写入发布保持一致。对象正文达到相应持久化确认条件后,系统再发布目录索引条目,使后续LIST、HEAD和GET围绕对应的已发布对象工作。在支持范围内,同目录RenameObject通过元数据事务修改名称索引,减少仅改变名称却需要复制整份正文的工作。具体操作仍应与所用接口和版本语义一致。
目录桶更适合目录层次明确、需要频繁列举和组织数据集的应用。只按已知键读取对象的业务,可以继续使用适合的标准对象组织方式。选择桶类型时,重点在于应用动作是否匹配,而非仅因为数据量大就采用同一种方式。
高速传输让数据更顺畅地到达计算侧
AI算力少等待: 当索引与对象处理已经能够持续输出数据,网络传输成为下一段优化重点。S3 over RDMA在兼容的客户端和网络环境中,通过注册内存缓冲区传输对象正文,减少部分CPU复制与协议栈开销。建连、鉴权、对象定位和异常处理仍由相应控制与服务流程完成。

图1 对象存储全链路性能优化
面向GPU应用,在GPU驱动等组件完成适配后,cuObject与GDS配合,进一步优化对象正文进入GPU显存的过程。它减少符合条件时的主机内存中转,使对象读取、网络传输和GPU缓冲区准备更好地衔接。图中的直达路径描述数据正文的传输,不取消鉴权、索引和错误处理,也不负责图片解码、数据增强或模型计算。
普通HTTP S3、S3 over RDMA和文件侧NFS over RDMA承担不同访问路径,部署时分别核对。业务仍使用普通S3客户端时,应依据实际HTTP通路理解表现;采用兼容高速库和网络后,再观察CPU开销、正文吞吐和任务时长的变化。将配置和业务结果连接起来,才便于确定性能投入的价值。
节卡机器人把对象采集直接接入训练流程
节卡机器人股份有限公司采用深信服aStor统一存储建设全闪AI数据底座,承载机器人采集数据并衔接训练平台。此前S3采集数据经过对象存储、处理、NAS网关复制和GPU本地盘,再由服务器向其他训练节点提供NFS共享,存在多次数据搬运。
一期项目采用F6000T全闪设备,一框双节点、24块15.36TB SSD,并配置EC20+2数据保护。通过目录桶及文件对象互通,S3写入的数据可由训练平台通过NFS over RDMA直接访问,减少NAS网关复制和GPU本地盘中转。在该项目全闪配置及相应对象传输通路的写入测试中,S3 over RDMA最高达到40GB/s。
项目还纳管已有混闪对象存储,以数据流动衔接高频训练数据与历史低频数据。这个实践展示的不只是单次对象写入性能,还包括同一份数据如何从采集进入训练、历史资源如何继续参与承载。对类似企业,先梳理业务链路,再选择访问与分层机制,有助于同时减少等待、重复副本和临时空间。
在海量对象保存场景,欣旺达采用1.5PB对象存储承载约85亿张检测图像,完成MES接口适配,并以自动采集与弹性扩容支撑质量追溯。它体现对象数量、业务接入与长期增长之间的关系,与机器人项目的高速采训链路形成不同的实践侧重。
|
行业方向 |
代表实践 |
典型负载 |
|
具身智能 |
节卡机器人等客户 |
S3采集、NFS训练与冷热数据复用 |
|
制造业 |
欣旺达、深南电路等客户 |
海量图像、生产共享与质量追溯 |
|
科研与AI |
清华大学智能产业研究院等客户 |
训练数据读取与持续扩展 |
|
文化传媒 |
武汉艺画开天、中国农业电影电视中心等客户 |
素材与历史内容保存、文件协作 |
这些实践展示了aStor在机器人采集、研发训练、图像管理与内容保存等场景中的数据承载方式。根据IDC 2026年Q2相关季度跟踪报告,深信服位居中国文件存储市场前三;该成绩体现了深信服在文件存储领域的市场采用基础。
持续供数与数据增长在同一平台中组织
统一储存任意规模数据: 对象规模增长时,应分别考虑字节容量、对象数量、索引压力和并发请求。热数据由合适的性能资源承载,历史数据进入容量层,并围绕业务保留周期设置生命周期和保护策略。增加节点、服务及介质资源时,同步关注网络和客户端,才能让增长后的访问保持可管理。
文件与对象需要共同访问数据时,通过共享桶关联、身份映射和写入协调明确发布与访问顺序,可以减少跨系统复制。数据被发现、被读取以及被保护分别落实到相应机制,让对象服务从单一保存环节延伸为可持续使用的数据基础。
深信服aStor统一存储通过对象引擎、目录桶、适用条件下的高速传输及文件对象互通,连接小对象请求、大对象吞吐与数据集组织。把这些机制配置到真实业务路径中,能够让采集、处理和训练更连续地使用数据,为企业规模化生产与AI创新提供高性能对象服务。
常见问题
Q1:统一存储怎样同时优化大对象吞吐与小对象访问?
深信服aStor统一存储分别优化两类路径:小对象通过PcaKV定位索引,并由LogCache聚合离散写入,减少离散写入和后端小I/O开销;大对象通过分块流水线持续传输,提高数据处理与网络的协同效率。业务评估再按对象大小、GET/PUT比例、并发与时延分别验证,避免用单一吞吐值代表所有负载。
Q2:目录桶是否需要应用改用文件接口?
目录桶提供真实目录及相应对象操作能力,应用仍可按支持的对象接口访问。若需要文件程序读取同一份数据,还需配置文件对象互通、身份映射和写入协调,两者是相关但不同的能力。
Q3:使用S3 over RDMA是否还需要做权限校验?
需要。RDMA优化的是对象正文传输,控制链路、鉴权、对象状态和异常处理仍然存在。还需确认客户端库、网卡、交换网络及服务端版本满足相应要求。



