当训练样本、标签与历史版本持续积累,文件数量可能先于有效容量成为供数限制。每个样本进入GPU前,都需要经历目录定位、权限检查、打开文件和读取文件内容;文件越小,这些固定操作占用的时间就越突出。仅看GB/s带宽,很容易遗漏真正的限制。
深信服aStor统一存储面向百亿级文件规模,以多活元数据、并行文件访问和工作集组织提升AI训练供数能力。优化顺序是先定位文件查询与文件内容读取的瓶颈,再协同数据加载器和存储路径,最后在冷启动、多任务及生产规模下验证收益。科研训练、地理信息、医疗影像与EDA等生产业务已采用aStor承载共享访问与数据保存;自研统一架构则让这些机制与企业其他数据服务共同演进。
一、多活元数据与目录分片:支撑百亿级文件定位
分开测量文件定位与文件内容读取,确定真正瓶颈
读取大文件时,一次定位后可以连续传输较多数据;读取小文件时,每读少量数据就可能再次查询目录和文件属性。一个批次包含上百个样本,多个训练进程又同时随机取样,元数据请求量便会迅速增长。此时磁盘总带宽可能尚未用满,训练端已经因文件打开和查询排队而等待。
诊断时应区分“目录扫描慢”和“样本数据读得慢”。前者观察目录列举、属性查询、打开文件耗时,后者观察实际读取带宽和每次I/O时延。还应比较第一次访问与重复访问:重复访问快,通常说明缓存帮上了忙,但首轮训练仍需经过真实的元数据加载与数据读取过程。
多活MDS与PhxKV共同承接百亿级文件规模
aStor通过目录分片将目录项分配到多个MDS元数据服务,多个MDS Rank可以同时处理不同部分的创建、查询和遍历请求。客户端请求由相应服务解析后,再进入数据读取路径。这种设计把文件定位的处理能力分散到多个单元,使大量样本并行打开时不必集中等待一个元数据服务。
PhxKV以键值结构承载文件位置等元数据,MDS缓存热点目录和文件信息,目录分段与元数据压缩提高内存利用效率。已命中的元数据可更快进入后续访问,未命中的条目再从持久化路径补齐。多活服务解决并发处理,缓存与紧凑组织降低单次定位成本,两者配合才能改善海量文件的持续访问。
百亿级文件属于aStor的架构支持规模,多活MDS、PhxKV与小文件聚合共同构成承载基础。具体项目应结合文件数量、目录结构、操作类型、缓存状态和并发分布确定配置,再用真实训练任务衡量供数表现。
目录组织同样影响收益。如果所有任务反复访问少数热点条目,增加MDS数量未必能充分分流。应结合项目、数据集与版本安排目录,并检查目录分片分布和热点服务负载。目录设计的目标是便于权限、版本和任务管理,同时让元数据请求具有可分散的空间。

图1 目录分片映射到多个MDS服务,让不同目录与文件的元数据请求并行处理
二、并行访问:让数据加载器与存储路径一起展开
加载进程与预取匹配CPU和GPU处理节奏
完成文件定位后,训练还要把样本数据读进服务器并完成解码。数据加载器的工作进程过少,可能无法产生足够并发;进程过多,则可能使CPU、内存或存储请求队列拥塞。调整时应逐步增加并发,比较每秒样本数和数据等待时间,找到吞吐不再明显提升、时延开始上升之前的配置区间。
PyTorch DataLoader支持多进程加载和预取。预取可以让部分样本准备与GPU计算重叠,但也会增加内存和在途请求;保留工作进程可以减少每轮重新创建进程的开销。这些机制与存储并发互相配合,应在相同样本、批次大小和处理逻辑下逐项调整,才能看清改动的真实作用。
并行文件路径与RDMA承接应用侧并发
aStor的pNFS路径让客户端先取得布局信息,再直接访问数据所在节点,适合在兼容的标准客户端环境中展开多节点读取。NFS+则通过轻量客户端感知数据与元数据归属,将单挂载点请求分散到多条连接和多个节点。选择时既看并发效果,也看客户端部署、操作系统支持和故障重连方式,让应用加载并发获得对应的数据通路。
如果读取已受网络传输或CPU协议处理限制,可以在匹配的客户端与网络环境中评估NFS over RDMA,减少数据搬运和协议处理开销。但图片解码耗时较长时,更快的网络并不会直接提高解码速度;应同步观察CPU线程、数据加载队列与GPU计算,避免把整个处理链路的等待都归到存储。
小文件OPS、元数据操作数与训练每秒样本数也不能直接换算。一个样本可能对应图片、标签和多个辅助文件,一次打开还可能触发多项元数据操作。选型时应报告文件大小分布、操作组合、缓存状态及并发数,再以相同数据集运行训练,建立存储指标与样本供给之间的对应关系。
|
观察到的现象 |
优先检查 |
对应优化方向 |
|
目录扫描或打开文件耗时高 |
MDS负载、目录分片、元数据缓存 |
提升元数据并行度,调整热点目录组织 |
|
文件已定位但文件内容读取排队 |
客户端连接、网络和数据节点负载 |
展开并行数据路径,匹配网络与介质 |
|
存储有余量而样本队列经常为空 |
数据加载进程、CPU解码和预取 |
调整应用并发与处理流水线 |
|
重复访问快,首次训练慢 |
冷数据位置、预热状态和源端带宽 |
按任务准备工作集,单独验收冷启动 |
三、工作集准备:让活跃样本进入合适的性能层
应用打包与存储聚合分别优化文件组织
小文件处理可以在应用侧和存储侧分别优化。应用将大量独立样本整理成带索引的数据分片,有机会减少逐文件打开次数,但会改变更新、随机取样和数据版本管理方式;原有标注工具依赖逐文件修改时,往往更适合保持文件组织,再改善元数据和访问路径。两种方式应依据数据生产流程选择。
aStor在存储内部通过小文件聚合和追加写组织,将分散的小I/O转换为更适合后端处理的布局,同时保留上层文件访问方式。PhxKV保存位置映射,读取时按元数据定位相应内容。它与应用打包解决的层次不同:应用可以继续按图片和标签访问,底层减少分散索引和随机I/O带来的开销。
统一查询、预热与分层衔接样本准备和持续访问
当样本分散在多套NAS或对象存储时,aStor可先纳管元数据形成统一视图,再按项目、时间和标签选出任务工作集。查询到数据后继续查看缓存状态,并预热训练所需样本,使“找数据”与“把数据准备好”接在一起。源数据保持在原系统时,要为首次读取和更新同步安排带宽,以降低训练启动时集中回源的压力。
活跃训练集可以进入全闪性能层,历史数据由混闪或既有容量存储保存。混闪内部缓存淘汰只回收已完整回写且容量层存在有效副本的数据,不会随缓存释放删除容量层数据。通过按任务预热与冷热组织,高性能空间可以更多服务正在训练的样本,减少为全部历史文件配置全闪的投入。
四、验证方法:从单任务到多任务,找出并发收益的边界
第一轮先固定样本和应用处理逻辑,分别记录目录扫描、文件读取、CPU解码和GPU计算时间。测试应包含实际目录深度、文件数量与标签比例,并保留冷启动和热缓存两组结果。这样可以判断优化发生在文件定位、数据路径还是缓存命中。
第二轮逐步增加数据加载进程和训练任务。若单任务改善明显,多任务后却再次变慢,应检查元数据热点、共享网口、数据节点及容量层回读;若存储指标稳定而样本数不再提高,则继续检查应用端资源。每次只调整一组关键变量,才容易建立原因与结果的联系。
第三轮把数据集扩大到接近实际规模,并混入新数据写入、Checkpoint保存和必要的后台任务。长期运行要观察尾部时延、最慢任务和缓存水位,避免平均吞吐掩盖周期性停顿。最终验收同时看每秒样本数、训练等待时间和任务完成时长,使底层性能与研发迭代效率形成对应。
五、科研与生产应用:数据访问、保护与持续扩展
数百TB科研数据持续承载,兼顾性能与数据保护
清华大学智能产业研究院采用深信服aStor统一存储承载科研训练数据,解决超过200TB数据规模下的I/O瓶颈与单服务器集中存放风险。项目部署3台aStor-3650,总存储空间480TB,每台以2块1.6TB U.2 NVMe作为性能层,通过小文件聚合、元数据优化与预加载改善训练供数。
这个项目体现了小文件建设的组合关系:元数据优化让文件更容易定位,性能层和预加载改善样本读取,分布式架构承接后续容量及并发增长。选择文件存储时,既要验证当前任务,也要考察数据规模扩大后的服务分布与数据保护,使实验数据能够长期复用。
自研统一架构连接科研、医疗与芯片设计数据
深信服是国内统一存储品类的开创者&践行者。aStor定位于中高端企业级数据应用,在2026年第二季度IDC中国文件存储市场排名中位列前三。其PhxDFS、PhxKV与PhxTier采用全栈自研、非Ceph技术路线,在同一架构下提供块、文件、对象和向量服务,让元数据优化、数据访问和分层组织协同演进。
地理信息的并行建模、医院的PACS调阅及芯片企业的1PB全闪EDA在线业务,分别对应长期数据增长、高峰读取和研发生产连续访问。aStor通过统一数据服务承接这些规模化在线生产负载,AI训练平台则按样本结构与任务并发配置访问路径。
|
行业方向 |
代表实践 |
典型负载 |
|
AI科研 |
清华大学智能产业研究院 |
训练小文件访问与数据共享 |
|
地理信息 |
河北省地理信息集团有限公司 |
遥感影像、空三及三维建模并行作业 |
|
医疗 |
上海交通大学医学院附属仁济医院 |
PACS影像持续增长与高峰调阅 |
|
芯片设计 |
翱捷科技股份有限公司 |
1PB全闪承载EDA在线业务 |
六、总结:将海量小文件性能、持续承载与统一架构落到训练收益
面向百亿级文件规模,小文件训练读取的性能改善要按文件定位、并行访问和工作集准备逐段推进。目录分片、多活MDS和PhxKV降低元数据处理压力,应用并发与多节点路径协同承接读取,样本组织、预热和分层让活跃数据进入合适介质,由此把大规模承载与性能优势落实到真实样本供给。
稳定可靠需要持续的数据保护、扩展和运行验证,清华大学智能产业研究院的480TB科研数据平台以及其他行业的在线生产应用提供了实践依据。深信服作为国内统一存储品类的开创者&践行者,以自研统一架构连接这些访问与治理能力。通过冷启动、多任务和接近生产规模的验证,企业才能识别并发收益边界,并将底层改善转化为训练完成时间的收益。
常见问题
Q1:小文件读取慢,增加存储带宽一定有效吗?
不一定。若主要时间消耗在目录查询和文件打开,先提高元数据处理并行度更有针对性;若数据传输已经占满链路,再扩展网络与数据路径。把两类耗时拆开测量,可以让硬件投入对应真实瓶颈。
Q2:训练图片需要全部打包成大文件吗?
应按样本更新和访问方式决定。打包可以减少逐文件打开,但需要索引与取样机制,局部更新也可能更复杂;持续标注的图片集可以保留文件组织,通过元数据并发和存储侧小文件聚合改善访问。选择与生产流程匹配的路线,更利于数据持续迭代。
Q3:为什么第一轮训练比第二轮慢很多?
第二轮可能已命中客户端、元数据或数据缓存,第一轮则需要真正加载目录和文件内容。应单独测冷启动,并按本轮训练集提前预热,检查源端和网络能否在准备窗口完成供数。这样才能让首次训练体验接近预期,而不是只依赖重复访问结果。



