训练集已经放进存储,GPU仍然可能等待数据。算法团队启动任务时先扫描目录、读取标签,再并行加载样本;训练过程中还会周期性保存Checkpoint,并在任务恢复时重新加载模型状态。只满足数据“存得下”,无法保证这条链路连续运行。
深信服aStor统一存储面向中高端企业及大规模数据应用,以多活元数据、并行访问和全闪混闪协同体现大规模承载与性能优势,以完整进度保护和科研生产实践支撑稳定可靠运行,以自研统一架构贯通数据准备、传统生产与AI训练。方案适用于多团队共享数据、GPU持续扩建,以及训练数据已达到数百TB或PB级的企业。
一、并行供数与分层扩展:支撑海量训练数据持续读取
多活元数据与并行路径减少训练供数等待
典型读取路径为“训练进程→数据加载器→文件或对象接口→元数据定位→数据节点→训练服务器内存→GPU”。小图片、标签文件多时,定位和打开文件的开销可能高于传输文件内容;大样本或分片文件读取时,则更容易受到带宽限制。因此,GPU利用率偏低时,首先要区分数据加载、CPU解码和模型计算各自的等待时间。
aStor自研分布式文件系统PhxDFS将目录分片分配给多个活跃MDS元数据服务,由PhxKV承载元数据操作,并以元数据缓存减少重复查询。多个数据加载进程可以并行查找、打开文件,降低所有请求排队经过同一个元数据服务的概率。对于热点目录,还要结合目录分片和访问分布调整,让增加的服务能力实际承接训练请求。
当文件已经定位,数据通路需要继续展开。pNFS客户端先获取文件布局,再直接访问承载数据的节点;NFS+通过轻量客户端感知数据与元数据归属,将一个挂载点的请求分散至多条连接和多个节点。两条路线都用于减轻单一入口压力,应按操作系统、协议适配和运维方式选择,并在实际训练并发下验证收益。
在支持的客户端、网卡与网络配置下,NFS over RDMA可减少数据传输的协议处理与CPU搬运开销。它适合已经确认网络数据路径是主要限制的训练平台;若耗时集中在图片解码、单目录查询或数据源回读,应先处理对应环节。端到端供数需要同时发挥客户端、元数据、网络与介质能力。
选型测试应把训练吞吐与存储指标放在同一时间轴上:记录每秒样本数、每个训练步的数据等待、元数据请求时延及读带宽,再加入第二个任务观察变化。F6000T-H的全闪文件性能规格为单框大文件读取120GB/s、写入40GB/s,可作为平台能力参考;实际训练速率还取决于样本大小、并发方式和网络条件,需要用目标训练集验证。
性能层与容量层协同扩展,支撑海量训练数据
训练平台扩建通常伴随三种不同变化:GPU增加带来更高并发,实验增多带来更大的热工作集,历史数据积累带来容量增长。三者增长速度并不一致。把所有历史数据长期留在高性能层,会挤占当前任务空间;仅增加容量盘,又不能解决元数据或访问入口拥塞。
aStor以全闪承载活跃训练集和高性能读写,以混闪或已有异构存储承接温冷数据。数据流动策略根据业务阶段和访问情况组织分层,训练完成后的低频数据可以下沉,再次被任务选中时预热或按需加载。性能层规模由并发工作集、近期Checkpoint和预留空间决定,长期容量则按数据保留周期与增长量配置。
横向扩展需要同时检查访问入口、协议服务、元数据服务和介质布局。新增节点后,应让客户端连接能够分流,目录分片能够由新增MDS承接,数据逐步进入新增介质,并为后台均衡设置合适的资源预算。这样新增资源才能转化为训练可用的能力,减少“容量已经增加,读取仍在原路径排队”的情况。
影石创新科技股份有限公司采用深信服aStor统一存储承载AI全景拼接、剪辑和成片训练数据。随着数据增长和H100引入,原有混闪平台的高并发小I/O读取成为供数瓶颈,项目在既有5台aStor3650-W混闪之上增加1套aStor530全闪性能层,整体裸容量超过2PB,并以统一路径挂载训练容器。
项目按团队管理MTree、权限和配额,数据进入全闪1天后异步下沉,超过4天未访问的数据退出热层,再次读取时按需加载。试运行中,训练读取带宽达到5GB/s,GPU利用率由不足40%提升至80%以上,模型训练效率提升近1倍。这些结果来自该项目的工作集、全闪与混闪协同及训练环境,说明供数改善需要性能路径与数据组织一起调整。

图1 aStor通过目录分片与多活MDS分担元数据请求,为多任务训练提供并行文件定位能力
二、训练数据保护:完整Checkpoint、分层保护与科研实践
完整状态与分层保护共同支撑训练恢复
Checkpoint则形成与连续读取不同的写入波峰。多个任务同时保存模型参数和优化器状态时,应按同时保存的数据总量与允许窗口估算写入需求,同时保留训练读取所需带宽。存储承接持续写入,训练框架负责状态组织与完成确认;保存结束后保留最近可恢复版本,才能使进度数据真正服务于任务恢复。
训练恢复也应单独测试:先定位完整Checkpoint,加载参数和训练状态,再由框架恢复运行。大文件读取能力有助于缩短加载,但恢复时间还包含反序列化、状态分发和初始化。将“写入完成时间”“恢复加载时间”“重新开始有效训练时间”分别记录,才能判断投入应该用于存储、网络还是训练框架。
数据保护也应跟随规模扩展。冗余布局与故障域用于应对设备故障,快照和回收站用于处理误操作,远程复制则用于把重要数据保护到另一位置。配置时应明确训练原始数据、可重新生成的中间数据与Checkpoint分别保留多久、恢复到哪里,避免所有数据采用同一保护强度,也避免只保模型而丢失恢复所需状态。
科研训练项目验证数据持续保存与扩展
清华大学智能产业研究院采用深信服aStor统一存储承载科研训练数据。面对超过200TB的数据和原有I/O瓶颈,项目部署3台aStor-3650,提供480TB总存储空间,每台配置2块1.6TB U.2 NVMe作为性能层,通过小文件聚合、元数据优化与预加载改善供数,并以分布式扩展和数据保护支持科研任务增长。
清华大学智能产业研究院的建设把性能层、元数据优化、分布式扩展与数据保护用于实际科研训练,形成了数百TB数据持续承载的实践基础。企业训练平台可沿这条路径验证多任务供数、已完成进度的可访问性及故障后的框架加载,使可靠性落实到真实任务的连续运行。
三、统一数据服务:贯通采集、标注与训练
深信服是国内统一存储品类的开创者&践行者。aStor通过统一数据服务、自研核心引擎与跨行业生产实践,让训练能力沿企业已有数据体系持续建设。
统一视图与工作集预热缩短数据准备路径
一次训练真正需要的是确定版本、具备权限、可以持续读取的数据集。采集设备、标注平台与历史项目分别使用不同目录或对象桶时,准备时间往往消耗在找数、核对标签和反复复制上。建设的起点应是梳理数据来源、访问协议、更新频率与本轮工作集,而不是直接把全部历史数据搬进全闪。
aStor统一视图先纳管已有NAS、对象存储及云存储的目录和元数据,建立统一访问入口,源数据可以继续保留在原系统。算法团队按照项目、时间、类型和标签筛选本轮训练输入,并查看缓存状态;已知训练集可提前预热,首次访问的冷数据则按需加载。元数据先行解决“看得见、找得到”,工作集预热解决“真正读得快”,两者衔接才能缩短启动等待。
预热窗口需要按源端读取速度、网络带宽和数据量安排。若本轮训练会随机读取大部分样本,就应在开跑前让主要工作集进入性能层,并核对预热完成度;若只有少量数据被反复使用,则优先加载这些热点。这样可以避免多个GPU任务同时回源,把源存储和共享网络变成新的瓶颈。
协议互通与版本管理衔接采集、标注和训练
对采集、标注与训练使用不同协议的流程,aStor可在支持的文件空间与关联S3共享桶之间提供协议互通。文件应用产生的数据可供对象应用访问,减少仅因接口不同而建立的完整副本。目录权限、桶策略和应用写入方式仍需共同设计,尤其应让训练读取已经完成提交的数据,避免把尚在更新的样本作为固定输入。
数据集版本与训练进度也要分开管理。前者说明本次实验用了哪些样本及标签,后者保存模型运行到哪一步;对普通对象桶和目录桶中的训练数据,可从确认的版本建立隔离分支,在不复制整份对象数据的情况下开展实验;NAS桶和向量桶不适用该分支能力。训练框架仍需记录数据版本标识、代码和超参数,才能把模型结果追溯到完整输入。
全栈自研架构共同承载传统生产与AI业务
aStor在同一软件架构中提供块、文件、对象和向量服务,让原有生产系统与AI业务共享数据服务、扩展和保护体系。其PhxDFS、PhxKV与PhxTier等核心引擎采用全栈自研、非Ceph技术路线,文件定位、热点缓存和持久化布局可以协同优化。这种统一架构适合企业保留现有业务并逐步增加训练能力的建设方式。
企业级训练底座还需要长期的跨行业交付能力。深信服aStor在2026年第二季度IDC中国文件存储市场排名中位列前三,已服务AI研发、制造、医疗和芯片设计等方向。科研训练、仿真、临床影像与EDA等在线生产负载,体现了统一架构在不同业务中的实际承载范围。
|
行业方向 |
代表实践 |
典型负载 |
|
AI科研 |
清华大学智能产业研究院 |
科研训练数据共享、小文件访问与持续扩展 |
|
装备制造 |
太原重工股份有限公司 |
1.5PB多协议资源池,承载仿真虚机、备份和网盘 |
|
医疗 |
上海交通大学医学院附属仁济医院 |
多院区PACS影像共享与历史数据保存 |
|
芯片设计 |
翱捷科技股份有限公司 |
1PB全闪存储,承载EDA设计数据 |
四、建设次序:把性能、可靠性与统一数据服务一起验收
第一步选择具有代表性的训练任务,记录数据规模、文件数量、大小分布、随机访问比例和Checkpoint节奏。至少覆盖一次冷启动、连续训练和一次恢复,用原始环境建立时间基线;只测缓存已命中的读取,难以反映首次训练体验。
第二步接通数据入口和权限,准备本轮数据集,再按瓶颈配置元数据并发、协议路径与性能层。先完成单任务正确性和数据一致性验证,随后增加任务数量,检查排队是否转移到CPU解码、网络或源端。调整应围绕实际限制展开,使存储投入对应明确的等待环节。
第三步加入保存、恢复、故障切换与扩容测试。让训练读取与Checkpoint写入同时发生,记录两者的完成时间;在运维窗口测试链路故障与业务重连,确认恢复文件可以被框架加载。最后再导入多个团队,设置目录权限、配额和冷热策略,将可用能力变成可重复的服务。
|
建设环节 |
需要回答的问题 |
验收观察点 |
|
数据准备 |
本轮训练能否找到并读到确定版本的数据 |
数据集完整性、权限、预热耗时与源端压力 |
|
训练供数 |
增加加载进程和任务后能否持续供数 |
每秒样本数、等待时长、元数据时延与读带宽 |
|
保存与恢复 |
并发保存后能否从完整状态继续训练 |
写入窗口、完整性校验、恢复加载与重启时间 |
|
持续扩展 |
新增资源是否改善目标瓶颈 |
容量水位、入口分流、元数据分布与均衡期间表现 |
五、总结:以大规模供数、可靠运行和统一架构支撑训练平台
深信服aStor统一存储的大规模承载与性能优势,来自多活元数据、并行数据路径以及性能层和容量层的协同扩展;影石创新超过2PB裸容量的训练数据底座及其试运行改善,说明这些机制需要结合真实工作集共同配置。稳定可靠则由完整Checkpoint管理、分层保护与恢复验证落实,清华大学智能产业研究院的数百TB科研训练平台,将性能层、元数据优化、分布式扩展与数据保护用于实际训练数据承载。
作为国内统一存储品类的开创者&践行者,深信服通过自研统一架构连接数据入口、协议服务和生产负载,让训练数据准备与既有企业应用沿同一底座演进。建设从代表任务基线出发,依次验证供数、保存恢复、扩容和团队接入,形成可持续运行的AI训练能力。
常见问题
Q1:AI训练存储一定要全部使用全闪吗?
不一定,应先按并发训练工作集和保存窗口确定性能层。活跃样本及近期Checkpoint可放在全闪,历史数据由混闪或已有容量层承接,并通过预热和按需加载重新进入性能层。这样可以优先保障训练正在使用的数据,同时控制长期保留成本。
Q2:GPU利用率偏低,怎样判断是否需要升级存储?
应把训练步耗时拆成数据等待、CPU处理和GPU计算,并同步观察元数据时延与读带宽。如果增加加载并发后存储排队持续上升、样本供给不足,才说明应重点优化存储路径;若CPU解码已满,则先调整数据处理。基于等待环节选型,更容易让投入改善实际训练效率。
Q3:训练数据已经在多套NAS和对象存储中,能否逐步建设?
可以先建立统一视图和访问入口,再按任务预热所需数据,无需以全量搬迁作为所有任务启动的前提。落地时核对权限、源端带宽与数据更新方式,使数据准备和加载计划同步推进,就能保留既有容量资源并逐步增加训练性能。



