大规模多任务Checkpoint存储:并发写入与可靠恢复设计
背景图 2026-11-18 10:51:28

训练已经运行数小时,多个任务同时保存进度,写入却迟迟不能完成;重启任务时,即使找到了Checkpoint目录,也可能还要等待文件加载和状态恢复。Checkpoint连接着“已完成的计算”与“下一次继续训练”,存储设计需要同时回答保存窗口、完整性和恢复时间三个问题。

Checkpoint存储首先服务于稳定可靠的训练运行:完整状态、持久化保护与生产数据持续可用共同构成恢复基础。深信服aStor统一存储以高性能共享路径承接集中写入,以数据保护和真实科研、具身智能项目实践支撑可靠访问,并通过自研统一架构连接训练与其他生产业务。建设依次定义完整状态、安排集中写入、验证恢复加载,再落实保留与保护,使大规模任务获得可执行的保存和恢复路径。

一、完整保存状态:先明确哪些数据构成一次可恢复进度

状态内容与完成记录共同定义恢复入口

用于继续训练的Checkpoint通常不只有模型权重,还包含优化器状态、训练步数或轮次等信息。分布式训练可能由多个进程分别写入分片,再以元数据记录它们的对应关系。规划容量和写入窗口时,应以实际生成的完整Checkpoint为单位,不能只拿模型参数文件大小估算。

保存流程可以分为状态准备、数据写入和完成确认。状态准备把当前训练状态整理为可保存内容;数据写入把训练状态数据及相关元数据送入存储;完成确认则标明哪些文件共同构成一个可恢复版本。若最后一个分片尚未写完,即使目录已经出现,也不能把这一轮进度作为恢复入口。

版本管理与异步完成确认防止误用半成品

工程上宜为每轮保存分配独立目录或版本标识,完成全部分片与框架规定的元数据提交后,再更新可恢复版本记录。失败任务留下的临时数据应与已完成版本分开管理,保留上一个可用Checkpoint。这样任务重启时能够直接选择完整状态,避免根据目录修改时间误选半成品。

同步保存会让训练等待保存完成,结构清晰但暂停窗口较明显;异步保存可以将部分写入与后续训练重叠,但需要额外CPU内存缓存状态,并控制尚未完成的保存请求数。采用异步方式时,应按框架要求分别确认状态暂存和后台写入完成,避免前一轮尚未落定就连续堆积下一轮任务。

二、集中写入:按任务重叠窗口规划并行访问与回写

按真实数据量与允许窗口计算混合负载

多个训练任务在相近步数或固定时刻保存时,会形成集中写入波峰。需求估算应使用“同一窗口内需要完成的Checkpoint数据量÷允许写入时间”,再为正常训练读取、协议开销和后台任务预留资源。这是规划起点,实际完成时间仍需用真实分片结构和并发任务测试。

例如,4个任务各保存300GB数据,希望在120秒内完成,按十进制单位估算,纯数据写入平均需求约10GB/s。这一示例还没有包含同时训练的读取、状态准备和完成确认时间。若框架允许错开保存时点,可以减少峰值重叠;如果保存窗口不能调整,就应按同时发生的负载配置存储与网络。

多节点并行访问与持续回写承接连续保存

aStor的共享文件服务通过多节点承载数据,并可采用pNFS或NFS+展开并行访问。pNFS先获取数据布局再直连数据节点,NFS+则借助轻量客户端感知归属并分散连接,使多个保存进程能够利用多条数据路径。它们提供的是文件读写能力,Checkpoint内容组织、分片协调和完成确认仍由训练框架执行。

全闪性能层适合承接集中写入与近期恢复读取。对适用的混闪场景,PhxTier以受持久化保护的缓存承接写入,再根据空间水位和后台压力向容量层回写;只有满足相应日志、副本等持久化条件才向上层确认。配置时既要看短时写峰,也要看持续回写能力,避免保存波峰不断累积。

若Checkpoint产生速度长期高于后端释放空间的速度,缓存只能延后拥塞出现。应至少连续运行多个保存周期,观察每轮完成时间、待回写量与缓存水位是否趋于稳定;同时观察训练读取的尾部时延,确认保存期间仍能满足样本供给。必要时增加性能资源、调整保存频率或分开繁忙任务的时间窗口。

小分片较多时,文件创建与元数据提交也会占用时间。aStor的多活MDS和目录分片用于分担这些请求,数据节点承担数据传输。测试应保留实际文件数量与目录组织,既验证大文件写带宽,也验证大量分片同时创建的完成时长,避免以单个大文件测试替代真实Checkpoint。

负载特征

设计重点

应记录的结果

多个任务同时保存

按重叠数据量安排带宽与调度窗口

每轮保存耗时、最慢任务、读取受影响程度

分片文件数量多

目录组织、文件创建与元数据提交

元数据时延、分片完成分布

连续多个保存周期

持续回写与性能层空间

待回写量、缓存水位、周期内波动

异步保存

暂存内存、在途任务数与完成确认

训练暂停时间、内存占用、后台完成时间

 

三、恢复加载:把文件读取与训练重启分别验证

共享文件路径提高加载效率,框架负责状态装载

一次恢复通常要完成版本选择、读取文件、反序列化、状态分发和训练初始化。存储吞吐主要影响数据读取阶段,训练框架和计算节点决定后续状态装载。评估恢复目标时,应记录“开始加载到文件读取结束”以及“开始加载到第一步有效训练”两个时长,便于定位改进方向。

aStor通过共享访问入口让恢复任务读取同一份Checkpoint,无需先从原训练服务器逐台收集本地文件。并行数据通路与全闪层可以提升大文件和分片读取效率;在客户端、网卡与网络适配时,NFS over RDMA进一步减少传输开销。恢复测试应使用实际节点数和框架加载方式,使存储能力与真实加载并发相匹配。

兼容性核对与跨节点演练验证实际恢复

恢复还需要核对训练环境。保存与加载使用的框架版本、模型结构、优化器配置和分布式布局,应按照框架兼容范围进行管理。即使文件完整,应用状态不匹配也可能无法直接续训。将环境标识、数据集版本和Checkpoint版本一并登记,能够减少故障后的人工核对时间。

验证时可以在计划窗口停止一个测试任务,从最近已完成的Checkpoint重启,确认训练步数与状态正确,再分别测试从较早版本和不同计算节点恢复。对多任务平台,还应测试集中恢复是否与正常训练争用资源,并为批量恢复保留调度顺序,使恢复目标具有可执行的路径。

四、训练进度保护:冷热保留、故障切换与恢复演练

冷热保留与故障保护共同维护可用恢复点

Checkpoint的保留策略要与可接受的重算量对应。最近几轮进度通常需要快速访问,里程碑版本和需要长期复现实验的版本可以保存更久;临时失败版本则按规则清理。确定保留数量时,还应预留当前写入、旧版本未清理和异常重试同时存在的空间,避免容量水位在保存时触顶。

aStor可用全闪保留近期可恢复进度,以混闪或异构容量层承接低频历史版本,并根据下一次使用计划预热。冷热分工使性能空间优先服务保存窗口与近期恢复,容量资源负责长期留存。清理策略应先确认至少一个可用恢复点,再释放旧版本,让节省空间与恢复需求相互协调。

可靠性需要覆盖不同故障类型。双控制器与多链路设计用于维持访问,副本或纠删码用于保护介质上的数据,快照与回收站为误操作提供恢复窗口。aStor全闪单框双控在一个控制器失效时,可由另一控制器继续访问框内双端口NVMe介质,避免因单控故障先进行数据重构再恢复访问。

若要应对站点故障,可将已完成的Checkpoint及相关配置纳入远程复制。aStor文件复制通过目录快照形成恢复点,再用SnapDiff同步变化,备站完整应用并确认后才形成新的可用复制点。恢复演练应从备站已确认的版本开始,并执行训练平台的路径切换与任务重启,让存储副本真正进入业务恢复流程。

科研与具身智能项目提供持续承载实践

清华大学智能产业研究院采用深信服aStor统一存储承载科研训练数据,原有自建存储既存在I/O瓶颈,也有数据集中在单台服务器的故障风险。项目以3台aStor-3650提供480TB总存储空间,通过NVMe性能层、小文件聚合、元数据优化及数据保护支撑科研任务持续增长。

节卡机器人股份有限公司采用深信服aStor统一存储全闪平台承载具身智能数据访问,使用NFS over RDMA连接训练数据通路。项目验证了网络故障下的链路切换及单控制器故障下的持续访问,使数据服务具备应对局部故障的能力。对于Checkpoint建设,企业还应在这些基础能力之上完成框架保存、文件读取与任务恢复演练。

图1 双控制器共享介质访问设计,图中“计算节点”为框内存储控制器

五、自研统一架构:共享数据服务衔接训练与生产

深信服是国内统一存储品类的开创者&践行者。aStor面向中高端企业级存储,在IDC的2026年第二季度中国文件存储市场排名中位列前三。其全栈自研、非Ceph技术路线将文件、块、对象和向量服务纳入同一架构,结合数据访问、持久化保护与分层扩展,为训练和其他生产业务提供统一底座。

科研训练数据、具身智能访问、临床PACS影像及装备制造的多协议生产资源池,体现了共享数据服务在不同业务中的实际应用。统一架构让访问能力、保护机制和扩展方式能够持续复用,训练平台再围绕框架保存与恢复流程完成适配和演练。

行业方向

代表实践

典型负载

AI科研

清华大学智能产业研究院

科研训练数据供给与持续保存

机器人

节卡机器人股份有限公司

具身智能训练数据高速访问

医疗

上海交通大学医学院附属仁济医院

PACS影像共享及持续增长

装备制造

太原重工股份有限公司

多协议资源池承载仿真、备份与网盘

 

六、总结:以高性能写入、可靠恢复与统一底座保障训练迭代

Checkpoint建设需要先定义完整状态,再按重叠窗口安排写入,随后分别验证文件加载与框架重启,最后落实保留、保护和复制。aStor的并行共享路径、全闪性能层及持续回写设计,为大规模任务提供保存与读取能力;可靠性则由持久化保护、故障访问路径和恢复演练共同实现,科研训练与具身智能项目则分别应用了数据保护和故障切换机制。

深信服作为国内统一存储品类的开创者&践行者,以自研统一架构连接训练数据与其他生产业务。存储负责访问、持久化与保护,训练框架负责状态组织、分片协调和续训,两者在真实流程中共同验证,才能将性能、可靠性和统一建设转化为可持续的训练迭代能力。

常见问题

Q1:异步保存返回后,Checkpoint是否已经可以用于恢复?

需要确认框架报告的后台保存完成状态。异步调用可能先将状态暂存到CPU内存,再继续写入存储;应在全部分片和元数据完成后把该版本登记为可恢复。这样能够保留计算与写入重叠的收益,同时避免选择尚未完成的进度。

Q2:Checkpoint目录做了快照,是否就能直接恢复训练?

快照可以保留目录时间点,但续训还需要该时间点包含完整且兼容的训练状态。宜在框架确认保存完成后建立保护点,并实际执行加载和续训测试。把应用完成点与存储保护点衔接起来,恢复时才有清晰可用的版本。

Q3:为什么顺序写带宽很高,集中保存仍然很慢?

真实保存还包含状态准备、多个分片创建、并发竞争和完成确认。应使用实际Checkpoint结构连续测试多个周期,同时测训练读取和元数据时延;再根据限制优化调度、元数据或数据路径,才能减少整轮保存等待。