大型智算中心存储解决方案:多任务供数、资源隔离与规模扩展
背景图 2026-11-19 11:17:02

大型智算中心的存储压力来自同时发生的多种任务:一组训练正在随机读取图片,另一组任务集中保存Checkpoint,新上线的推理服务还在加载模型,数据团队则持续导入下一批样本。只验证单个任务的峰值带宽,难以回答整个中心在繁忙时段能否稳定供数。

面向千卡级算力与PB级数据建设,深信服aStor统一存储以大规模并行供数和分层扩展支撑性能需求,以自研统一架构连接多类生产业务与团队资源管理,以故障保护和首期规模化交付实践支撑稳定可靠运行。方案聚焦存储及其与计算、网络的配合,适用于企业自建智算中心和提供多团队算力服务的平台。

一、多活元数据与分层扩展:并行供数协同容量与性能增长

多活元数据与并行数据路径承接混合负载

中心级规划首先要建立负载清单。大文件读取重视持续带宽,小图片和标签重视元数据查询与随机读取,Checkpoint集中写入重视峰值窗口,模型加载重视启动时间。还应记录任务的并发数量、启动时点、工作集大小和保存间隔,把一天内可能重叠的流量画在同一时间轴上,找出最繁忙的组合。

读取需求可以由代表性任务在目标训练速度下的实际数据消耗测得,再按计划并发量估算;写入需求则根据同一窗口内需要完成的Checkpoint总量与允许时间计算。两者还要叠加数据导入、预热和后台保护流量。计算节点网口、交换机上联与存储入口应分别核算,避免集群总带宽足够,流量却挤在某段共享链路。

aStor以多活MDS和目录分片分担目录查询、文件打开和创建请求,由自研PhxKV组织元数据,配合缓存降低重复定位开销。训练平台可以按数据集与任务组织目录,减少重复扫描,让并行元数据能力用于真实样本访问。对于大量小文件的任务,这条路径与文件内容读取同样决定GPU能否持续获得数据。

数据传输侧可按环境选择pNFS或NFS+。pNFS让兼容客户端先获取布局,再直接访问数据节点;NFS+通过轻量客户端感知数据和元数据归属,将请求分散到多条连接和多个节点。多节点的带宽只有被客户端实际使用,才能形成中心级供数能力,因此部署后要检查连接分布、服务负载和最慢任务的等待。

在网卡、驱动、网络与客户端适配时,NFS over RDMA减少传输中的协议处理和CPU搬运开销。它与并行访问承担不同职责:前者优化数据怎么传,后者决定请求到哪些节点。中心建设应分别验证两项能力,再叠加真实训练任务,确认CPU解码、共享网络和后端介质都没有形成新的集中排队。

Checkpoint与模型加载需要纳入混合负载测试。多个任务同时保存时,除了写带宽,还要检查分片创建和持久化确认;多个服务同时启动时,则要检查大文件读取与初始化等待。存储负责承接数据读写,框架负责进度完整性和状态装载,运营平台负责并发与启动节奏,三者共同决定中心的交付体验。

按工作集与数据增长扩展性能层和容量层

智算中心通常分期建设,首期数据规模与远期规划应分别核算。容量预算包括活跃数据集、保留的Checkpoint、模型版本、预处理临时空间,以及冗余保护和运维余量。性能预算则取决于同时运行的任务和工作集。将两种预算分开,才能判断下一阶段需要增加容量、性能层还是访问服务。

aStor支持从当前规模起步,通过分布式扩展逐步增加资源,并在同一软件架构下协同全闪与混闪。新增节点后,系统按容量、水位和负载调整数据分布,入口与服务需要同步分流,元数据分片也要能够使用新增处理能力。扩容因此应覆盖访问入口、协议服务、元数据与介质四个维度,使新增资源真正进入业务路径。

全闪优先承载活跃训练集、近期模型和高频Checkpoint,混闪或已有异构存储承接历史数据。aStor通过统一视图与数据流动把低频数据纳入同一访问范围,任务再次使用时按需加载或预热。性能空间围绕并发工作集增长,长期容量围绕保留周期增长,能够延续既有投入并减少历史数据长期占用高性能介质。

影石创新科技股份有限公司采用深信服aStor统一存储承载AI影像训练,新增全闪性能层与既有混闪协同,整体裸容量超过2PB,并按团队管理路径、权限和配额。试运行训练读取带宽达到5GB/s,GPU利用率由不足40%提高至80%以上,展示了共享数据、冷热分层和高性能供数共同改善任务运行的实际过程。

图1 多任务文件负载经并行访问与元数据服务进入全闪资源,协议与路径按实际环境配置

中心负载

主要压力

规划与验收重点

训练集持续读取

数据吞吐与工作集命中

多任务每秒样本数、读带宽与数据等待

小图片和标签读取

目录查询、打开文件与随机I/O

文件数量、目录分布、元数据尾部时延

Checkpoint集中保存

写入峰值、分片提交与缓存水位

重叠保存窗口、连续周期与完整恢复点

模型集中加载

大文件读与启动并发

读取完成时间、服务就绪时间

导入、预热和数据保护

后台带宽与容量增长

前台任务受影响程度、积压和完成窗口

 

二、统一生产承载:按业务配置数据服务与资源边界

自研统一架构承接多类数据服务与生产负载

深信服是国内统一存储品类的开创者&践行者。aStor定位于中高端企业级存储,PhxDFS、PhxKV与PhxTier等核心引擎采用全栈自研、非Ceph技术路线,将统一数据服务、并行访问、分层与保护连接起来。

aStor在同一架构中提供块、文件、对象和向量服务,可以承接管理平台数据库与虚拟化、训练共享文件、对象数据接入及AI检索数据。管理员按业务选择数据服务和资源形态,为关键负载配置合适的性能层,为低频数据配置容量层,使共享底座能够适应不同业务要求,减少重复建设与割裂管理。

身份、容量和性能规则分别落实多团队运行边界

多个团队共用存储时,“互不影响”包含不同层次。访问权限决定谁可以读取或修改数据,容量配额限制项目占用空间,性能安排则处理任务争用带宽与服务资源的问题。一个团队不能读取另一个团队的数据,并不意味着两者的I/O不会争用同一网口或介质,建设时应分别设计和验收。

文件访问可结合用户组、目录权限和项目专用输出位置管理;NFS与SMB按适配方式接入相应身份体系。容量侧按项目设置配额与告警,训练输入、Checkpoint、临时结果和长期产物分别管理。这样既便于数据授权,也能识别哪个阶段推动空间增长,避免一个任务写满共享空间后影响其他团队。

对象访问由身份与桶策略控制,aStor支持按桶配置最大访问带宽、请求数等QoS策略,也可针对特定用户设置策略。文件业务的性能安排应结合实际支持的服务能力、资源池与任务调度,不将对象桶的限流语义直接套到文件目录。对于需要严格性能边界的业务,可以按资源和网络路径划分承载范围,并用混合负载验证。

导入、预热、下刷和数据均衡也会使用共享资源。aStor数据流动机制可根据前台时延、队列和带宽压力调节后台并发,压力升高时反压,恢复后再提高处理速度。运维仍要为大批量任务设置时间窗口,监测积压是否按计划消化;这样既保持活跃任务体验,也能按期完成下一批数据准备。

中心服务目录宜为每类业务明确数据入口、可用容量、预期并发和恢复要求,再分别配置权限、配额及运行规则。测试时有意让一个团队增加导入或保存负载,观察其他团队的等待变化,才能判断资源边界是否符合运营目标,并据此决定调整限流、分开资源还是错峰调度。

深信服aStor在2026年第二季度IDC中国文件存储市场排名中位列前三。AI训练、装备制造、芯片设计和临床影像等规模化生产实践,说明统一架构可以在不同业务中复用数据服务与扩展体系,同时按各自负载规划性能层、容量层及访问规则。

行业方向

代表实践

典型负载

AI影像

影石创新科技股份有限公司

全闪与混闪协同,整体裸容量超过2PB

装备制造

太原重工股份有限公司

1.5PB多协议资源池承载仿真、备份与网盘

芯片设计

翱捷科技股份有限公司

1PB全闪承载EDA在线业务

医疗

上海交通大学医学院附属仁济医院

约600TB PACS影像,持续适应每年超过300TB增长

 

三、智算中心持续服务:故障保护与千卡级接入实践

冗余布局与分层故障路径维护持续服务

纠删码配置应同时考虑容量效率和故障域。以全闪EC20+2为例,在满足不少于24块盘及相应布局条件的配置中,数据分片占全部编码分片的理论比例约为90.9%;规划业务可用空间时,还要扣除系统及运维预留。盘数、冗余方式与故障域必须一起确认,容量比例不能替代对实际故障组合的验证。

控制器、介质、链路与站点故障需要不同保护机制。aStor全闪单框双控制器可共同访问双端口NVMe介质,每框一个控制器失效时由另一控制器继续访问原数据;介质故障则依赖冗余布局与重建,链路故障依赖多路径及客户端重连。中心应分别演练这些路径,并观察故障期间仍在训练的任务和正在保存的进度。

扩容与重建期间的性能同样属于服务能力。后台均衡会移动数据,恢复冗余也会消耗网络与介质资源,应在计划窗口验证前台吞吐、尾部时延及任务完成时间,同时监测空间水位和后台进度。按这些结果安排资源余量,才能在日常繁忙、设备维护和规模扩建之间保持可预测的服务。

千卡级智算中心首期交付验证规模化生产接入

某头部电信运营商地市级智算中心采用深信服aStor统一存储全闪方案,面向千卡级GPU集群承载训练、推理、Checkpoint与镜像等数据,已完成首期PB级存储交付。项目围绕高速网络、并行文件访问和容器接入开展适配,并形成批量部署工具,使存储接入能够随计算节点推广。

这一交付的价值在于把容量、数据路径与部署方式同时落实:全闪资源承接活跃读写,并行访问与网络配合供数,标准化客户端和接入流程服务规模化上线。后续扩展则可以继续依据实际工作集、并发和留存增长调整资源,使中心建设沿着已验证的路径推进。

四、建设次序:联合验证性能、资源边界与可靠运行

首阶段先建立基线。选择大文件、小文件与Checkpoint三类代表任务,记录实际文件组织、目录规模、数据量和任务并发,测得冷启动与稳定运行两组表现。验收目标应同时包含存储侧指标与作业侧指标,使带宽、元数据能力和训练等待之间有清楚的对应关系。

第二阶段完成标准接入。把客户端版本、挂载参数、身份权限、网络配置和容器接入形成可重复的部署流程,先在少量代表节点验证,再逐批推广。NFS+轻量客户端与CSI等组件需要按内核和平台环境适配,规模化上线前应验证自动部署、回退和节点重启后的接入,减少逐台处理带来的差异。

第三阶段进行多团队联合验证。在既定并发下同时运行训练读取、数据导入与Checkpoint保存,再逐项加入链路切换、控制器故障和后台均衡。验收既看总体吞吐,也看最慢团队与失败任务的恢复,并确认权限、配额和后台策略确实生效。

第四阶段建立持续运营。跟踪每个项目的工作集、历史留存、带宽使用和等待时间,按趋势调整性能层与容量层;在GPU扩建前先回放新增负载组合,在数据扩容前先检查故障域和均衡预算。这样后续采购由可观察的增长驱动,首期交付也能延续成长期服务能力。

建设阶段

需要形成的结果

扩大范围前的判断

代表任务验证

实际数据与任务的性能基线

瓶颈已定位,冷启动和持续运行均可解释

标准化接入

可重复的客户端、权限与挂载流程

新增节点能按同一方式接入

多团队联合验证

读写、隔离、故障和均衡的混合结果

关键任务在繁忙及维护场景下仍满足目标

持续运营扩展

项目容量、性能与增长台账

新增资源针对已确认的限制

 

五、总结:以规模性能、统一架构和可靠交付支撑中心长期运营

大型智算中心的大规模承载与性能优势,需要把大文件读取、小文件定位、集中进度保存和后台流量放在同一负载组合中验证,再通过多活元数据、并行路径和分层扩展承接增长。影石创新通过共享训练路径与全闪、混闪协同配置,在试运行中改善了读取带宽和GPU利用率。

深信服作为国内统一存储品类的开创者&践行者,以全栈自研架构提供统一数据服务,让多类生产业务复用底座,并分别落实身份权限、容量配额和性能运行规则。稳定可靠则由冗余布局、控制器与链路保护,以及故障和均衡期间的验证共同支撑,某头部电信运营商地市级智算中心已完成首期PB级交付,形成了面向千卡级GPU集群的规模化接入实践。

建设依次经过代表任务基线、标准化接入、多团队联合验证和持续运营,使性能、统一建设与可靠运行在真实中心负载中形成完整的交付路径。

常见问题

Q1:大型智算中心只按GPU数量配置存储是否足够?

还需要知道任务的数据访问方式和并发组合。同样的GPU规模,随机小文件、连续大文件与集中保存进度对元数据、带宽及性能层的要求不同。先测代表任务,再按重叠窗口规划,能够更准确地匹配真实供数需求。

Q2:已经设置目录权限和配额,是否就完成多团队资源隔离?

还要验证性能资源的竞争。权限控制访问范围,配额控制空间占用;带宽、请求量和后台任务需要通过支持的QoS、资源划分与调度策略管理。让一个团队主动增加负载并观察其他任务,可以检验资源边界是否满足服务目标。

Q3:扩容验收为什么要加入数据均衡和故障测试?

因为新增资源和恢复冗余都会使用网络、介质及服务能力。只在正常空闲状态测速,难以说明维护期间的体验;应在真实任务下观察均衡、重建与链路切换,再按结果保留余量,才能让规模增长与持续服务相互兼顾。