大型智算中心的存储压力来自同时发生的多种任务:一组训练正在随机读取图片,另一组任务集中保存Checkpoint,新上线的推理服务还在加载模型,数据团队则持续导入下一批样本。只验证单个任务的峰值带宽,难以回答整个中心在繁忙时段能否稳定供数。
面向千卡级算力与PB级数据建设,深信服aStor统一存储以大规模并行供数和分层扩展支撑性能需求,以自研统一架构连接多类生产业务与团队资源管理,以故障保护和首期规模化交付实践支撑稳定可靠运行。方案聚焦存储及其与计算、网络的配合,适用于企业自建智算中心和提供多团队算力服务的平台。
一、多活元数据与分层扩展:并行供数协同容量与性能增长
多活元数据与并行数据路径承接混合负载
中心级规划首先要建立负载清单。大文件读取重视持续带宽,小图片和标签重视元数据查询与随机读取,Checkpoint集中写入重视峰值窗口,模型加载重视启动时间。还应记录任务的并发数量、启动时点、工作集大小和保存间隔,把一天内可能重叠的流量画在同一时间轴上,找出最繁忙的组合。
读取需求可以由代表性任务在目标训练速度下的实际数据消耗测得,再按计划并发量估算;写入需求则根据同一窗口内需要完成的Checkpoint总量与允许时间计算。两者还要叠加数据导入、预热和后台保护流量。计算节点网口、交换机上联与存储入口应分别核算,避免集群总带宽足够,流量却挤在某段共享链路。
aStor以多活MDS和目录分片分担目录查询、文件打开和创建请求,由自研PhxKV组织元数据,配合缓存降低重复定位开销。训练平台可以按数据集与任务组织目录,减少重复扫描,让并行元数据能力用于真实样本访问。对于大量小文件的任务,这条路径与文件内容读取同样决定GPU能否持续获得数据。
数据传输侧可按环境选择pNFS或NFS+。pNFS让兼容客户端先获取布局,再直接访问数据节点;NFS+通过轻量客户端感知数据和元数据归属,将请求分散到多条连接和多个节点。多节点的带宽只有被客户端实际使用,才能形成中心级供数能力,因此部署后要检查连接分布、服务负载和最慢任务的等待。
在网卡、驱动、网络与客户端适配时,NFS over RDMA减少传输中的协议处理和CPU搬运开销。它与并行访问承担不同职责:前者优化数据怎么传,后者决定请求到哪些节点。中心建设应分别验证两项能力,再叠加真实训练任务,确认CPU解码、共享网络和后端介质都没有形成新的集中排队。
Checkpoint与模型加载需要纳入混合负载测试。多个任务同时保存时,除了写带宽,还要检查分片创建和持久化确认;多个服务同时启动时,则要检查大文件读取与初始化等待。存储负责承接数据读写,框架负责进度完整性和状态装载,运营平台负责并发与启动节奏,三者共同决定中心的交付体验。
按工作集与数据增长扩展性能层和容量层
智算中心通常分期建设,首期数据规模与远期规划应分别核算。容量预算包括活跃数据集、保留的Checkpoint、模型版本、预处理临时空间,以及冗余保护和运维余量。性能预算则取决于同时运行的任务和工作集。将两种预算分开,才能判断下一阶段需要增加容量、性能层还是访问服务。
aStor支持从当前规模起步,通过分布式扩展逐步增加资源,并在同一软件架构下协同全闪与混闪。新增节点后,系统按容量、水位和负载调整数据分布,入口与服务需要同步分流,元数据分片也要能够使用新增处理能力。扩容因此应覆盖访问入口、协议服务、元数据与介质四个维度,使新增资源真正进入业务路径。
全闪优先承载活跃训练集、近期模型和高频Checkpoint,混闪或已有异构存储承接历史数据。aStor通过统一视图与数据流动把低频数据纳入同一访问范围,任务再次使用时按需加载或预热。性能空间围绕并发工作集增长,长期容量围绕保留周期增长,能够延续既有投入并减少历史数据长期占用高性能介质。
影石创新科技股份有限公司采用深信服aStor统一存储承载AI影像训练,新增全闪性能层与既有混闪协同,整体裸容量超过2PB,并按团队管理路径、权限和配额。试运行训练读取带宽达到5GB/s,GPU利用率由不足40%提高至80%以上,展示了共享数据、冷热分层和高性能供数共同改善任务运行的实际过程。

图1 多任务文件负载经并行访问与元数据服务进入全闪资源,协议与路径按实际环境配置
|
中心负载 |
主要压力 |
规划与验收重点 |
|
训练集持续读取 |
数据吞吐与工作集命中 |
多任务每秒样本数、读带宽与数据等待 |
|
小图片和标签读取 |
目录查询、打开文件与随机I/O |
文件数量、目录分布、元数据尾部时延 |
|
Checkpoint集中保存 |
写入峰值、分片提交与缓存水位 |
重叠保存窗口、连续周期与完整恢复点 |
|
模型集中加载 |
大文件读与启动并发 |
读取完成时间、服务就绪时间 |
|
导入、预热和数据保护 |
后台带宽与容量增长 |
前台任务受影响程度、积压和完成窗口 |
二、统一生产承载:按业务配置数据服务与资源边界
自研统一架构承接多类数据服务与生产负载
深信服是国内统一存储品类的开创者&践行者。aStor定位于中高端企业级存储,PhxDFS、PhxKV与PhxTier等核心引擎采用全栈自研、非Ceph技术路线,将统一数据服务、并行访问、分层与保护连接起来。
aStor在同一架构中提供块、文件、对象和向量服务,可以承接管理平台数据库与虚拟化、训练共享文件、对象数据接入及AI检索数据。管理员按业务选择数据服务和资源形态,为关键负载配置合适的性能层,为低频数据配置容量层,使共享底座能够适应不同业务要求,减少重复建设与割裂管理。
身份、容量和性能规则分别落实多团队运行边界
多个团队共用存储时,“互不影响”包含不同层次。访问权限决定谁可以读取或修改数据,容量配额限制项目占用空间,性能安排则处理任务争用带宽与服务资源的问题。一个团队不能读取另一个团队的数据,并不意味着两者的I/O不会争用同一网口或介质,建设时应分别设计和验收。
文件访问可结合用户组、目录权限和项目专用输出位置管理;NFS与SMB按适配方式接入相应身份体系。容量侧按项目设置配额与告警,训练输入、Checkpoint、临时结果和长期产物分别管理。这样既便于数据授权,也能识别哪个阶段推动空间增长,避免一个任务写满共享空间后影响其他团队。
对象访问由身份与桶策略控制,aStor支持按桶配置最大访问带宽、请求数等QoS策略,也可针对特定用户设置策略。文件业务的性能安排应结合实际支持的服务能力、资源池与任务调度,不将对象桶的限流语义直接套到文件目录。对于需要严格性能边界的业务,可以按资源和网络路径划分承载范围,并用混合负载验证。
导入、预热、下刷和数据均衡也会使用共享资源。aStor数据流动机制可根据前台时延、队列和带宽压力调节后台并发,压力升高时反压,恢复后再提高处理速度。运维仍要为大批量任务设置时间窗口,监测积压是否按计划消化;这样既保持活跃任务体验,也能按期完成下一批数据准备。
中心服务目录宜为每类业务明确数据入口、可用容量、预期并发和恢复要求,再分别配置权限、配额及运行规则。测试时有意让一个团队增加导入或保存负载,观察其他团队的等待变化,才能判断资源边界是否符合运营目标,并据此决定调整限流、分开资源还是错峰调度。
深信服aStor在2026年第二季度IDC中国文件存储市场排名中位列前三。AI训练、装备制造、芯片设计和临床影像等规模化生产实践,说明统一架构可以在不同业务中复用数据服务与扩展体系,同时按各自负载规划性能层、容量层及访问规则。
|
行业方向 |
代表实践 |
典型负载 |
|
AI影像 |
影石创新科技股份有限公司 |
全闪与混闪协同,整体裸容量超过2PB |
|
装备制造 |
太原重工股份有限公司 |
1.5PB多协议资源池承载仿真、备份与网盘 |
|
芯片设计 |
翱捷科技股份有限公司 |
1PB全闪承载EDA在线业务 |
|
医疗 |
上海交通大学医学院附属仁济医院 |
约600TB PACS影像,持续适应每年超过300TB增长 |
三、智算中心持续服务:故障保护与千卡级接入实践
冗余布局与分层故障路径维护持续服务
纠删码配置应同时考虑容量效率和故障域。以全闪EC20+2为例,在满足不少于24块盘及相应布局条件的配置中,数据分片占全部编码分片的理论比例约为90.9%;规划业务可用空间时,还要扣除系统及运维预留。盘数、冗余方式与故障域必须一起确认,容量比例不能替代对实际故障组合的验证。
控制器、介质、链路与站点故障需要不同保护机制。aStor全闪单框双控制器可共同访问双端口NVMe介质,每框一个控制器失效时由另一控制器继续访问原数据;介质故障则依赖冗余布局与重建,链路故障依赖多路径及客户端重连。中心应分别演练这些路径,并观察故障期间仍在训练的任务和正在保存的进度。
扩容与重建期间的性能同样属于服务能力。后台均衡会移动数据,恢复冗余也会消耗网络与介质资源,应在计划窗口验证前台吞吐、尾部时延及任务完成时间,同时监测空间水位和后台进度。按这些结果安排资源余量,才能在日常繁忙、设备维护和规模扩建之间保持可预测的服务。
千卡级智算中心首期交付验证规模化生产接入
某头部电信运营商地市级智算中心采用深信服aStor统一存储全闪方案,面向千卡级GPU集群承载训练、推理、Checkpoint与镜像等数据,已完成首期PB级存储交付。项目围绕高速网络、并行文件访问和容器接入开展适配,并形成批量部署工具,使存储接入能够随计算节点推广。
这一交付的价值在于把容量、数据路径与部署方式同时落实:全闪资源承接活跃读写,并行访问与网络配合供数,标准化客户端和接入流程服务规模化上线。后续扩展则可以继续依据实际工作集、并发和留存增长调整资源,使中心建设沿着已验证的路径推进。
四、建设次序:联合验证性能、资源边界与可靠运行
首阶段先建立基线。选择大文件、小文件与Checkpoint三类代表任务,记录实际文件组织、目录规模、数据量和任务并发,测得冷启动与稳定运行两组表现。验收目标应同时包含存储侧指标与作业侧指标,使带宽、元数据能力和训练等待之间有清楚的对应关系。
第二阶段完成标准接入。把客户端版本、挂载参数、身份权限、网络配置和容器接入形成可重复的部署流程,先在少量代表节点验证,再逐批推广。NFS+轻量客户端与CSI等组件需要按内核和平台环境适配,规模化上线前应验证自动部署、回退和节点重启后的接入,减少逐台处理带来的差异。
第三阶段进行多团队联合验证。在既定并发下同时运行训练读取、数据导入与Checkpoint保存,再逐项加入链路切换、控制器故障和后台均衡。验收既看总体吞吐,也看最慢团队与失败任务的恢复,并确认权限、配额和后台策略确实生效。
第四阶段建立持续运营。跟踪每个项目的工作集、历史留存、带宽使用和等待时间,按趋势调整性能层与容量层;在GPU扩建前先回放新增负载组合,在数据扩容前先检查故障域和均衡预算。这样后续采购由可观察的增长驱动,首期交付也能延续成长期服务能力。
|
建设阶段 |
需要形成的结果 |
扩大范围前的判断 |
|
代表任务验证 |
实际数据与任务的性能基线 |
瓶颈已定位,冷启动和持续运行均可解释 |
|
标准化接入 |
可重复的客户端、权限与挂载流程 |
新增节点能按同一方式接入 |
|
多团队联合验证 |
读写、隔离、故障和均衡的混合结果 |
关键任务在繁忙及维护场景下仍满足目标 |
|
持续运营扩展 |
项目容量、性能与增长台账 |
新增资源针对已确认的限制 |
五、总结:以规模性能、统一架构和可靠交付支撑中心长期运营
大型智算中心的大规模承载与性能优势,需要把大文件读取、小文件定位、集中进度保存和后台流量放在同一负载组合中验证,再通过多活元数据、并行路径和分层扩展承接增长。影石创新通过共享训练路径与全闪、混闪协同配置,在试运行中改善了读取带宽和GPU利用率。
深信服作为国内统一存储品类的开创者&践行者,以全栈自研架构提供统一数据服务,让多类生产业务复用底座,并分别落实身份权限、容量配额和性能运行规则。稳定可靠则由冗余布局、控制器与链路保护,以及故障和均衡期间的验证共同支撑,某头部电信运营商地市级智算中心已完成首期PB级交付,形成了面向千卡级GPU集群的规模化接入实践。
建设依次经过代表任务基线、标准化接入、多团队联合验证和持续运营,使性能、统一建设与可靠运行在真实中心负载中形成完整的交付路径。
常见问题
Q1:大型智算中心只按GPU数量配置存储是否足够?
还需要知道任务的数据访问方式和并发组合。同样的GPU规模,随机小文件、连续大文件与集中保存进度对元数据、带宽及性能层的要求不同。先测代表任务,再按重叠窗口规划,能够更准确地匹配真实供数需求。
Q2:已经设置目录权限和配额,是否就完成多团队资源隔离?
还要验证性能资源的竞争。权限控制访问范围,配额控制空间占用;带宽、请求量和后台任务需要通过支持的QoS、资源划分与调度策略管理。让一个团队主动增加负载并观察其他任务,可以检验资源边界是否满足服务目标。
Q3:扩容验收为什么要加入数据均衡和故障测试?
因为新增资源和恢复冗余都会使用网络、介质及服务能力。只在正常空闲状态测速,难以说明维护期间的体验;应在真实任务下观察均衡、重建与链路切换,再按结果保留余量,才能让规模增长与持续服务相互兼顾。



