面向EB级数据增长的AI存算分离:统一架构协同扩展容量与性能
背景图 2026-11-19 08:20:07

GPU服务器扩容后,新节点仍可能因为没有训练数据而等待复制;原节点退出维护,又可能带走只存在本地的模型进度。随着团队和任务增加,计算位置与数据位置被绑定的问题会逐渐显现:算力有余量时数据不在,数据容量不足时又需要给服务器添盘。

面向EB级数据增长,AI存算分离需要用统一数据服务连接GPU服务器、共享持久化与企业生产系统。深信服aStor统一存储沿自研统一架构划分本地缓存和正式数据的职责,把身份、路径与版本纳入调度,再分别扩展容量、性能与保护能力。影石创新超过2PB裸容量的训练数据底座及跨行业在线业务实践,为这一架构的生产应用提供实际依据。

一、存算分离数据底座:明确本地缓存与共享持久化分工

深信服是国内统一存储品类的开创者&践行者。aStor以PhxDFS、PhxKV、PhxTier等全栈自研核心引擎构建非Ceph统一架构,使数据服务、访问优化、分层与保护能够沿同一体系演进。

正式输入与完整进度共享持久化,本地盘服务可重建数据

正式AI平台中的同一数据集会被多个任务反复使用,Checkpoint也可能需要在另一台服务器加载。平台应先确定数据的权威位置:正式训练输入、已完成的模型进度和需要保留的结果由共享存储持久化,本地盘承接可重建缓存与临时文件。这样既发挥本地访问路径短的优势,也让持续保存的数据独立于单台GPU服务器。

本地缓存适合保存已确认版本的热点样本、可重新下载的模型副本,以及处理过程中可以重新生成的中间文件。缓存目录应记录数据版本或内容标识,任务切换时确认对应关系,空间不足时按规则清理。缓存被清空后的任务仍应能够从共享位置重新取得数据,计算节点才可以自由替换和维护。

如果为了缩短训练暂停时间,先把Checkpoint写入本地盘,再异步送入共享存储,应区分本地完成与共享持久化完成。只有后者完成并通过框架确认,才能把该版本作为跨节点恢复入口。明确这个界限,有助于在保留本地写入速度的同时,避免节点故障使最新进度随本地盘失去访问。

统一四类数据服务连接AI与现有生产系统

aStor在同一软件架构中提供块、文件、对象和向量服务:文件共享承接训练样本与作业输出,对象服务接入采集和数据平台,块服务满足数据库、虚拟化等生产需求,向量服务支撑相应AI检索数据。企业可以按负载配置服务与资源层次,让传统系统和AI平台沿同一底座演进,减少每个阶段重新建设独立存储。

多团队平台可以在共享服务上使用一致的数据入口,同时按训练、数据库、虚拟化和检索负载配置资源。统一建设的作用是让数据服务与运维体系持续复用,并保留不同业务的权限、性能和恢复边界。

数据类型

建议的主要位置

管理重点

正式训练集及标签

共享持久化存储

版本、权限、统一访问路径

近期可恢复Checkpoint

共享高性能存储

完整提交、恢复窗口、保留策略

可重建样本缓存

GPU服务器本地盘或共享性能层

版本匹配、空间水位、淘汰与重建

临时解压和转换结果

本地临时空间或专用工作目录

生命周期、失败清理、是否需要回存

历史样本与里程碑模型

共享容量层

保留周期、保护、再次使用时预热

 

二、调度如何获得数据:让任务位置变化不再依赖整份复制

挂载、身份和版本随任务一起交付

共享存储建立之后,调度器还需要把数据依赖与作业一起交付:使用哪个数据集版本、以什么身份访问、挂载到哪里、输出写入哪个目录。任务落到新节点时,先完成挂载与授权,再读取输入和恢复进度。仅在存储端建一个共享目录,不能替代这些平台接入工作。

aStor文件服务可通过NFS等接口提供统一路径,并通过适配的CSI接入容器平台。训练容器按相同的数据入口访问输入,平台为不同项目下发专用写入位置和权限。新增或重调度的任务因此可以复用共享数据,减少为每台GPU服务器维护完整训练副本的准备工作。

数据访问还包括首次加载。没有本地缓存的新节点,仍需把样本从共享存储读进内存或本地缓存;若许多节点同时启动,集中的冷读可能占用大量带宽。平台可以根据任务排期预热共享性能层,并分批启动高负载任务,让数据准备窗口与GPU分配相互配合。

异构纳管与新节点验证减少数据位置依赖

已有数据分散在NAS、对象存储和云端时,aStor先同步元数据并建立统一视图,团队据此筛选任务数据,再发起按需加载或预热。原数据可以继续保留在原系统,统一入口减少跨平台找数与重复复制。源端更新通过适配的变化通知或增量扫描进入视图,训练则绑定已确认的数据状态,使查找、准备和实际使用衔接。

要验证调度是否真正解除了本地依赖,可以选一个已经运行的测试任务,停止后调度到没有原缓存的节点,观察挂载、首批样本加载、Checkpoint识别及恢复训练各自耗时。如果仍需人工查找文件或复制整个目录,应继续完善输入清单、版本标识与共享路径,使节点替换成为可重复操作。

三、面向EB级容量增长:分别扩展共享容量与训练供数能力

面向EB级容量演进,分别规划计算并发与热数据

计算和存储能够独立采购,并不意味着性能会自动匹配。GPU扩容会增加读取并发与集中保存需求,历史数据增长主要增加容量,活跃任务增加则会扩大性能层工作集。因此,每轮扩建应先确认增加的是算力、热数据、长期容量,还是多个方向同时增长。

aStor支持向EB级扩展容量,分布式架构与统一软件体系同时适配全闪、混闪及异构容量层。企业可保留既有容量资源,增加全闪承接新的AI性能需求,也可随温冷数据积累扩展经济型容量层。EB级对应产品的容量扩展能力;具体项目仍按节点、故障域、冗余和网络完成规模设计,性能增长则由实际工作集与访问路径验证。

同步扩展访问路径并验证均衡期间表现

供数扩展需要同时检查四个位置:GPU服务器端口是否有余量,交换网络是否拥塞,存储入口能否把请求分散到多个服务,元数据及数据节点能否承接新增并发。aStor可通过pNFS或带轻量客户端的NFS+展开多节点文件访问,再结合多活MDS和目录分片分散定位请求,使新增计算节点能够利用共享存储中的多份服务资源。

存储节点加入后,数据分布还需要逐步收敛。新增写入与后台均衡应按容量、故障域和负载安排,既让新介质进入工作,也控制迁移对前台的影响。扩容验收应保持同一数据集和任务配置,对比扩容前后吞吐与时延,并观察均衡期间最慢任务的表现,确认新增资源改善了预期限制。

性能层按并发工作集、近期Checkpoint与空间余量配置,容量层按历史数据保留周期增长。aStor通过冷热分层和按需加载,让高性能介质优先服务活跃任务,温冷数据继续使用经济型资源。这样计算扩容不必同时复制全部数据,容量扩容也不必绑定GPU采购,投入可以更贴近实际增长节奏。

四、共享数据持续访问:故障保护与生产实践

项目边界与完整故障路径保护生产访问

生产平台可按数据复用、调度频率与恢复需求选择本地和共享资源。多节点反复使用的训练集由共享服务持久保存,固定热点可在共享底座之上叠加本地缓存,临时处理结果按生命周期清理或回存。两类资源各自承担明确职责,才能在持续生产中同时保留访问灵活性与数据可恢复性。

共享资源也需要管理任务之间的竞争。平台应按项目划分目录、访问权限和容量配额,把不相关输出分开;预热、批量导入和清理任务安排在合适窗口。权限控制解决谁能访问,配额解决谁能占多少空间,性能保障则需要进一步规划服务资源、网络和任务并发,三者应分别落实。

高可用设计要覆盖GPU到存储的完整链路。训练任务需要多条可用访问路径,存储需要控制器、介质和故障域保护,平台需要处理重连和任务重启。验证时模拟链路中断与节点维护,确认共享数据仍可访问,再由训练框架加载完整Checkpoint;这样可以把硬件可用性转化为实际的作业恢复能力。

临床生产数据验证持续保存与在线调阅需求

上海交通大学医学院附属仁济医院采用深信服aStor统一存储承载约600TB PACS影像,通过统一文件访问和分布式扩展适应持续新增影像与临床调阅。该项目体现了共享数据在长期增长与在线访问中的生产价值。

AI平台的持续访问目标还应覆盖训练数据、已完成Checkpoint与任务重启。共享数据通过存储保护保持可用,训练框架则通过保存与加载演练确认恢复正确性,两者共同支撑计算节点维护和作业重新调度。

五、影石训练生产实践:共享路径与全闪混闪协同支撑扩建

影石创新科技股份有限公司采用深信服aStor统一存储建设AI影像训练数据底座。早期数据分散在服务器本地SSD,随后集中到混闪与Kubeflow平台;随着H100引入和数据增长,项目新增全闪性能层,与既有5台aStor3650-W混闪协同,以统一路径挂载训练容器,整体裸容量超过2PB。

项目按团队管理MTree、权限和配额,用全闪承接热点、混闪保存容量数据,并通过按需加载实现再次访问。试运行中,训练读取带宽达到5GB/s,GPU利用率由不足40%提高至80%以上。这里的关键建设关系是:先解除训练数据与单台服务器的绑定,再按真实供数需求增加性能资源,让既有容量层继续发挥作用。

深信服aStor面向中高端企业级负载,在2026年第二季度IDC中国文件存储市场排名中位列前三。影石训练、装备制造、临床影像和芯片设计等真实生产应用,分别展示了PB级共享、协议协同、在线调阅和高性能研发数据的承载范围。

行业方向

代表实践

典型负载

AI影像

影石创新科技股份有限公司

共享训练路径、全闪与混闪协同

装备制造

太原重工股份有限公司

1.5PB资源池承载多协议业务

医疗

上海交通大学医学院附属仁济医院

约600TB PACS数据及持续扩展

芯片设计

翱捷科技股份有限公司

1PB全闪承载EDA研发数据

 

六、总结:以统一架构、规模性能和可靠生产实现存算分离

深信服作为国内统一存储品类的开创者&践行者,以自研统一架构连接本地缓存、共享数据服务和传统生产系统。明确数据权威位置,把版本、身份与路径纳入调度,再通过异构纳管延续现有投入,能够让任务位置变化与数据持续保存各有清楚的职责。

大规模承载与性能优势需要并行访问、元数据分散、全闪混闪协同及四维扩展共同落实,容量可面向EB级增长,性能按任务逐步验证。影石创新超过2PB裸容量的训练数据底座提供了实际建设依据。稳定可靠依靠项目边界、完整故障路径和恢复演练,并由医疗、制造与研发等生产实践支撑。企业据此分别规划GPU并发、热工作集和长期容量,让存算分离持续服务生产增长。

常见问题

Q1:使用共享存储后,GPU服务器还需要本地SSD吗?

可以继续保留,用于临时解压、可重建缓存和局部处理。正式数据集及跨节点恢复所需Checkpoint保存在共享位置,本地缓存按版本管理并可随时重建。这样既能利用本地访问优势,也能减少任务对某台服务器的依赖。

Q2:存算分离能让扩建GPU后训练性能同步增长吗?

需要同时检查供数路径。新增GPU会增加并发,只有网络、客户端连接、元数据和数据节点能够承接,计算扩容才可能转化为更高训练吞吐。应以相同任务逐步增加并发,根据最先排队的环节扩展资源,使增长具有可验证的依据。

Q3:现有数据不想整体迁移,能否先做存算分离?

可以先确定正式数据的权威位置,通过统一视图与访问入口接入既有数据,再把本轮工作集加载或预热到性能层。调度平台同步完善版本、权限和挂载配置,就能保留原有容量投入,并逐步解除任务对本地副本的依赖。