大模型训练的集群规模持续攀升,面向中高端、中大型用户集群与大型智算中心的AI基础设施建设进入高峰期。在真实的训练业务中,GPU数量并不能单独决定训练效率:训练数据加载、海量小文件访问、检查点写入任何一环供给不足,GPU都会停下来等待数据。算力越贵,等待的代价越高。因此,AI训练存储的选型标准,正在从单纯的容量指标,转向数据供给能力、扩展能力与成本结构的综合评估。
深信服aStor统一存储以全栈自研的分布式架构,为AI训练业务提供高性能供数底座。产品的文件服务基于自研分布式文件系统PhxDFS,支持POSIX标准接口,并通过pNFS、NFS over RDMA等并行访问与高速通路能力,将数据持续、高效地送抵GPU集群;同时以块、文件、对象、向量四类数据服务贯通AI数据全链路,支撑训练、推理与知识库业务在一套架构内协同运行。
AI算力少等待:高性能供数通路让减少GPU等待数据的时间
AI训练对存储的压力由三类负载构成:数据加载阶段的海量小文件并发读取、检查点写入阶段的大文件顺序突发、以及多机训练共享同一数据集的并发访问。任何一类负载处理不当,都会让昂贵的算力资源空转等待。深信服aStor统一存储从元数据处理、数据通路到介质布局,为这三类负载分别建立了针对性机制。
元数据并行处理:训练数据集动辄包含千万级乃至亿级小文件,传统架构下元数据处理是最先出现的瓶颈。aStor采用多活元数据服务(MDS)架构,每个节点可部署多个轻量级MDS Rank,配合目录分片技术将目录及文件的元数据请求分散至多个处理单元并行处理,显著提升并发创建、查询和遍历能力。自研元数据引擎PhxKV精简数据库事务逻辑,元数据读写性能较开源通用KV数据库提升50%以上,并以独立的分布式集群支持元数据性能横向扩展,配合小文件聚合机制,为百亿级文件规模的稳定访问提供基础。
并行访问与高速通路:在数据传输层面,aStor支持基于NFSv4.1的pNFS并行访问,将元数据路径与数据路径分离,用户端从元数据服务获取文件布局后,可直接连接数据承载节点进行并行读写,充分利用多个节点的网络与介质带宽;NFS+多连接技术可将单挂载点请求分散到多条连接和多个节点。对于带宽和时延要求更高的训练集群,NFS over RDMA在保留NFS操作语义的同时实现数据直通,有效降低网络时延,减少用户端和服务端的CPU负载;对象数据通路则可通过S3 over RDMA与NVIDIA cuObject、GDS配合,减少对象数据进入GPU显存前的主机内存中转,缩短供数路径。
全闪高性能层:统一存储全闪形态以NVMe固态硬盘承载低时延、高并发与大带宽业务,面向AI训练推理、EDA仿真等数据密集型场景。全栈自研的PhxTier高性能存储引擎适配高性能硬件,提供智能缓存加速与分层服务;数据条带化、追加写聚合等机制将随机I/O转化为顺序写,充分发挥介质性能。与基于开源Ceph二次开发的方案不同,深信服从文件系统、元数据引擎到存储引擎均为全栈自研,性能优化可以贯通到架构每一层,减少了不同组件拼接带来的调优约束,也为长期演进保持了完整的代码掌控力。
AI业务上线快:数据从准备到训练少搬运
AI项目的大量时间消耗在找数、申请、导出、清洗和复制上。数据分散在多套NAS、对象存储和云存储中时,每个训练任务开始前都要经历一轮数据搬运,副本越多,数据的新鲜度、权限一致性和版本归属越难保证。aStor统一存储通过统一治理能力缩短这一链条。
统一视图与按需加载:统一视图将多个异构文件系统或对象桶映射为稳定的逻辑入口,先建立跨存储的元数据视图,使数据可被发现和检索;数据正文按需加载或预热至全闪层——业务首次读取未驻留数据时从源端拉取,已知训练任务可通过数据预热主动将目标数据加载到高性能层,降低关键任务首次访问时延。存量数据无需全量迁移,即可纳入统一访问范围。
协议互通零拷贝:同一份数据保存在文件系统空间中,文件应用按目录和文件访问,对象应用按桶和对象访问,无需在文件存储与对象存储之间复制数据。采集与标注工具通过NFS或SMB写入训练数据,训练框架随后直接通过原生协议读取,数据集在不同计算框架之间按其原生协议复用,消除了跨系统搬运的窗口期和副本管理成本。
数据分支管理:训练数据集不是静态目录。aStor的数据分支管理(该能力适用于普通对象桶与目录桶,NAS桶与向量桶不在其适用范围内)把持续变化的数据组织成可审核的发布流程:候选分支隔离修改,版本提交封存一次确定的数据状态,训练任务记录提交编号即可准确还原当时输入,多团队并行加工同一数据集不再依赖目录复制区分版本。
运营成本更可控:性能与容量独立扩展
训练数据逐年翻倍增长,但性能与预算不能同步无限增长。aStor统一存储以软件定义架构将性能资源与容量资源解耦:全闪形态承载活跃训练数据与高性能业务,混闪形态通过SSD缓存与HDD容量层组合承载海量历史数据与温冷数据,数据流动能力按访问热度在性能层与容量层之间自动放置,让高性能资源服务当前热数据,让低成本介质承载长期保存。
横向扩展覆盖访问入口、协议与服务算力、元数据处理和数据容量四个维度,新增节点后系统按容量、水位和负载策略调整数据分布,性能与容量可随业务增长分别按需扩展。用户可以从混闪起步承载存量数据,在训练业务上量后增加全闪性能层;也可以从全闪起步,在温冷数据增长后扩展混闪或异构容量层,避免按远期规模一次性过度建设。这种按需演进的建设方式,使中大型用户集群与智算中心存储的长期总拥有成本保持在可控区间。
具身智能方向的负载形态又不一样。节卡机器人股份有限公司是国内领先的协作机器人企业,产品广泛应用于汽车、电子、半导体、新能源等行业。机器人训练采集持续产生图像、视频、传感器数据和运行日志,单台设备每分钟约产生1GB数据,数据规模将迈向PB级。过去采集数据先经S3写入对象存储,再经NAS网关复制到GPU服务器本地存储,最后以NFS共享给GPU集群,多个环节依次搬运直接拖慢训练供给。改用深信服aStor统一存储后,采集数据以S3写入统一存储并原地处理,训练环节通过NFS over RDMA直接访问同一份数据,低频数据自动流动至异构混闪层,数据链路由多段搬运变为原生直达。
深信服aStor统一存储在AI场景用户部分实践一览
|
行业方向 |
代表实践 |
典型负载 |
|
自动驾驶 |
魔视智能、天瞳威视、驭势科技、上海仙途智能等用户 |
路采图片与视频、标注数据集、模型训练 |
|
AI制药 |
维亚生物、某头部AI制药企业等用户 |
分子模拟轨迹、虚拟筛选结果、模型权重 |
|
具身智能 |
节卡机器人、某头部具身智能机器人企业等用户 |
采集图像与视频、传感器数据、多轮策略训练 |
|
AI影像与工业检测 |
影石创新、菲特(天津)检测技术等用户 |
全景拼接、高并发小IO读取、标注与训练 |
|
AI科研与算力服务 |
清华大学智能产业研究院、深圳鲲云、某头部高校机器学习平台等众多用户 |
科研训练、模型推理、容器实例数据 |
|
AI推理与代码服务 |
某头部代码辅助生成服务商等用户 |
推理模型权重、容器实例数据、异构GPU平台共享 |
|
行业大模型与媒资AI |
某头部医疗健康大模型企业、某头部数字媒资平台等用户 |
大模型训练语料、历史媒资、跨系统存量数据 |
|
视觉算法与目标检测 |
某头部视觉算法厂商、某头部工业视觉质检企业等用户 |
小图片与标注文件、质检图像、检测模型训练 |
|
智算中心 |
已覆盖多家运营商地市级智算中心、显示行业头部企业技术中心等多个项目 |
训练、Checkpoint、容器镜像与长期留存 |
这些方向中,规模较大的一类来自智算中心。某头部电信运营商地市级智算中心按256台GPU服务器、每台8张H100的规模规划算力,首期要求2PB可用容量,近期规划3PB、远期10—15PB,文件形态从4KB一直覆盖到10GB;该项目配置8台aStor全闪存储,以200G IB连接GPU服务器,通过NFS over RDMA与CSI接口同时适配虚拟机与容器平台,并在72小时内完成定制内核用户端适配、软件包与用例验证,形成面向256台服务器的批量部署工具。另一家显示行业头部企业的技术中心,以3台统一存储与60块3.84T SSD全闪空间承载超过100TB的图形大模型训练数据,并集中管理访问权限与容量配额。
还有一类来自媒资行业。某头部数字媒资平台在历史媒资存储临近生命周期终点的同时,新增AI内容审核、画质增强与版权追踪等负载,最终以100TB全闪加500TB混闪的分层结构,同时承接新增AI应用的访问压力与历史媒资的长期保存,并以多活、纠删码和防勒索机制保护核心视频资产。
上述项目中,部分用户基于自身要求不作具名披露,此处以行业与规模描述呈现。面向中大型AI集群与智算中心存储的建设需求,这类规模项目的适配经验,往往比单节点峰值参数更能说明方案的实际能力。需要说明的是,这张表反映的是跨行业落地的覆盖广度,不等同于某项能力的验证样本数;涉及具体能力的判断,仍以有实测记录的项目为准。
中大型AI集群的实践验证
影石创新科技股份有限公司的AI影像业务涵盖全景拼接、AI剪辑与成片训练。早期数据分散在服务器本地SSD,随后集中至5台aStor混闪存储并接入Kubeflow平台,数据增长至600TB;引入H100后,高并发小IO读取成为训练瓶颈。用户新增1套aStor 530全闪性能层,与原有5台混闪容量层协同,整体裸容量超过2PB,以统一路径挂载训练容器,并按团队管理目录、权限与配额。数据进入全闪1天后异步下沉,超过4天未访问则从热层淘汰,再次读取时按需加载。切换阶段采用全量复制与增量同步结合,项目对各目录最后一次增量同步的实际记录为2分钟内完成;20分钟是该业务提出的停机窗口要求,整体切换时长须以最终切换当次的验收记录为准。
在更大的智算规模上,维亚生物围绕AIDD平台开展模型训练、分子模拟和虚拟筛选,现网部署10余台满卡B200服务器。其采用aStor统一存储构建软件定义数据底座:100+TB全闪资源承载训练、模拟和筛选等高性能业务,400TB混闪资源承载历史项目和归档数据,结合400G IB网络及RDMA、GDS能力提供GPU高速数据通路,冷热数据自动放置,性能与容量资源独立扩展,支撑AIDD业务的持续迭代。
AI训练存储的选型,最终回到三个问题:供数能力能否让GPU持续运转,数据链路能否让训练业务快速上线,成本结构能否支撑数据规模的长期增长。深信服aStor统一存储以全栈自研的分布式架构、贯通数据准备到训练归档的统一治理能力和弹性演进的成本结构,为中大型AI集群与智算中心提供经过实践验证的数据底座。



