企业建设AI平台时,算力上线只是开始。训练集可能还分散在多套NAS与对象存储中,模型发布需要把大文件交付给多台推理服务器,知识库又要持续更新原文与向量。与此同时,数据库、虚拟机、办公和生产系统仍在运行。新增一套高性能设备可以改善局部读写,却未必能解决跨系统找数、重复复制、版本不一致和长期容量增长。
AI存储方案将数据接入、训练供数、推理使用、可靠保护与资源扩展组织为完整的生产链路。深信服aStor统一存储面向中高端生产需求与中大型集群,以全栈自研的软件定义架构连接传统业务与AI创新,为企业提供块、文件、对象和向量四类数据服务。统一架构贯通数据准备、高性能供数、模型与知识数据使用及长期扩展,让性能投入持续服务实际业务。
深信服是国内统一存储品类的开创者&践行者。aStor以统一架构和全域数据治理落实这一产品路线,通过元数据并发、并行访问和分层扩展,形成“大规模承载,性能优越”的生产能力。设备保护与业务恢复保障持续运行,科研训练、自动驾驶、具身智能与AI制药项目已将统一存储用于训练供数、数据复用和研发生产。
一、统一架构:块、文件、对象与向量协同承载AI业务
AI存储承接训练、推理及知识应用数据,是企业AI生产的基础设施。其设计起点是业务访问方式:数据库关注事务与持久化,训练需要持续读取样本并保存状态,推理在部署时集中加载模型,知识应用则将原文、向量及检索元数据关联使用。明确这些访问需求后,架构即可按业务配置服务能力和资源。
统一承载各类业务:块、文件、对象、向量协同
深信服aStor统一存储以一套软件架构提供四类服务:块卷连接数据库与虚拟化,文件目录服务共享研发和训练,对象桶接收采集数据及大规模数据集,向量服务管理向量、索引和检索元数据。服务共享底层持久化、数据保护和扩展机制,同时保留各自的协议语义与权限配置。新增AI业务能够复用统一技术体系,减少独立系统之间的交接。
这一架构由访问层、服务层、索引与缓存层、持久化层协作实现。访问层接收协议请求,服务层定位卷、目录、对象或向量索引,PhxKV组织元数据与映射,PhxTier管理缓存和分层,持久化层按副本或纠删码保存数据。请求处理、数据组织和介质访问能够沿同一条路径优化,而不只是把多个接口放在同一个管理页面。
全栈自研凤凰架构:让核心引擎围绕生产负载演进
aStor采用全栈自研的凤凰架构,核心存储体系并非基于Ceph改造。自研PhxDFS文件系统、PhxKV与PhxTier,使小文件元数据、数据布局、缓存及保护机制能够围绕同一负载协同演进。
2019年,深信服的软件定义统一存储已采用全对称分布式架构,在同一平台提供块、文件和对象服务;2022年上半年推出自研凤凰分布式文件系统,通过可扩展的元数据服务和静态子树、目录哈希等布局,优化高并发下的元数据处理。当前aStor进一步将向量服务与全域数据治理纳入统一底座,使多协议业务承载延伸到AI数据准备、访问和复用,企业可沿用统一的技术与管理体系推进业务演进。
明确持久化与共享分工:统一存储连接既有系统
企业选择建设方式时,可以从统一存储、独立文件与对象系统、计算节点本地盘三条路径判断。统一存储适用于跨阶段复用和长期演进,本地盘适合保留节点临时数据与可再生缓存,已有独立系统则可继续承担边界清晰的原业务。关键在于明确数据的持久化归属和共享入口,使业务运行方式与后续扩展保持一致。

图1 统一数据底座中的数据准备、四类服务与资源保护关系
|
数据服务 |
主要承接对象 |
AI建设中的作用 |
|
块服务 |
数据库、虚拟机、平台基础组件 |
承载结构化生产数据与平台运行 |
|
文件服务 |
共享目录、样本、模型文件 |
服务训练读取、协作处理和模型加载 |
|
对象服务 |
采集数据、原始数据集、历史资料 |
衔接数据接入、复用和长期保存 |
|
向量服务 |
向量、索引、检索元数据 |
向知识应用提供存储侧索引与查询 |
二、统一治理全域数据:从异构纳管到可用训练集
训练数据准备慢,常常始于数据分散。一个任务需要多个项目、不同日期和不同格式的数据,团队必须逐套查找、申请权限、复制和核对。即使复制完成,源端继续更新也会使训练副本与原始资料逐渐分离。解决这类问题,需要让发现、授权、数据准备和正式读取形成可衔接的过程。
异构元数据纳管:先发现数据再按需加载
aStor可纳管受支持的第三方NAS、对象存储和云存储,先采集目录、对象及必要元数据,形成统一视图。使用者按项目、时间、文件类型、标签等条件筛选目标数据,并保留来源路径与状态。实际数据访问继续执行对应文件或对象服务的鉴权,使统一查询能够衔接原有权限体系。
元数据进入视图后,任务可以组织需要使用的数据集,再通过主动预热或按需加载将目标数据准备到高性能层。原始数据仍可保留在容量资源上,不必等所有历史文件搬迁完毕再启动首批业务。已知开训时间和数据清单时,提前加载可把冷端读取安排到准备窗口,减少开训时集中回源。
AI业务上线快:协议协同与版本交付贯通训练准备
采集平台以S3写入、训练工具以文件方式读取时,文件与对象协同访问能够缩短交付路径。aStor通过统一元数据、共享桶关联和相应文件语义,让受支持范围内的两类客户端访问同一份底层数据。配置身份映射、目录规则和写入完成交接后,训练任务可以直接使用已准备的数据,减少为更换接口再次建立完整副本。
多团队并行处理还需要固定一次试验的输入。对于普通对象桶和目录桶,数据分支可将候选修改、提交版本与正式发布分开组织,任务绑定具体提交后再读取。NAS桶和向量桶按各自服务的保护与版本机制设计。这样,统一发现负责找到数据,协议协同负责接入,分支发布负责确定使用哪一版,三者共同缩短数据准备链路。
三、百亿级文件与并行读取:从元数据定位到GPU供数
训练时的“读不动”需要沿访问路径解释。海量图片与标签文件会产生目录查找、属性查询和打开操作;打包后的样本或大模型权重更容易受连续吞吐约束;读取到主机之后,还要经过数据处理与计算加载。不同环节需要不同资源,单看存储总带宽会掩盖局部等待。
AI算力少等待:百亿级文件的元数据并行处理
面对海量小文件,PhxDFS采用多活MDS,将元数据请求分配给多个处理单元。目录分片把目录中的元数据组织为可分担的范围,PhxKV保存文件位置与映射,缓存减少重复查询,小文件聚合则把分散写入组织成更连续的数据访问。这些机制构成百亿级文件规模的架构承载基础。文件数量和并发增长时,元数据处理随节点和资源配置共同扩展,使计算进程更快找到并打开下一批样本。
并行文件访问:pNFS与NFS+分担读取请求
文件已经定位后,需要让文件内容读取避开单一入口或单条连接的限制。pNFS根据布局信息让客户端与数据承载节点直接通信;NFS+通过多连接和跨节点分担请求,配合智能选路改善单挂载点的访问能力。pNFS可采用匹配的通用客户端,NFS+使用轻量客户端,企业可以按训练环境选择相应接入方式。
高速数据传输:RDMA与适配GPU路径协同
传输优化进一步减少数据搬运开销。在客户端、存储端和网络满足条件时,NFS over RDMA用于文件路径,S3 over RDMA将对象数据传入计算节点主机内存;适配的GDS或cuObject路径则面向GPU数据访问。对象目录组织、请求并行、网络传输与GPU加载分别处理不同环节,将它们匹配起来才能形成完整供数通路。
读写共同规划:单框性能与Checkpoint并发配套
F6000T-H单框的产品性能指标包括大文件读取120GB/s、写入40GB/s,以及小文件40万OPS。大文件吞吐与小文件操作率分别描述不同负载,企业据此规划时,应同时安排客户端并发、网络端口、数据分布与保护策略,使设备能力能够沿实际数据路径发挥。训练任务中还应观察样本到达、文件打开和保存状态的耗时,确认新增资源缓解了哪一段等待。
训练保存Checkpoint时,读取负载会叠加集中写入。共享存储负责接收和持久化数据,训练平台组织各分片写完、确认完整状态并发布可恢复入口。将读取、保存和后台流动的并发关系纳入资源规划,可以减少周期性保存对持续训练的干扰,也为故障后加载完整状态提供稳定入口。

图2 PhxDFS将目录分片分布到多个MDS,分担元数据请求
四、模型与知识协同:共享入口支撑推理上线和持续更新
推理业务的数据需求包含不同时间尺度。部署与扩容阶段需要读取模型权重、配置和分词器文件,在线服务可能持续访问知识原文、向量及业务数据,历史结果和日志则需要按保留周期管理。将这些数据统一组织,可以减少逐台维护模型副本和跨系统核对知识状态的工作。
共享模型仓库:完整版本与预热缩短上线准备
模型文件可以保存在共享存储中,以完整版本作为发布单元。新增实例读取确定的模型版本,在并发启动前准备热点工作集,再由服务平台完成模型加载、就绪检查和流量接入。共享入口与按需预热配合,使节点扩展更容易复用既有数据;节点本地盘仍可按运行环境保留临时文件和缓存。
原文向量协同:索引查询与事件更新衔接
知识应用中,原文与向量承担不同任务。aStor通过S3 Vector兼容API管理向量桶、索引和向量,并支持索引构建、查询与元数据过滤。上层知识平台完成原文解析和Embedding,建立原文修订与向量记录的对应关系。检索命中后再按业务权限访问原文,使数据组织和知识使用能够连续衔接。
原文新增、修改或删除时,文件与对象事件通知可将变化交给下游流程。采用持久化通知时,队列和重试机制帮助交付事件,上层平台据此安排重新解析、向量更新或撤回,并处理重复事件与缓存刷新。存储对变化的记录、向量服务的索引处理与应用的知识发布相互配合,使持续更新的数据可供多个应用使用。
这套方案改善的是模型与业务数据的组织、读取和更新。推理服务的计算效率还由模型、推理引擎与计算资源共同决定,因此部署时将文件加载时间、实例就绪时间和在线请求指标分开观察,能够更准确地定位存储优化的业务价值。
五、多层数据保护:从介质冗余到设备接管和业务恢复
AI任务往往持续运行并反复使用已有数据。数据可靠保存只是第一层要求,链路或设备出现故障时能否继续访问、误操作后能否恢复、恢复的数据能否被业务重新使用,同样影响生产连续性。aStor将介质保护、设备接管和数据恢复放在同一技术体系中建设。
双控接管与冗余修复:保持设备故障后的数据访问
在全闪盘控一体形态中,一个机框包含两个活动控制器和双端口NVMe介质。单个控制器故障后,存活控制器仍可访问框内数据盘,设备可以通过原有介质继续提供服务。跨机框集群按故障域布置数据冗余,控制器接管与磁盘、机框失效对应不同处理路径,资源规划同时考虑正常运行和故障后的承载能力。
持久化写入将数据确认与日志、冗余及介质状态关联。端到端校验用于发现静默损坏,并利用有效冗余修复;磁盘健康检测与亚健康隔离减少异常介质持续拖慢前台请求;重建把数据重新组织到可用位置。前台业务、修复流量和剩余空间一起规划,有助于在故障处理期间保持可用的数据服务。
版本保护与应用恢复:让数据保护衔接业务续行
快照、回收站、WORM和远程复制分别处理数据版本、误删、不可变保护和异地恢复。文件目录的快照应与相应保护范围及保留策略配套,异步复制则按备端已经确认的数据状态安排恢复。企业可以围绕训练输入、模型版本与重要结果确定保护频率,使保护资源集中覆盖难以重新产生的内容。
业务恢复还需要把存储与应用衔接。训练平台重新加载完整Checkpoint并恢复任务,推理平台重新读取模型、完成就绪检查后承接流量。通过明确数据恢复入口、访问权限和应用启动顺序,存储高可用能力能够转化为可执行的业务恢复路径。持续监控容量、介质、网络和服务状态,也使日常运维能够提前处理影响连续性的风险。
六、性能层与容量层协同:按工作集配置与扩展资源
AI数据的总容量与每天真正参与计算的工作集并不相同。新增采集数据可能短期高频使用,某些历史样本又会在模型迭代时重新变热。如果所有数据长期占用全闪,历史留存会持续挤压性能资源;如果只扩容量层,活跃训练的读取能力又可能跟不上算力增长。
运营成本更可控:全闪工作集与温冷容量分工
aStor以全闪承接活跃训练、模型加载和高并发访问,以混闪或受支持的存量存储保留温冷数据,通过数据流动衔接两类资源。任务前准备热点数据,任务后按访问与保留策略安排下沉,让性能层容量围绕当前工作集配置。首次从冷层加载的数据会经过源端和网络,预热窗口与后台并发因而需要和业务计划配套。
混闪缓存管理中,已完整回写到HDD容量层且存在有效副本的数据,才能从SSD缓存中淘汰。淘汰释放的是缓存空间,容量层数据继续保留;持续重新访问的数据可按缓存条件加载回SSD。把缓存空间回收与业务资料删除区分开,既有助于保持热点资源,也便于制定长期留存策略。
PB到EB容量演进:节点、网络和保护空间协同规划
企业可以按阶段增加性能资源或容量资源,在统一软件架构下连接全闪、混闪及既有设备,面向从PB级到EB级的容量增长规划演进。扩展方案同时看节点服务能力、元数据、网络和故障域:读取压力增长时增加对应性能资源,低频数据积累时扩展容量层,减少因单一维度增长而整体替换平台。
纠删码通过数据块与校验块降低冗余容量开销。在至少24块磁盘并满足产品布局条件时,以20+2配比为例,数据占编码块的理论比例约为90.9%,具体有效容量还需要结合磁盘数量、系统空间和保护布局确定。介质效率、分层和存量复用各自作用于成本结构,企业可按自身数据增长与服务目标组合使用,使投入随实际需求演进。
七、AI生产实践:规模化部署与持续运行
深信服aStor统一存储已用于科研训练、自动驾驶、具身智能与AI制药,承接训练供数、数据准备与研发资料保存等生产任务。设备接管、数据冗余与恢复机制构成可靠性基础,实际项目中的生产负载、容量增长和运行表现则展现规模化落地能力。
魔视智能采用深信服aStor统一存储:3.8PB持续生产
魔视智能采用深信服aStor统一存储混闪承载自动驾驶数据。在相同业务压缩文件的对比测试中,文件解压由90分钟缩短至7分钟,路采数据更快进入后续清洗、标注和训练准备。项目从初次上线到后续两次扩容,累计授权容量达到3.8PB,并在大量数据迁入后维持业务平稳运行。这条路径把元数据处理、容量增长和持续生产联系起来,适用于海量数据需要逐步增加资源的建设节奏。
深信服aStor统一存储服务科研、制药与具身智能生产
清华大学智能产业研究院采用深信服aStor统一存储支撑科研训练,部署3台aStor-3650,为科研团队提供480TB的存储空间,每台配备NVMe高性能层。小文件聚合、元数据优化和预加载用于改善训练供数,分布式资源和数据保护共同承接项目增长。对于已有大量训练数据、又需要兼顾高频访问与容量投入的团队,这种组合说明了性能层与容量资源协同建设的实际方式。
维亚生物采用深信服aStor统一存储连接AIDD模型训练、分子模拟和虚拟筛选,以100+TB全闪和400TB混闪分别承担活跃研发与历史留存,结合高速网络及数据流动组织访问。节卡机器人则用统一底座衔接S3采集与文件训练访问,减少NAS网关和GPU本地盘中转。两类实践分别对应混合负载供数与跨协议数据复用,展示同一架构围绕不同业务重点配置资源的能力。
跨行业核心生产:统一底座承载多类持续业务
aStor的生产应用还覆盖制造、医疗、芯片研发和测绘等领域。IDC 2026年第二季度中国文件存储市场统计中,深信服位居前三。持续的市场应用与跨行业生产实践,为企业建设统一存储提供了产品成熟度和工程经验方面的依据。
|
行业方向 |
代表实践 |
典型负载 |
|
AI科研与影像 |
清华大学智能产业研究院、影石创新等客户 |
科研训练、影像处理、热点读取与历史留存 |
|
自动驾驶 |
魔视智能、天瞳威视等客户 |
路采数据准备、标注与训练共享、PB级增长 |
|
具身智能与AI制药 |
节卡机器人、维亚生物等客户 |
采集到训练衔接、模拟筛选与模型训练 |
|
制造与测绘 |
太原重工、河北省地理信息集团等客户 |
仿真虚机与多协议资源池、测绘建模与成果保存 |
|
医疗与芯片研发 |
仁济医院、翱捷科技等客户 |
PACS影像持续增长、PB级EDA在线数据 |
八、分阶段建设:首批上线与持续扩展共用技术底座
首批上线:先打通代表性任务的完整数据路径
建设可以从一条完整业务链路开始。先明确首批数据来源、正式写入端、应用接口和访问权限,再选取有代表性的文件数量、大小分布与任务并发。这样既能确定性能层需要容纳的工作集,也能判断哪些数据适合原位纳管、哪些需要提前加载、哪些应逐步迁移。
第二步围绕实际任务配置数据路径。小文件训练先处理目录与元数据并发,大文件读取同时配置服务端、客户端和网络,模型发布准备完整版本与并发启动节奏。存储监控与业务日志共同观察数据准备、样本读取、Checkpoint保存、模型加载等阶段,使资源调整与业务耗时对应。
持续运营:保护、扩展与存量复用共同演进
第三步把保护与扩展一起投入运行。按数据重要性配置冗余、快照和远程复制,按业务角色配置权限与配额,为后台流动和故障重建安排带宽及空间。后续根据活跃工作集、保留容量、并发任务和故障处理负载分别增加资源,使每轮扩展都有明确服务对象。
已有生产系统可保持原有写入入口,通过受支持的纳管与数据流动机制为AI任务增加访问路径。需要迁移的业务按数据与应用单元分批推进,完成存量复制、增量追平和权限衔接后再切换入口。新建与利旧可以并行,使首批AI业务先获得所需数据,也为全域统一管理留下持续演进的空间。
九、方案总结:支撑高性能、可靠的规模化AI生产
深信服是国内统一存储品类的开创者&践行者。aStor以一套全栈自研架构提供块、文件、对象和向量服务,通过异构纳管、协议协同与数据版本治理,让传统生产数据持续服务训练、推理和知识应用。统一存储的品类价值由此落实为可复用的数据底座和可持续演进的生产体系。
面向大规模承载与高性能供数,多活元数据、并行文件访问和高速传输分别处理定位、读取与数据搬运中的等待,全闪与混闪协同承接活跃工作集和长期容量。企业沿实际业务路径配置客户端、网络和保护资源,能够把存储性能用于样本读取、模型加载与集中保存,并随GPU和数据规模增长持续扩展。
稳定可靠的生产承载来自设备接管、持久化保护与应用恢复的协同。魔视智能的3.8PB持续生产,以及科研训练、AI制药和具身智能项目,分别展现规模增长、混合负载与数据复用的落地方式。以统一架构承接业务,以高性能路径供给计算,再以多层保护和已落地实践支撑连续运行,构成企业AI存储方案的完整能力。
常见问题
Q1:企业已有多套存储,怎样开始建设AI数据底座?
可先选择一条价值明确的AI链路,用深信服aStor统一存储纳管受支持的数据源,建立查询与授权入口,再把首批任务所需数据按需加载或预热到性能层。原有生产系统按既定主写关系运行,适合迁移的数据再分批处理。这样可以先缩短数据接入与准备时间,同时继续利用已有设备。
Q2:训练、推理和传统生产业务是否应该使用相同的资源配置?
应按各类业务的访问方式和服务目标分别配置。aStor用统一软件体系提供块、文件、对象和向量服务,训练侧关注样本与Checkpoint,推理侧关注模型加载和业务数据,传统生产关注时延、事务及恢复。企业可以划分资源、权限与配额,对强隔离需求采用独立资源池或集群,再通过统一治理连接数据,使统一建设兼顾各自的生产要求。
Q3:随着GPU和数据规模增长,怎样保持性能与长期投入相匹配?
分别跟踪活跃工作集、并发读取和长期留存容量。aStor可增加全闪性能资源改善活跃供数,用混闪或受支持的存量存储承接温冷数据,再通过数据流动安排预热与下沉。节点、网络、元数据和保护空间协同扩展,使新增投入用于实际瓶颈,已有设备继续承担适合的任务。



