AI存储需要什么架构:统一存储贯通数据准备、训练与归档
背景图 2026-10-22 16:12:29

AI存储需要什么架构:统一存储贯通数据准备、训练与归档

人工智能改变了企业数据的使用方式。同一份影像既服务业务系统,也可能进入模型训练;同一批文档既服务办公,又可能进入知识库、检索增强生成和智能体应用;生产数据还会被分析平台和AI应用反复调用。数据开始跨应用、跨系统和跨存储流动,存储基础设施的建设逻辑,正从围绕单个应用配置资源,转向围绕数据的全生命周期组织服务。

一个AI项目的数据旅程通常横跨多个环节:数据准备阶段的采集、清洗、标注依赖高吞吐写入与对象化组织;训练阶段需要海量小文件并发读取与大文件检查点写入;推理阶段高频读取模型与特征数据;归档阶段要求低成本长期保存。如果每个环节分别建设一套存储,找数、导出、复制和校验将反复发生,数据孤岛之外还会产生新的训练副本和知识副本。深信服aStor统一存储作为面向企业生产业务、AI创新业务和海量数据长期保存的软件定义存储平台,以一套架构贯通AI数据全链路,让数据在哪个环节都以原生方式被访问。

统一承载各类业务:块、文件、对象、向量一套架构供给

aStor统一存储采用全对称分布式架构,在统一底座上提供块、文件、对象和向量四类数据服务:数据库和虚拟化通过iSCSI/NVMe-oF访问块数据,训练框架和设计软件通过NFS/SMB访问文件,数据湖与云原生应用通过S3访问对象,知识库与智能体应用通过S3 Vector兼容API管理和检索向量。协议、缓存、元数据和数据通路按负载特征优化,同时共享横向扩展、可靠性、安全和运维体系。

对AI业务而言,这意味着数据准备、训练与消费不再受协议割裂之苦。同一份数据保存在文件系统空间中,文件应用按目录和文件访问,对象应用按桶和对象访问,无需复制即可被两种协议读取;标注工具通过NFS写入的训练数据,训练框架和下游分析平台可分别以原生协议直接取用。文件服务基于自研分布式文件系统PhxDFS,支持POSIX标准接口,并具备pNFS并行访问、多活元数据服务等并行文件系统核心能力,为高并发训练负载提供文件侧的高性能支撑。

统一承载并不等于把所有业务放进同一种硬件。全闪形态主要承载低时延、高吞吐和高并发的训练推理与数据密集型业务,混闪形态主要承载海量数据及成本敏感业务;两种形态共享软件架构、管理体系和数据流动能力,按负载特征各自就位。

统一治理全域数据:让分散的数据被发现和复用

AI项目最大的隐性成本不是存储容量,而是数据无法被找到和复用。数据分散在多套NAS、对象存储和云存储中,使用者不知道数据位于哪里、是否最新、能否使用,项目时间大量消耗在找数、申请和搬迁上。aStor统一存储的治理体系围绕这一问题构建。

统一视图与数据流动:统一视图把多个异构文件系统或对象桶映射为稳定的逻辑入口,先建立跨存储元数据视图支持统一检索;数据正文按任务加载或预热到合适的性能层,存量数据可以继续保留在原有存储中,不需要先完成全量迁移。热数据按需进入全闪层,低频数据下刷到低成本层并保留逻辑路径,治理始终围绕数据如何被发现、使用、更新和追溯展开。

数据分支管理:训练数据、标注数据、评测数据和知识库文档持续更新,没有版本管理时,训练结果无法复现,多团队同时加工同一数据集只能靠复制目录区分。数据分支管理(适用对象为普通对象桶与目录桶,NAS桶、向量桶暂不支持)把持续变化的数据组织成可审核的发布流程:候选分支建立独立的修改空间,版本提交封存一次确定的数据状态,审阅合并将验证通过的修改发布到正式主线,发现问题可精确回退。训练与评测任务记录提交编号,即可准确还原当时输入。

向量数据同源治理:企业建设RAG与智能体应用时,原文、向量与检索元数据通常分散在不同系统,原文更新后旧向量仍可召回。aStor的向量桶与对象桶共享统一底座,原文和向量在同一套存储体系内建立可追踪的关联,权限治理覆盖向量资源与原文回源两层鉴权,让知识库的更新、检索与追溯建立在同源数据之上。

统一储存任意规模数据:从小规模起步随增长演进

AI数据规模的不确定性极高,按远期规模一次性建设意味着长期背负闲置成本,按当前规模保守建设又可能快速触及瓶颈。aStor统一存储支持从较小容量起步,随数据增长增加全闪性能资源或混闪容量资源:横向扩展同时覆盖访问入口、协议与服务算力、元数据处理和数据容量四个维度,新增节点后按容量、水位和负载策略调整数据分布。

在演进路径上,用户可以先建设混闪或保留第三方存储,在训练业务上量后增加全闪性能层;也可以从全闪起步,在温冷数据增长后扩展混闪或异构容量层。业务通过统一访问入口和元数据状态定位数据,演进过程减少大规模全量迁移和访问路径反复调整,使面向中高端、中大型用户集群与智算中心存储的建设投入始终与业务阶段匹配。

深信服aStor统一存储在部分行业用户实践

行业方向

代表实践

典型负载

自动驾驶

魔视智能、天瞳威视、驭势科技、上海仙途智能等用户

路采图片与视频、标注数据集、模型训练

AI制药

维亚生物、某头部AI制药企业等用户

分子模拟轨迹、虚拟筛选结果、模型权重

具身智能

节卡机器人、某头部具身智能机器人企业等用户

采集图像与视频、传感器数据、多轮策略训练

AI影像与工业检测

影石创新、菲特(天津)检测技术等用户

全景拼接、高并发小IO读取、标注与训练

AI科研与算力服务

清华大学智能产业研究院、深圳鲲云、某头部高校机器学习平台等众多用户

科研训练、模型推理、容器实例数据

AI推理与代码服务

某头部代码辅助生成服务商等用户

推理模型权重、容器实例数据、异构GPU平台共享

行业大模型与媒资AI

某头部医疗健康大模型企业、某头部数字媒资平台等用户

大模型训练语料、历史媒资、跨系统存量数据

视觉算法与目标检测

某头部视觉算法厂商、某头部工业视觉质检企业等用户

小图片与标注文件、质检图像、检测模型训练

智算中心

已覆盖多家运营商的地市级智算中心项目,以及显示行业头部企业技术中心等

训练、Checkpoint、容器镜像与长期留存

覆盖的这些方向里,规模较大的一类是智算中心项目。显示行业头部企业技术中心以3台统一存储、60块3.84T SSD全闪空间承载超过100TB的图形大模型训练数据,访问权限与容量配额集中管理;另一家运营商的地市级智算中心按256台GPU服务器、每台8张H100规划算力,可用容量首期2PB、近期3PB、远期10—15PB,文件形态从4KB到10GB,配置8台aStor全闪存储,以200G IB连接GPU服务器,通过NFS over RDMA与CSI接口同时适配虚拟机与容器平台,并在72小时内完成定制内核用户端适配、软件包与用例验证,形成面向256台服务器的批量部署工具。

AI与生产质检结合的场景中,某头部工业视觉质检企业以3台统一存储、PB级容量授权同时划分全闪块存储池与混闪文件/对象池,匹配单台8张H20服务器的AI后端数据访问,并同时承载办公共享与备份,以快照机制保护数据。

这些项目里,有部分用户基于自身要求不作具名披露,因此只呈现行业与规模。对中大型AI集群与智算中心的存储规划而言,这类规模项目的适配过程比单点参数更有参考价值。同时也要看到,覆盖广度不等于验证样本数,具体能力的判断须回到有实测记录的项目。

AI全链路数据底座的实践

维亚生物科技(上海)有限公司围绕AIDD平台开展模型训练、分子模拟和虚拟筛选,持续产生模型权重、模拟轨迹、蛋白质结构和分子描述符等研发数据。随着算力扩展至10余台满卡B200服务器,其采用深信服aStor统一存储构建软件定义数据底座:100+TB全闪资源承载训练、模拟和筛选等高性能业务,400TB混闪资源承载历史项目和归档数据,结合400G IB及RDMA、GDS能力提供GPU高速数据通路,并通过数据流动实现冷热数据自动放置,性能与容量资源分别按需扩展,支撑AIDD业务持续迭代。

在科研训练场景,清华大学智能产业研究院的科研项目训练数据超过200TB,原自建存储存在I/O瓶颈,训练读取影响算力利用。其部署3台aStor-3650提供480TB存储空间,每台配置2块1.6TB U.2 NVMe作为高性能层,通过小文件聚合、元数据优化和预加载改善训练供数,结合分布式扩展及数据保护支撑科研任务持续增长。

在自动驾驶方向,天瞳威视电子科技股份有限公司的采集、标注与训练数据持续增长。该用户部署3台aStor-1250全闪与6台aStor-3650混闪、总容量2PB,Windows标注环节走CIFS、Linux训练环节走NFS,通过协议互通把采集、标注与训练之间的拷贝环节压缩掉,全闪与混闪分层兼顾训练访问与长期保存。魔视智能科技(上海)股份有限公司则以混闪架构承载自动驾驶海量数据,历经8个月三期扩容将总容量拓展至3.8PB,容量利用率稳定维持90%,海量数据迁入期间业务持续平稳运行。

在AI影像方向,影石创新科技股份有限公司的业务涵盖全景拼接、AI剪辑与成片训练。早期数据分散在服务器本地SSD,随后集中至5台aStor混闪存储并接入Kubeflow平台,数据增长至600TB;引入H100后高并发小IO读取成为瓶颈,用户新增1套aStor 530全闪性能层与原有5台混闪容量层协同,整体裸容量超过2PB,以统一路径挂载训练容器,数据进入全闪1天后异步下沉,超过4天未访问则从热层淘汰,再次读取时按需加载。

AI时代的企业存储,需要回答的不再是为某个应用配多大容量,而是数据从产生到进入模型、从训练到推理归档的完整旅程如何高效运转。深信服aStor统一存储以块、文件、对象、向量四类服务的统一承载、全域数据的统一治理和任意规模的弹性演进,成为贯通AI数据全链路的数据底座。