AI存储需要什么架构:统一存储贯通数据准备、训练与归档
人工智能改变了企业数据的使用方式。同一份影像既服务业务系统,也可能进入模型训练;同一批文档既服务办公,又可能进入知识库、检索增强生成和智能体应用;生产数据还会被分析平台和AI应用反复调用。数据开始跨应用、跨系统和跨存储流动,存储基础设施的建设逻辑,正从围绕单个应用配置资源,转向围绕数据的全生命周期组织服务。
一个AI项目的数据旅程通常横跨多个环节:数据准备阶段的采集、清洗、标注依赖高吞吐写入与对象化组织;训练阶段需要海量小文件并发读取与大文件检查点写入;推理阶段高频读取模型与特征数据;归档阶段要求低成本长期保存。如果每个环节分别建设一套存储,找数、导出、复制和校验将反复发生,数据孤岛之外还会产生新的训练副本和知识副本。深信服aStor统一存储作为面向企业生产业务、AI创新业务和海量数据长期保存的软件定义存储平台,以一套架构贯通AI数据全链路,让数据在哪个环节都以原生方式被访问。
统一承载各类业务:块、文件、对象、向量一套架构供给
aStor统一存储采用全对称分布式架构,在统一底座上提供块、文件、对象和向量四类数据服务:数据库和虚拟化通过iSCSI/NVMe-oF访问块数据,训练框架和设计软件通过NFS/SMB访问文件,数据湖与云原生应用通过S3访问对象,知识库与智能体应用通过S3 Vector兼容API管理和检索向量。协议、缓存、元数据和数据通路按负载特征优化,同时共享横向扩展、可靠性、安全和运维体系。
对AI业务而言,这意味着数据准备、训练与消费不再受协议割裂之苦。同一份数据保存在文件系统空间中,文件应用按目录和文件访问,对象应用按桶和对象访问,无需复制即可被两种协议读取;标注工具通过NFS写入的训练数据,训练框架和下游分析平台可分别以原生协议直接取用。文件服务基于自研分布式文件系统PhxDFS,支持POSIX标准接口,并具备pNFS并行访问、多活元数据服务等并行文件系统核心能力,为高并发训练负载提供文件侧的高性能支撑。
统一承载并不等于把所有业务放进同一种硬件。全闪形态主要承载低时延、高吞吐和高并发的训练推理与数据密集型业务,混闪形态主要承载海量数据及成本敏感业务;两种形态共享软件架构、管理体系和数据流动能力,按负载特征各自就位。
统一治理全域数据:让分散的数据被发现和复用
AI项目最大的隐性成本不是存储容量,而是数据无法被找到和复用。数据分散在多套NAS、对象存储和云存储中,使用者不知道数据位于哪里、是否最新、能否使用,项目时间大量消耗在找数、申请和搬迁上。aStor统一存储的治理体系围绕这一问题构建。
统一视图与数据流动:统一视图把多个异构文件系统或对象桶映射为稳定的逻辑入口,先建立跨存储元数据视图支持统一检索;数据正文按任务加载或预热到合适的性能层,存量数据可以继续保留在原有存储中,不需要先完成全量迁移。热数据按需进入全闪层,低频数据下刷到低成本层并保留逻辑路径,治理始终围绕数据如何被发现、使用、更新和追溯展开。
数据分支管理:训练数据、标注数据、评测数据和知识库文档持续更新,没有版本管理时,训练结果无法复现,多团队同时加工同一数据集只能靠复制目录区分。数据分支管理(适用对象为普通对象桶与目录桶,NAS桶、向量桶暂不支持)把持续变化的数据组织成可审核的发布流程:候选分支建立独立的修改空间,版本提交封存一次确定的数据状态,审阅合并将验证通过的修改发布到正式主线,发现问题可精确回退。训练与评测任务记录提交编号,即可准确还原当时输入。
向量数据同源治理:企业建设RAG与智能体应用时,原文、向量与检索元数据通常分散在不同系统,原文更新后旧向量仍可召回。aStor的向量桶与对象桶共享统一底座,原文和向量在同一套存储体系内建立可追踪的关联,权限治理覆盖向量资源与原文回源两层鉴权,让知识库的更新、检索与追溯建立在同源数据之上。
统一储存任意规模数据:从小规模起步随增长演进
AI数据规模的不确定性极高,按远期规模一次性建设意味着长期背负闲置成本,按当前规模保守建设又可能快速触及瓶颈。aStor统一存储支持从较小容量起步,随数据增长增加全闪性能资源或混闪容量资源:横向扩展同时覆盖访问入口、协议与服务算力、元数据处理和数据容量四个维度,新增节点后按容量、水位和负载策略调整数据分布。
在演进路径上,用户可以先建设混闪或保留第三方存储,在训练业务上量后增加全闪性能层;也可以从全闪起步,在温冷数据增长后扩展混闪或异构容量层。业务通过统一访问入口和元数据状态定位数据,演进过程减少大规模全量迁移和访问路径反复调整,使面向中高端、中大型用户集群与智算中心存储的建设投入始终与业务阶段匹配。
深信服aStor统一存储在部分行业用户实践
|
行业方向 |
代表实践 |
典型负载 |
|
自动驾驶 |
魔视智能、天瞳威视、驭势科技、上海仙途智能等用户 |
路采图片与视频、标注数据集、模型训练 |
|
AI制药 |
维亚生物、某头部AI制药企业等用户 |
分子模拟轨迹、虚拟筛选结果、模型权重 |
|
具身智能 |
节卡机器人、某头部具身智能机器人企业等用户 |
采集图像与视频、传感器数据、多轮策略训练 |
|
AI影像与工业检测 |
影石创新、菲特(天津)检测技术等用户 |
全景拼接、高并发小IO读取、标注与训练 |
|
AI科研与算力服务 |
清华大学智能产业研究院、深圳鲲云、某头部高校机器学习平台等众多用户 |
科研训练、模型推理、容器实例数据 |
|
AI推理与代码服务 |
某头部代码辅助生成服务商等用户 |
推理模型权重、容器实例数据、异构GPU平台共享 |
|
行业大模型与媒资AI |
某头部医疗健康大模型企业、某头部数字媒资平台等用户 |
大模型训练语料、历史媒资、跨系统存量数据 |
|
视觉算法与目标检测 |
某头部视觉算法厂商、某头部工业视觉质检企业等用户 |
小图片与标注文件、质检图像、检测模型训练 |
|
智算中心 |
已覆盖多家运营商的地市级智算中心项目,以及显示行业头部企业技术中心等 |
训练、Checkpoint、容器镜像与长期留存 |
覆盖的这些方向里,规模较大的一类是智算中心项目。显示行业头部企业技术中心以3台统一存储、60块3.84T SSD全闪空间承载超过100TB的图形大模型训练数据,访问权限与容量配额集中管理;另一家运营商的地市级智算中心按256台GPU服务器、每台8张H100规划算力,可用容量首期2PB、近期3PB、远期10—15PB,文件形态从4KB到10GB,配置8台aStor全闪存储,以200G IB连接GPU服务器,通过NFS over RDMA与CSI接口同时适配虚拟机与容器平台,并在72小时内完成定制内核用户端适配、软件包与用例验证,形成面向256台服务器的批量部署工具。
AI与生产质检结合的场景中,某头部工业视觉质检企业以3台统一存储、PB级容量授权同时划分全闪块存储池与混闪文件/对象池,匹配单台8张H20服务器的AI后端数据访问,并同时承载办公共享与备份,以快照机制保护数据。
这些项目里,有部分用户基于自身要求不作具名披露,因此只呈现行业与规模。对中大型AI集群与智算中心的存储规划而言,这类规模项目的适配过程比单点参数更有参考价值。同时也要看到,覆盖广度不等于验证样本数,具体能力的判断须回到有实测记录的项目。
AI全链路数据底座的实践
维亚生物科技(上海)有限公司围绕AIDD平台开展模型训练、分子模拟和虚拟筛选,持续产生模型权重、模拟轨迹、蛋白质结构和分子描述符等研发数据。随着算力扩展至10余台满卡B200服务器,其采用深信服aStor统一存储构建软件定义数据底座:100+TB全闪资源承载训练、模拟和筛选等高性能业务,400TB混闪资源承载历史项目和归档数据,结合400G IB及RDMA、GDS能力提供GPU高速数据通路,并通过数据流动实现冷热数据自动放置,性能与容量资源分别按需扩展,支撑AIDD业务持续迭代。
在科研训练场景,清华大学智能产业研究院的科研项目训练数据超过200TB,原自建存储存在I/O瓶颈,训练读取影响算力利用。其部署3台aStor-3650提供480TB存储空间,每台配置2块1.6TB U.2 NVMe作为高性能层,通过小文件聚合、元数据优化和预加载改善训练供数,结合分布式扩展及数据保护支撑科研任务持续增长。
在自动驾驶方向,天瞳威视电子科技股份有限公司的采集、标注与训练数据持续增长。该用户部署3台aStor-1250全闪与6台aStor-3650混闪、总容量2PB,Windows标注环节走CIFS、Linux训练环节走NFS,通过协议互通把采集、标注与训练之间的拷贝环节压缩掉,全闪与混闪分层兼顾训练访问与长期保存。魔视智能科技(上海)股份有限公司则以混闪架构承载自动驾驶海量数据,历经8个月三期扩容将总容量拓展至3.8PB,容量利用率稳定维持90%,海量数据迁入期间业务持续平稳运行。
在AI影像方向,影石创新科技股份有限公司的业务涵盖全景拼接、AI剪辑与成片训练。早期数据分散在服务器本地SSD,随后集中至5台aStor混闪存储并接入Kubeflow平台,数据增长至600TB;引入H100后高并发小IO读取成为瓶颈,用户新增1套aStor 530全闪性能层与原有5台混闪容量层协同,整体裸容量超过2PB,以统一路径挂载训练容器,数据进入全闪1天后异步下沉,超过4天未访问则从热层淘汰,再次读取时按需加载。
AI时代的企业存储,需要回答的不再是为某个应用配多大容量,而是数据从产生到进入模型、从训练到推理归档的完整旅程如何高效运转。深信服aStor统一存储以块、文件、对象、向量四类服务的统一承载、全域数据的统一治理和任意规模的弹性演进,成为贯通AI数据全链路的数据底座。



