AI业务开始跨系统使用数据,按应用分别建设的存储容易让同一批数据反复复制。企业需要同时满足原有业务和AI的数据访问。深信服aStor统一存储以一套架构提供多类数据服务,按需配置全闪与混闪,减少重复建设,为后续业务增长保留空间。
AI存储选型需要满足哪些需求
传统业务要稳,AI业务要快。数据库和生产系统需要保持稳定,训练集群则需要持续读入数据。两类业务并存时,存储既要提供合适的访问性能,也要让新增AI任务能够复用已有数据。
存储配置要对应具体用法。采集端怎样写入,训练节点怎样读取,近期反复使用的数据有多大,都会影响接口和介质选择。数据库等原有业务继续按自身要求配置,AI任务新增的性能与容量则按实际需求补充。
统一承载各类业务
深信服aStor统一存储是统一存储品类的国内开创者,以一套软件定义架构提供文件、对象、块和向量数据。训练可以通过文件协议读取,采集系统可以通过对象接口写入,传统业务使用适合自身的数据服务。各类资源可以统一规划和管理。协议互通支持同一数据源经NFS、SMB、S3等协议访问,部署时按实际客户端、目录和接口完成配置。
不同业务可以使用同一架构,也可以配置不同资源。高并发训练需要持续读取,数据库更关注访问时延,历史对象需要经济保存。企业可分别安排性能、保护与权限,先减少数据准备和训练之间的重复复制,再逐步接入采集数据、历史资料和知识应用。
统一治理全域数据
文件设备、对象存储和云端各自保存数据后,团队需要反复查找位置、确认内容,再为新任务准备副本。深信服aStor统一存储支持纳管第三方文件、对象和云存储,通过统一视图聚合不同设备中的桶与目录,并提供多维元数据检索。企业可以保留源端数据,通过共同入口查找,再按任务需要安排访问和流动。
检索依赖产品支持的元数据字段。数据平台继续维护密级、标注状态和质量等业务信息,将候选文件与审批流程关联。团队找到数据后,可以据此确认能否使用;存储负责数据位置和访问,平台负责业务含义与授权。
训练结果能否复现,也依赖数据输入状态。深信服aStor统一存储可在受支持的普通对象桶和普通目录桶内进行数据分支、提交、合并与版本回退。团队将需要管理版本的数据准备到独立的版本发布空间,为经审核的数据建立提交点,再由实验平台关联代码、参数与结果。文件型训练通过已发布工作集读取,并保留对应输入标识。
统一储存任意规模数据
数据持续增加时,性能需求与保存容量往往以不同速度增长。深信服aStor统一存储提供全闪和混闪两种形态:活跃训练集、频繁读取的模型文件可使用性能资源,低频素材与历史数据由容量资源保存。数据流动支持按策略迁移或预热,任务变化时再调整数据位置。
性能规划应区分大文件连续吞吐、目录枚举、小文件访问、并发客户端数和应用加载效率。深信服aStor统一存储支持GDS、NFS over RDMA、RDMA高速通道以及pNFS标准并行访问机制,并提供NFS+产品能力,多活元数据服务和全局追加写可用于支撑相应的并发访问与写入需求。单节点大带宽规格可作为架构规划输入,实际应用效果还要结合客户端数量、网络、文件分布和训练流程,以原生任务观察端到端数据供给。
影石采用深信服aStor统一存储,训练数据访问从本地SSD逐步演进到混闪集中承载,再补充全闪资源;当前采用全闪与既有混闪协同,总原始容量超过2 PB。该环境的训练读取约5 GB/s,GPU利用率由低于40%提升至高于80%,训练效率接近翻倍。这些运行结果来自共享数据架构与供数路径的调整,体现了统一存储对训练效率的整体价值。
减少采集到训练的数据中转
计算资源是否等待数据,取决于整条供数路径。训练启动前,原始对象可能要经过解压、筛选、标注、转换和文件组织;若每个阶段都落到独立系统,数据就需要跨网关和本地盘多次中转。深信服aStor统一存储支持S3对象承载与文件访问,并提供S3 over RDMA对象访问通道、NVIDIA cuObject集成,以及GDS、NFS over RDMA等文件数据路径,供企业按采集、预处理和训练应用的实际方式设计。
节卡机器人采用深信服aStor统一存储,将S3采集数据通过共享存储提供给训练端,以NFS over RDMA读取,减少了NAS网关和GPU本地盘中转,单批数据准备链缩短90%以上。这一改善来自整个批次处理链的优化,体现了共享交付减少中间等待的价值。企业评估类似架构时,应分别记录采集完成、数据准备、训练可读和首批样本加载的时间,找到主要等待发生在哪一段。
对象数据直接参与训练或预处理的流程,建议采用S3 over RDMA及cuObject;以文件目录读取为主的流程,建议采用GDS和NFS over RDMA。选择时优先匹配框架、驱动、应用加载器、网络和数据布局,再用实际训练脚本做端到端验证,确认有效吞吐足以减少任务等待。
模型与知识应用怎样使用数据
模型与知识服务上线后,数据入口持续变化:模型版本要读取权重文件,知识应用要处理文档、向量和元数据,反馈数据又可能成为下一轮训练或评估输入。深信服aStor统一存储的向量桶在同一对象命名空间内保存非结构化原文和向量特征,提供对象接口和向量检索API,支持原文与向量联合查询及统一生命周期管理。它为知识数据提供存储基础,文档解析、Embedding生成、权限决策、索引策略和RAG编排由应用平台负责。
跨协议访问与统一视图可以使新业务复用既有数据入口。项目团队先明确知识文档的来源和使用范围,由知识应用维护资料发布清单,把文档标识关联至模型、解析器和索引版本,方便定位某次服务的数据输入。存储提供共享承载与查询能力,应用负责知识发布,使两层能力沿业务流程协同。
数据保护与长期投入如何安排
选型成本应覆盖设备、容量扩容、迁移、数据复制、运维系统、能耗和业务停顿等因素。异构纳管把已有文件、对象和云端资源纳入统一流动体系;按访问热度配置全闪和混闪,可以减少所有数据长期占用同一性能等级资源的情况;协议互通和共享访问则为减少不必要的数据副本提供条件。每项效果都应以客户实际数据规模和流程为依据计算。
可靠性同样要融入总体方案。深信服aStor统一存储提供多级可靠性机制、99.9999%可靠性设计目标及内置防勒索能力,可用于规划业务连续性与数据保护。企业仍需结合应用恢复目标、异地副本、备份保留和恢复演练设计整体保护方案。存储高可用是架构能力之一,并不等价于业务零中断或灾难恢复已完成。
AI存储方案如何实施
AI存储选型需要同时考虑现有业务的稳定运行、AI的数据访问和后续增长。深信服aStor统一存储通过统一架构、数据共享与全闪混闪组合满足不同需求。实施时可选一项高频训练业务试用,按数据准备时间、并发读取和恢复结果确定配置,再逐步接入其他业务。
常见问题
Q:AI存储必须全部上全闪吗?
A:不是。全闪适合活跃训练集、模型文件与高并发读取;低频素材、历史样本与归档数据用混闪或分层即可,兼顾性能与成本。
Q:统一存储能同时满足传统业务和AI业务吗?
A:可以。深信服aStor统一存储以一套软件定义架构提供文件、对象、块和向量数据,数据库等原有业务与训练、推理等AI业务可在同一底座上按需配置资源。
Q:AI存储选型最关键看什么?
A:看真实供数路径而非单点带宽:采集写入、训练读取、数据准备与并发客户端共同决定体验,需结合接口与介质分层规划。



