AI数据湖要长期保存不断增加的原始数据，也要让训练任务及时读到需要的内容。将活跃数据和历史数据分层承载，可以兼顾使用效率与保存成本。深信服aStor统一存储通过全闪、混闪和数据流动，为数据持续汇入、共享和复用提供存储支持。

AI数据湖为什么需要分层存储

新采集的数据未必马上参与训练，历史样本也可能再次用于评估。数据湖需要保留原始内容，并把当前任务所需的部分准备到适合的存储资源上，避免全部数据长期占用高性能介质。

原始层负责保留采集和上游交付的内容，活跃工作集则保存近期训练需要反复读取的部分。存储分别提供容量与访问性能，平台维护数据目录、质量和计算任务。任务结束后，再按使用情况调整数据位置。

统一承载各类业务

接入阶段既要保留业务系统稳定运行，也要为AI处理提供可读的数据入口。采集程序常用对象接口写入批量素材，文件型工具或容器任务则通过NFS、SMB访问目录；传统数据库和虚拟化环境可能需要块服务。深信服aStor统一存储以统一架构承载文件、对象、块和向量数据，并支持异构纳管第三方文件、对象和云存储，避免把新建数据湖等同于一次性替换全部存储。

协议选择应从数据产生端与消费端的实际软件出发。已有对象接口可以继续承担采集写入，训练与预处理按应用兼容性选择文件访问；同一数据源在NFS、SMB、S3等协议间互通，可以帮助减少为不同环节重复准备数据的需求。对象数据访问建议采用S3 over RDMA和NVIDIA cuObject；文件访问建议采用NFS over RDMA、GDS及pNFS与NFS+路径。

接入规则还应定义写入完成状态、目录或对象命名、身份认证和责任人。批次未完成、正在写入或尚未审核的内容，不应与已发布的训练数据混为一谈。存储提供共享访问与可靠承载，接入服务和数据平台则负责校验格式、记录来源并决定数据何时进入后续处理。

原始数据如何保存

原始层保存未经或仅经基础处理的数据，包括现场采集文件、实验资料、图像视频、日志及上游交付内容。它既是后续处理的依据，也是重新抽取样本和复查质量的重要来源。原始层的设计应关注写入稳定性、数据保护、命名组织、访问权限和保存周期，不应为了所有数据都达到最快读取而一律放入最高性能介质。

深信服aStor统一存储支持文件和对象数据承载，并可把第三方文件、对象及云端数据纳入统一流动管理。企业能够逐步接入现有来源，再依据数据热度与保留目标规划资源层级。对采集任务来说，先保证数据安全进入并可持续保存；对未来重复分析来说，保留源数据可避免每次需求变化都依赖重新采集。

原始层还需要把访问控制与保护策略纳入日常运营。生产采集、算法研发、外部协作不应默认共享相同权限；数据保留期、删除条件和归档规则要由业务责任人确认。深信服aStor统一存储提供多级可靠性机制和内置防勒索能力，可作为数据湖底座保护设计的一部分，实际恢复能力仍依赖完整的备份、隔离与恢复流程。

统一储存任意规模数据

数据湖的活跃工作集通常只占全部历史数据的一部分，却承载着近期训练、模型评估和多团队并发访问。若历史内容与热点数据使用相同资源，持续扩容时成本和性能容易失衡。深信服aStor统一存储提供全闪与混闪形态，可按数据访问频率、文件特征和作业窗口规划性能层与容量层。数据流动、预热和分层用于把需要反复访问的数据准备到适合的资源位置，并让低频数据留在更匹配长期保存的层级。

活跃数据应按使用情况安排位置。近期训练集可能连续复用数周，项目结束后才降低访问频率；部分历史样本仍需用于评估或合规查验。团队可按项目和数据批次设置规则，结合实际读取情况调整，避免仅凭文件创建时间判断冷热。

性能配置也应与文件规模和访问模式匹配。连续大文件读取、海量小文件遍历、并行客户端启动和对象请求对应不同的瓶颈。深信服aStor统一存储提供多活元数据服务、全局追加写、RDMA高速通道等能力，单节点大带宽规格可作为性能与节点规模规划的参考。应用实际表现还要结合客户端、网络和数据处理程序，以代表性任务评估工作集大小和并发需求。

多个AI任务怎样共享数据

数据进入训练、仿真、分析和知识服务后，存储层需要为不同任务提供合适接口，并控制读取对采集和其他生产业务的影响。训练可能通过文件接口读取准备好的数据集，采集系统继续向对象桶写入新批次，分析任务则读取筛选结果或模型产物。共享数据入口使消费方能够复用已准备的数据，减少各自维护离散副本的负担。

数据发布前，应完成来源登记、写入校验和权限确认，并保留可识别的批次。平台维护这些信息，存储提供获准数据的访问服务。训练所需内容准备完成后，平台发布确定的读取路径，脚本即可使用，不必直接处理源端设备或云端位置的变化。

例如自动驾驶研发中，采集素材先进入对象存储，随后经过解压、筛选和标注，再形成训练可读的数据集。某自动驾驶企业采用深信服aStor统一存储后，在相同业务压缩文件的对比测试中，解压耗时从90 分钟缩短至7 分钟，并在8个月内两次扩容、总授权容量3.8 PB。该案例说明高密度数据准备与存储持续扩展可以成为同一演进过程的关注点；客户自身的分层策略仍需结合有效工作集和处理链设计。

历史数据如何保存和再次使用

训练结束后，数据仍可能用于后续研发。原始素材可能用于新模型训练，已标注数据可能用于回归测试，旧模型和检查点则支撑审计、比较与故障恢复。归档阶段要确定哪些数据保留、保存多久、需要何种读取速度，以及如何恢复到可使用状态。存储底座可按访问频率调整资源层级，并通过数据流动让长期留存与后续再利用相衔接。

当新项目需要调用历史数据时，团队应从数据目录和业务责任人处确认来源、许可、质量和用途，再将所需工作集准备到适合的资源层。统一纳管和逻辑视图可跨文件、对象及云端位置发现已有数据；多维元数据检索的效果依赖于产品支持字段和平台维护的信息质量。密级、标注状态等业务语义由数据平台维护，存储提供可用的存储属性和访问位置。

需要追溯的训练批次可另设版本发布空间。深信服aStor统一存储在受支持的普通对象桶和普通目录桶内提供Git式数据分支管理，团队可将获准使用的数据准备到该空间，建立明确提交，再由训练平台关联模型与实验记录。源端纳管、数据长期留存与版本发布分别规划，数据质量和实验元信息由业务平台维护。

AI数据湖建设建议

数据湖建设可先选择一类持续增长、需要反复训练的数据，确认来源、保存期限和近期使用范围，再配置读取接口及分层规则。完成采集、处理、训练和归档后，检查数据能否再次找到并使用。随后增加业务系统和历史资源，减少一次性全量迁移的实施压力。

AI数据湖的存储既要可靠保留原始资料，也要为当前任务提供适合的访问性能。深信服aStor统一存储负责数据承载、分层和流动，数据平台维护目录、质量与任务编排。企业可以先接入一类持续增长的数据，完成采集、训练使用和历史保留，再逐步扩大数据范围。

常见问题

Q：数据湖一定要把原始数据全放高性能存储吗？

A：不必。原始层保留采集与上游交付内容，活跃工作集才放高性能介质，分层承载兼顾使用效率与保存成本。

Q：历史数据以后还要用怎么办？

A：通过统一纳管与逻辑视图跨文件、对象及云存储查找，需要时把工作集准备到合适资源层，并保留批次与版本可追溯。

Q：多个AI任务怎么共享同一批数据？

A：先完成来源登记、写入校验与权限确认，平台维护目录与质量，存储提供获准数据的访问服务与分层规则。