海量AI训练数据版本管理:深信服aStor统一存储以引用复用减少全量复制
背景图 2026-11-19 13:09:03

同一批训练图片经过重新标注后,目录名可能没有变化,实验输入却已经不同。如果旧任务只保存了一个共享路径,复跑时读到的是新标签,就很难判断结果变化来自数据、代码还是运行环境。为每次修订复制完整目录能够暂时区分版本,但随着团队和实验增多,副本占用、交接和清理会变得复杂。

AI训练数据版本管理需要让修改有隔离空间、输入有确定状态、发布有审阅过程、错误有回退路径。深信服是国内统一存储品类的开创者&践行者,aStor在统一数据底座上通过分支、提交、标签和合并组织可协作的版本流程,以引用复用和受控发布衔接大规模数据协作。实验平台再关联代码与运行条件,使共享数据既能持续更新,也能作为历史实验的确定输入。

一、训练数据版本规划:明确状态、保护责任与协作边界

明确数据状态与保护责任,使训练输入有确定范围

训练输入通常同时包含样本、标签、训练与验证集划分以及预处理产物。只备份图片,无法说明当时使用哪份标签;只记录“最新版”,也无法还原一次已经结束的实验。因此,版本对象应围绕实际数据集组织,明确哪些文件或对象必须一起交接,哪些外部来源与派生产物需要另行关联。

数据版本管理与存储快照承担不同任务。快照可以保护某个时点的存储状态,分支与提交则围绕多人修改、审阅和发布组织协作。对持续迭代的AI项目,可以用确定的数据版本交付训练输入,同时配置适合业务恢复目标的保护策略,让日常协作与故障恢复各自具备清晰依据。

统一承载与版本仓库规划,把数据状态纳入业务交接

深信服aStor统一存储面向中高端企业生产,采用全栈自研、非Ceph的技术体系,以同一架构提供块、文件、对象和向量数据服务,衔接传统生产与AI创新。训练数据版本能力建立在统一数据底座上,数据内容与版本元数据共同保存,上层标注、清洗和实验工具按分工使用稳定的数据状态。

规划版本仓库时,可以按项目、数据域与发布责任确定边界。需要一同审核的样本和标签放在同一管理范围,不同业务的权限与生命周期分别设计。团队先明确主线代表什么、谁可以提交和审批,再把操作入口接入已有流水线,版本管理就能成为业务交接的一部分。

二、候选分支与版本提交:隔离修改并固定训练输入

引用复用与提交封存,让并行修改和确定输入共存

候选分支可从正式主线或历史版本创建,创建时复用数据引用,首次修改对象时才保存变化内容。标注团队和数据工程团队可以各自在隔离空间中修订数据,未合并的修改不影响正式主线。这种方式减少了为每个实验先复制整套数据的准备动作,也让修改范围更容易被识别。

版本提交把某一时刻的数据状态封存为不可修改的版本。提交开始后,系统封存当前暂存区,并以新暂存区承接后续写入,避免新变化混入本次提交,未变化的数据继续复用。算法团队因此可以引用一次确定的输入,同时允许标注工作沿后续状态继续推进。

提交标识与支持空间配合,使版本能够交付给消费工具

分支、提交和标签各有用途。分支是持续推进的修改空间,提交编号对应确定状态,标签是指向稳定提交的只读业务名称。训练复跑应记录实际使用的提交引用,标签便于人识别,但不会生成额外副本。删除标签只移除引用,历史数据是否继续保存仍由版本保留策略决定。

数据分支管理当前覆盖普通对象桶和目录桶,文件NAS桶、向量桶采用各自的管理方式。同一桶还需核对与其他能力的组合关系。已有NAS数据希望进入版本流程时,可由数据平台将需要版本化的输入组织到支持的空间,再把确定版本交给消费工具,保留来源标识和数据清单以衔接原有业务。

图1 训练数据的版本提交与受控发布

三、差异审阅与合并:让标注协作形成受控发布

存储差异与业务审核衔接,保护正式数据主线

多人修改的价值在于并行,难点在于哪些变化可以进入正式数据。存储能够识别对象新增、修改和删除,但标注是否正确、样本是否泄漏到验证集、数据格式是否满足训练要求,需要由业务规则和上层质量检查判断。把存储差异与业务审阅连接起来,才能让提交转化为可使用的正式版本。

合并时,系统比较共同起点、候选分支与目标主线,识别变更和冲突,再按策略形成合并结果。受保护主线经过审批后一次性切换到新版本,发布失败时保留发布前的完整主线。候选数据从独立处理进入正式供给,既保留各团队的并行空间,也避免让训练端读取半完成发布状态。

冲突责任与发布记录关联,让更新范围和实验输入可追踪

假设两个团队修改同一样本的标签,冲突审阅应交给明确的数据负责人,判断采用哪种标注规则,再形成待发布的结果。训练平台使用已经批准的提交创建新任务,运行中的任务继续使用原先绑定的输入。这样,数据更新不必要求所有实验同时切换,修改责任、发布时间和使用范围也能够被分别追踪。

可把发布记录组织为一个精简交接单:数据提交编号、样本清单或清单摘要、标签规范版本、训练与验证集划分,以及关联的质量检查结果。版本控制保存数据状态,业务检查说明这个状态为什么可以使用。两类记录一起保存,可以在效果波动时更快缩小问题范围,而不是重新从整个共享目录中寻找变化。

四、回退与复现:恢复数据输入,衔接实验运行条件

差异回退与历史提交分工,兼顾纠错和旧实验复跑

发现某次标注或清洗提交有问题时,统一存储可以把该提交的差异反向应用到当前分支,尽量保留后续其他有效修改。受保护分支仍按审批流程处理。与直接覆盖整个目录相比,这种回退方式围绕已识别的变化展开,使团队能够纠正问题并继续保留有效工作。

回退和复跑需要区分。回退用于撤销不正确的数据变更,复跑则可以直接选择历史上已批准的提交作为输入。对后续训练任务,平台据发布策略选择当前稳定版本;对需要复现的旧实验,则固定当时的提交引用。两条路径共用版本历史,但不会因为回退一份数据就自动重新执行训练。

代码环境与派生产物关联,让历史输入重新到达计算侧

实验复现还需要代码版本、容器镜像或运行环境、预处理配置、训练参数与随机种子等信息。数据平台把提交编号和清单记录到实验任务,训练平台保存执行条件和输出。输入恢复后,团队按约定的结果容差进行比较,使数据变化与计算变化能够分别定位。

数据分支回退恢复版本仓库内的文件或对象状态,外部向量索引、缓存、模型和应用配置由上层流程联动。若训练工具依赖提前生成的数据包,应按指定提交构建所需产物并登记校验信息。通过这些明确的交接动作,历史输入可以重新到达计算侧,版本能力就从“保存过”转化为“能够再次使用”。

管理对象

应保存的关联

对应责任

训练数据

提交编号、样本及标签清单

存储版本能力与数据平台

业务质量

标注规范、切分规则、检查结果

标注及数据质量流程

运行环境

代码、镜像、参数与随机种子

实验和训练平台

实验输出

模型、指标与输入引用

实验记录与结果管理

 

五、留存与资源规划:让版本越积越多时仍然可管理

分支创建复用数据引用,未变化内容继续共享,空间增长主要来自后续修改内容及相应元数据。对只调整部分标签的数据集,可以减少完整复制带来的重复占用。长期运行仍需给稳定发布版、审计保留版与临时实验分支分别设置保留规则,核对任务依赖后再清理,让空间节约与可追溯要求一起成立。

多个团队复用同一数据集时,任务运行仍会产生并发读取压力,版本治理因此还需要同步规划读取资源。文件和对象供数按客户端、网络与工作集规划,已知任务的数据可以提前准备,后台处理与在线任务分别设置资源窗口。减少副本解决准备和容量问题,高效供数解决任务运行问题,两者形成协同。

对外部来源、派生产物和版本仓库,应保存彼此关联及有效保留范围。某个提交还被旧实验使用时,相关产物和来源不能只按文件日期独立清理。将版本引用与任务清单纳入日常运营,能够减少误清理造成的重新准备,也让新项目更容易复用已经确认的数据。

六、生产实践:深信服aStor统一存储为共享训练数据提供基础

天瞳威视采用深信服aStor统一存储承接自动驾驶采集、标注与训练,总容量2PB,Windows标注使用CIFS,Linux训练通过NFS访问。全闪与混闪共同提供共享数据能力,减少跨阶段复制到工作站或本地盘的环节。共享入口使数据更容易被集中使用,版本流程则可在相应支持空间中进一步组织后续的协作与交接。

某头部具身智能机器人企业以全闪共享训练数据池替代GPU本地目录分散保存,保留原有JSON、PNG数据组织和训练代码访问方式,减少重复复制与版本分叉。这样的业务需求说明,数据规模扩大后,团队需要同时解决共享访问和输入状态管理,才能把新增算力更有效地用于实验迭代。

深信服aStor统一存储已用于AI与研发生产,承接持续共享与容量增长的数据需求。在IDC 2026年第二季度中国文件存储市场统计中,深信服以10.1%的份额进入前三。统一存储的文件、对象与保护能力,为数据协作提供可靠基础,上层实验流程围绕版本标识进一步建立可复现的研发秩序。

生产方向

代表实践

对应的数据管理需求

自动驾驶

天瞳威视、魔视智能等客户

持续产生的数据需要共享处理、扩容和复用

机器人研发

节卡机器人等客户及某头部具身智能机器人企业

采集与训练衔接,减少复制和本地目录分散

AI制药

维亚生物

训练、模拟与研发数据长期保存

芯片设计

芯华章科技、佰维存储等客户

共享代码与仿真文件,持续支撑研发访问

 

七、总结:以统一数据底座和确定版本支撑持续实验

从标注协作到实验复现,数据需要既可共享,又有确定状态。深信服作为国内统一存储品类的开创者&践行者,在统一底座上以引用复用减少准备副本,以提交固定输入,以差异审阅和审批保护主线,以回退修正已识别的变更。版本留存与实际读取资源分别规划,支撑数据和团队规模增长;PB级共享生产实践则提供稳定可靠的数据承载基础。再把提交与代码、环境和任务记录关联起来,团队能够继续并行修改,也能重新取得历史实验所用的数据。

常见问题

Q1:训练数据经常修改,如何减少回到旧版本时的重新准备?

在支持的数据空间内,将样本和标签组织成明确版本,训练任务保存实际提交引用。深信服aStor统一存储通过分支和提交复用未变化内容,旧实验可按历史提交重新取得输入,错误变更也可以通过回退处理,减少重新复制、整理整套数据的工作。

Q2:记录分支名称是否足够复现实验?

分支会随提交继续推进,复现应记录当时使用的确定提交引用,并保存样本与标签清单。标签可以帮助识别稳定版本,实验平台还需关联代码、环境和参数,使数据状态与运行条件能够一起恢复。

Q3:多个团队修改同一批标注时,怎样避免影响正式训练?

各团队先在候选分支内处理,提交后检查差异与冲突,由负责人确认标注质量,再经审批合并到受保护主线。新任务引用批准后的版本,运行中的任务继续使用原有提交,协作更新与稳定训练因此能够并行推进。