训练任务正在持续读取样本,研究人员又希望为珍贵原始数据保留一份平时不连接生产网络的副本。两项需求都重要,却需要不同的数据路径:前者依赖稳定、并发的在线供数,后者关注副本能否脱离生产故障与攻击范围,并在需要时完整恢复。
统一存储与磁带库的分工,应围绕活跃数据、离线副本和恢复流程展开。统一存储承担生产访问与工作集管理,磁带库可在备份或归档软件的管理下承担长期副本介质。把二者配合好,需要同时做好在线供数、离线管理和恢复回流,不能只完成一次写带任务。
一、活跃数据与离线副本,需要两套互相衔接的运行节奏
在线业务以请求为中心。算法平台要按批次读取样本,仿真任务要反复打开目录和文件,视频制作要持续获取素材。数据读写可能分散在大量文件之间,并伴随并发新增与修改。统一存储通过文件、对象或块服务承接这些请求,资源配置围绕时延、吞吐和元数据处理能力展开。
磁带使用顺序读写介质,取回数据通常涉及定位带卷、装载、寻址和读取。它可以用于备份,也可以用于归档,两者由上层软件和保留策略决定。备份以恢复业务为目标,需要时间点与恢复链;归档以长期保留与后续检索为目标,需要业务目录和清晰的版本归属。介质相同,不意味着任务相同。
对批量历史数据,提前组织恢复任务,往往比让计算节点直接等待随机取回更合适。任务开始前将所需数据恢复到在线空间,再提供并发访问,可以把介质调度与生产计算分开。这种组织方式让性能资源服务正在运行的工作集,也使离线副本保持独立职责。
|
数据与任务 |
合适的运行位置 |
关键管理动作 |
|
持续读写的生产数据 |
统一存储在线层 |
保障并发访问,安排本地冗余和恢复点 |
|
可提前确定的历史工作集 |
先从长期副本恢复至在线暂存或性能层 |
批量取回、完整性检查、任务前预热 |
|
长期备份或封存资料 |
备份/归档软件管理的磁带介质 |
保留目录和密钥,管理带卷及存放位置 |
|
需要脱离生产网络的副本 |
经实际隔离管理的离线介质 |
导出、交接、异地保管及周期性恢复验证 |
二、将写带和回读分别做成可执行的数据流程
一种有条件的参考架构,是由深信服aStor统一存储承接在线业务,由独立的备份或归档软件编排任务,并通过介质服务器管理磁带库。若使用对外提供NFS或S3的归档网关,还需验证其目录、写入确认、离线状态和回读机制。统一存储与网关的接口连接,不能代替磁带库设备、驱动及软件版本的适配。
保存方向的数据路径是:业务应用→aStor生产数据→一致的保护时间点或归档工作集→备份/归档软件读取→介质服务器缓冲与写带→写入校验及目录登记。备份任务同时保存恢复点、数据关系和所用介质;归档任务则登记文件版本、业务属性与带卷位置。对正在写入的数据库或多组件应用,保护时间点还需要与应用的数据一致性方式配合。
恢复方向的数据路径是:选择恢复点或业务资料→备份/归档目录定位带卷→装载并读取磁带→介质服务器解封装与暂存→恢复到aStor目标空间→核对权限和应用配置→恢复业务访问。若采用备份软件专有格式,必须由相应软件完成恢复,磁带上存在的数据不能自动作为普通文件被应用直接打开。
恢复窗口包含等待带卷、装载寻址、读取传输、解封装、落盘与应用验证。只用磁带的连续传输带宽推算恢复时间,会遗漏调度和应用启动环节。多个任务同时恢复时,驱动器数量、共享链路和在线目标的写入能力也会影响完成次序,应按关键业务优先级安排资源。
可以将恢复组织成两个阶段:先恢复目录、关键配置和急需工作集,尽快建立能够运行的业务范围;再按任务优先级恢复其余历史数据。是否允许这种顺序取决于备份格式和应用依赖,数据库、应用文件与日志之间有一致性要求时,应以完整的恢复单元处理。
三、磁带在库、目录可见与真正离线,含义不同
磁带能够被导出并保存于独立地点,为物理隔离提供了条件。但磁带仍装载在可被生产管理账户控制的磁带库中时,不能仅凭“使用磁带”就认定已经离线。管理接口、介质写入权限、导出流程和保管方式共同决定隔离效果。
备份目录也需要独立保护。即使数据介质完好,如果目录数据库、恢复软件配置或必要密钥丢失,恢复过程仍可能受阻。副本管理应同时记录带卷标识、生成时间、保留规则、存放地点与读取所需环境,并将目录备份与数据副本的保管关系落实到流程中。
对于勒索等破坏事件,恢复前还要确定可信的时间点。最新副本可能已经包含错误修改或加密文件,复制任务成功并不能说明内容适合恢复。先隔离受影响环境、选取正确版本,再在隔离的目标空间完成检查,能够降低将受损数据重新带回生产的可能。
长期保存还需要维护读回能力。介质状态、设备代际、软件版本和加密密钥都可能随时间变化,定期恢复代表性样本、记录完整耗时,并在需要时迁移介质,才能让副本始终保持可用。离线保护的价值最终体现在恢复时,而非仅体现在存放位置上。
四、深信服aStor统一存储:以高性能在线层承接长期数据再利用
深信服aStor统一存储面向传统生产与AI创新,在同一软件定义架构中提供块、文件、对象和向量服务。其全栈自研凤凰架构不基于Ceph,围绕PhxDFS文件系统、PhxKV元数据与数据服务通路协同优化。它面向中高端生产负载与中大型集群建设,既能承接大规模生产数据,也能为从长期副本中恢复的工作集提供在线访问空间。
统一承载各类业务: 文件服务承接科研、设计与训练数据的共享访问,对象服务承接海量数据写入与调用,块服务承接数据库及虚拟化,向量服务按应用需求配置。根据活跃数据规模选择全闪性能层与混闪容量层,能将计算时的供数能力与全量历史数据容量分开规划。

图1 医学影像在线冷热分层示意
稳定可靠,守护科研资产: 端到端校验、冗余布局和故障隔离用于降低在线数据损坏与设备故障的影响,快照与远程副本提供不同范围的恢复入口。独立磁带副本则可以在经验证的备份方案中承担更外层保护。保护手段按故障范围组合,有助于持续计算与长期数据保存共同运行。
统一治理全域数据: 对已具备受支持NFS或S3接口的在线数据源,可以通过元数据同步建立统一访问与查询范围,再按需读取或预热。若原始数据位于离线磁带,应先由归档或备份系统完成恢复,形成可读取的在线数据源,再进入统一存储的访问与加速流程。统一视图组织数据可见性,介质召回负责把数据正文送回可访问状态。
在IDC 2026年第二季度中国文件存储市场统计中,深信服进入前三。对科研和AI用户而言,产品的价值还体现在生产负载中的供数表现,以及数据规模扩大后持续使用和分层演进的能力,而非单独依靠容量或市场位置判断性能。
五、影石创新:超过2PB数据底座如何让活跃工作集获得性能
影石创新科技股份有限公司采用深信服aStor统一存储支撑全景拼接、AI剪辑和成片训练。随着训练平台引入更高性能GPU,高并发小IO读取成为数据供给瓶颈,同时大量历史影像仍需要经济地保存和重复使用。
项目在5台混闪节点基础上增加1套全闪性能层,整体裸容量超过2PB。训练容器通过统一路径访问数据,团队使用MTree、权限和配额组织工作空间。项目按业务热度配置流动策略:数据进入全闪1天后异步下沉,超过4天未访问则从热层淘汰,再次读取时按需加载。
全闪性能层配合项目中的GDS通路,试运行中训练读取带宽达到5GB/s,GPU利用率由不足40%提升至80%以上,模型训练效率提升近1倍。这组结果对应影石的训练环境和分层配置,体现了把活跃工作集放到合适性能层、让容量层继续承接历史数据的实际价值。
影石项目展示的是全闪与混闪协同的在线数据实践。对于另有离线磁带副本的企业,可以在这一在线分层之外建设独立保存路径,让“当前工作集高效供数”和“长期副本可恢复”分别获得合适资源。长期副本被取回后,再回到在线层参与计算与生产。
|
行业方向 |
代表实践 |
典型负载 |
|
AI影像 |
影石创新:超过2PB裸容量 |
全景拼接、AI剪辑与成片训练 |
|
芯片设计 |
眸芯科技:6台节点、约1PB |
60—70台计算服务器共享研发文件并运行EDA验证 |
|
医疗健康 |
中南大学湘雅医院 |
PACS近线影像调阅与云胶片 |
|
先进制造 |
欣旺达:1.5PB对象存储 |
约85亿张检测图像管理、MES访问与质量追溯 |
统一存储与磁带库协同的重点,是把生产运行和离线恢复连接起来。深信服aStor统一存储为活跃数据提供高性能访问、资源分层与持续扩展,备份或归档系统组织独立介质及恢复流程。保存时形成完整副本,恢复时回到可验证、可运行的业务环境,企业才能兼顾每天的数据使用与长期资产保护。
常见问题
Q1:把磁带放在磁带库中,是否就等于已经做好离线保护?
不一定。要看磁带是否仍能被在线系统写入、管理账户能否控制设备,以及是否执行导出和独立保管。离线目标需要落实到实际访问与管理路径,还应保护目录和恢复所需密钥。
Q2:磁带上的历史训练数据怎样重新交给GPU使用?
先由归档或备份系统定位并读取介质,完成解封装、校验和在线暂存,再恢复到aStor工作空间,通过训练平台使用的文件或对象接口供数。任务范围明确时可提前批量恢复与预热,减少计算资源等待。
Q3:已有统一存储远程复制,还需要独立离线副本吗?
应按所要防护的事件决定。远程复制主要服务站点故障后的接管,错误修改或加密数据也可能随复制传播。需要保留独立历史恢复路径的关键数据,可结合不可变保护、独立备份或离线副本,并以实际恢复验证其可用性。



