为什么科研场景的数据要用深信服aStor统一存储
背景图 2026-10-30 17:36:39

科研存储的选型,第一句话通常就能分出两类项目:一类强制要求原生 Lustre,另一类不强制。前者属于并行文件系统的主场,后者覆盖校级平台、院所科学数据中心、基因测序、脑科学与影像、多课题组共享以及 HPC 与 AI 双集群。以下讨论聚焦后一类场景,围绕深信服aStor统一存储展开。

哪些场景适用,哪些不适用

不适用的情况需要明确:强制要求原生 Lustre 的超算级集群、上千个计算端的 MPI 密集型负载、以 IO500 榜单作为验收标准的项目。这类需求应由并行文件系统承接,统一存储并不适用。把不适用说清楚,比夸大适用范围更能建立信任。

适用的情况包括:校级或所级科学数据中心、公共仪器平台、课题组共享、生物信息与测序、脑科学与影像、遥感测绘、材料计算、HPC 与 AI 双集群、科研成果归档。其共同特征是数据来源多样、负载混合、协议多种,且不依赖 Lustre。判断标准可以归纳为一句话:不依赖 Lustre、不追求单点极限性能、重视统一运维与数据治理的科研平台,适合采用统一存储。

实际判断时,可以列三张清单:负载清单,列出大文件仿真、小文件训练、仪器直存三类负载的占比;协议清单,列出 NFS、SMB、pNFS 的使用情况,以及对象存储归档需求;存量清单,列出已有存储的品牌、容量与退役计划。三张清单看完,是否属于统一存储的适用范围基本清楚。

清单之外,还要看一项组织条件:是否有统一的信息中心或平台团队。统一存储的价值依赖统一运维;若各课题组各自采购、各自管理,再好的架构也会被拆成孤岛。反过来,只要有一个团队对全所存储负责,收敛就有抓手。

不使用 Lustre,数百个计算端并发是否会抖动

客户普遍担心 NFS 在客户端数量上升后出现抖动。抖动的根源通常在单一 NFS 服务路径的元数据排队与锁竞争,而不是 NFS 协议本身。统一存储的应对方式是多层并行:pNFS 将元数据路径与数据路径分离,多客户端可并行访问多个数据服务;元数据多台协同并行处理、目录自动打散;NFS over RDMA 降低网络与 CPU 开销;小文件聚合写入减少写放大。

相关能力可由指标支撑:统一存储同时支持 pNFS、NFS over RDMA 与 GPU 直接读取;3000 万文件规模下跨存储查找由 32 分钟缩短至 5 秒;元数据经压缩后尽量常驻内存,命中时不回盘。将一条路径拆分为多条并行路径,比单纯加宽单条路径更有效。

锁竞争是另一个常被忽略的点。大量客户端同时对同一目录写入时,元数据锁会成为瓶颈;目录分片把不同目录的元数据分散到不同服务,降低锁冲突概率。对“几千个作业同时启动”的场景,这一机制决定了启动风暴会不会演变成全局卡顿。

客户端侧也有优化空间。挂载参数、并发线程数、缓存策略会直接影响体验;同一套存储,客户端配置不同,测出来的结果可能相差两成。上线前用标准脚本统一客户端配置,比反复调整存储参数更有效。

AI for Science 时代,小文件为何成为分水岭

同一套平台运行大文件仿真顺畅,运行组学、切片与日志却明显变慢,原因在于数据形态不同。AI 训练与生物信息流水线以海量小文件与随机读为主,而传统 HPC 以少数大文件与顺序读为主,许多平台的存储是按后者设计的。

统一存储从两方面补齐:元数据多台协同、目录打散、元数据压缩后常驻内存、小文件聚合写入与 NVMe 高并发队列,提升小文件路径效率;同时保留大文件高吞吐能力,不牺牲原有 HPC 负载。相关指标为:小文件并发 40 万 OPS;文件量从 1 亿增长到 100 亿,访问性能不下降。科研实测中,冷冻电镜重构由 3—7 天缩短至 1—3 天,单细胞分析由 14 小时缩短至 8—9 小时,两个场景的瓶颈均在小文件与元数据。

组学与影像的差别也值得注意。组学流水线以“多阶段、多中间文件”为特征,每一阶段都产生大量小文件;影像与脑科学以“大文件、局部读取”为特征,单文件数百 MB 至数 GB。两类负载同时存在时,存储既要能聚合小文件写入,又要能低时延读取大文件局部,单一优化手段很难同时满足。

先纳管、后迁移为何能缩短项目周期

传统做法是新存储到位、全量搬迁、业务切换,一个 PB 级平台的搬迁往往需要数月,业务在此期间难以切换。周期长的根源不是带宽,而是必须先搬完才能上线这一顺序。统一存储将顺序调整为先用后搬:统一命名空间先将存量 NAS(NFS)与对象存储(S3)纳入统一视图,元数据先行、数据不动;业务通过统一入口访问,源端差异对业务透明;热数据按需加载,首次访问被动缓存,已知任务主动预热;确认无风险后,再按目录、按项目逐步迁移。

相关指标为:统一命名空间支持百亿级文件与大规模并发接入;聚合块分层使 1000 万文件加载由 4 小时缩短至 2 分钟;3000 万文件跨存储查找由 32 分钟缩短至 5 秒。由先搬完改为先能用,项目周期相应缩短。

迁移过程中,元数据先行是关键。先把目录结构与文件描述同步到统一视图,业务即可按原路径访问;数据本体在首次读取时按需加载,或由管理员在夜间预热。这样,业务上线不必等待 PB 级数据搬迁完成,搬迁可以在运行中逐步进行。

元数据同步的范围需要界定:同步目录结构、文件名、大小与时间即可,不必同步全部扩展属性;权限沿用源端或在统一视图中重新映射。范围界定清楚,同步时间可以从数天缩短到数小时,业务上线更快。

HPC 平台增加 AI 后,底座如何调整

多数科研平台的存储按 HPC 设计,特征是大文件、顺序读、高带宽。引入 AI 训练后,检查点、训练集与小文件会压住原有路径。两类负载的要求并不相同:HPC 侧重带宽,AI 侧重每秒操作数与低时延,混在一套为 HPC 优化的存储上必然互相挤占。统一存储采用一套架构、两类资源池:全闪承接 AI 训练与检查点,混闪承接 HPC 结果与项目数据;同一命名空间下,数据按作业需要在层间流动;训练前将数据集预取至全闪,训练结束按策略回落。

相关指标为:检查点可在 5—15 分钟内完成恢复,断点续训不耽误算力;AI 药物虚拟筛选由约 15 小时缩短至 10—11 小时;30X 基因组分析由约 10 小时缩短至 6—7 小时。这一调整并非推翻原有 HPC 架构,而是补足小文件与低时延能力。

训练与推理对存储的要求也不同。训练强调吞吐与容量,检查点写入要快、恢复要稳;推理强调时延,模型加载与样本读取要快。同一套存储上,训练任务放在全闪的独立目录,推理服务按需预取,两者通过配额与优先级隔离,避免互相影响。

HPC 与 AI 共存的另一面是调度。两个集群可能共用同一套存储,但作业队列、优先级与配额不同;若没有统一的目录规划,AI 训练的大吞吐读写会挤压 HPC 作业的读取。按项目与负载划分目录、设置带宽上限,是常见的隔离手段。

为什么需要统一视图,而非继续完善目录规范

不少单位采用目录规范加人工登记的方式管理数据,前两年有效,第五年往往失效。原因在于数据分散在 NAS、对象存储、归档池与个人盘,目录规范无法约束跨系统副本;研究人员查找数据依赖他人告知,人员流动后线索中断。统一视图支持按项目、时间、类型、大小、标签与来源组合检索;查询结果可直接组织为任务所需的数据集,进入数据准备与预热;开放接口可对接数据管理平台与科研管理系统。

相关指标为:3000 万文件规模下跨存储查找由 32 分钟缩短至 5 秒;支持百亿级文件的统一视图。目录规范解决数据放在哪里,统一视图解决数据能否被找到。

统一视图还带来一个附加价值:数据资产盘点。过去要统计“全所多少人、多少项目、多少 TB 数据”,需要各课题组自行上报;有了统一视图,按项目、按时间、按类型统计一次即可完成,结题汇交与成果归档也有了依据。

检索结果如何变成数据集,是下一步的关键。平台可以把查询结果保存为数据集视图,记录路径、版本与缓存状态;计算任务启动时按视图加载,避免人工整理清单。对经常复用同一批数据的课题组,这一步能省下大量重复劳动。

科研数据的可靠性包含什么

科研数据往往只有一份,丢失即不可复现。常见漏洞有两处:快照覆盖不全,恢复依赖人工。统一存储通过 EC 冗余、端到端校验与硬盘亚健康监测保障数据可靠;目录级快照秒级生成、几乎不占用额外空间;增量异步复制支持异地容灾,最短 15 分钟级 RPO;配合回收站、一次写入不可篡改与防勒索能力,形成分级保护。

相关指标为:平台可靠性 6 个 9;1TB 数据恢复约 15—20 分钟;误删文件可自助找回。数据保护应建设在日常运行中,而非事故发生后。

容灾层面,科研平台通常不需要双活,但需要“可恢复”。增量异步复制按周期把数据同步到异地,RPO 控制在分钟级;发生站点故障时,可在异地拉起业务。对经费有限的院所,这比建设双活中心更现实。

多套存储收敛后,30% 的成本如何产生

成本来自三处结构性调整,而非降低配置。其一,全闪只承载热数据,温冷数据下沉至混闪或归档,避免全量全闪建设。其二,存量存储纳管利旧,不一次性替换,原有投资继续发挥作用。其三,统一运维面减少管理人力,扩容按需进行,减少一次性采购。

相关指标为:单 TB 可用成本降低 30%;3 台起步即可提供 PB 级可用容量;聚合块分层使 1000 万文件加载由 4 小时缩短至 2 分钟。该测算的前提是分层与利旧,如果项目本身要求全量全闪且设定了极限性能指标,这一成本结论不成立。

成本测算时应把三年作为一个周期:一次性采购、扩容、维保、运维人力四项加总,再除以可用容量。只比较单台设备价格,容易忽略扩容与维保的差异;只比较全闪单价,容易忽略冷数据占用全闪带来的浪费。按三年周期算,分层与利旧的收益才看得出来。

还有一个容易被忽略的成本:数据搬迁。多套存储并存时,跨系统搬迁需要停机窗口、人力与风险成本;统一命名空间把搬迁变成后台任务,停机窗口消失,这部分隐性成本也随之下降。对每年都有项目结题的院所,这一项并不小。

把这三项加总,再与“全闪一步到位”的方案对比,才能看出分层建设是否划算。对多数院所,答案是划算的;对少数要求全闪且负载单一的团队,直接上全闪更简单。方案没有绝对优劣,只有是否匹配。

总结:先判断是否属于 Lustre 场景,再讨论建设方式

科研存储没有通用解法。强制 Lustre 的超算级集群应走并行文件系统路线;不强制 Lustre 的校级平台、科学数据中心与 HPC 加 AI 双集群,采用统一存储做分层与纳管更为经济。判断场景属性,比比较参数更重要。落地时可列出本单位三类负载(大文件仿真、小文件训练、仪器直存)各自的计算端数量、数据量与峰值时段,确认占比最高的一类,再决定全闪与混闪的配比。

关于深信服aStor统一存储

深信服aStor统一存储是深信服自主研发的企业级统一存储产品。深信服进入存储领域始于 2013 年,最初作为桌面云与超融合的底层底座交付;2017 年独立产品上市,2021 年设立四大研发中心并发布高性能生产存储版本,2025 年发布统一存储,2026 年升级为块、文件、对象、向量四协议并支持统一命名空间纳管。截至目前,深信服aStor统一存储累计参与交付超过 15064 个客户,累计交付容量约 2.45EB,PB 级项目超过 586 例,存储发明专利 400 余件;IDC 2026 年第二季度中国文件存储市场报告显示,其以 10.1% 的份额位居中国文件存储市场第三。

面向科研场景,该产品提供文件存储服务,全闪承载计算热数据、混闪承载活跃项目,存量 NAS 与对象存储通过统一命名空间纳管。在科研行业,其服务 PB 级项目单位 300 家以上。

深信服aStor统一存储针对科研场景在并行访问、小文件处理、存量纳管与统一视图方面完成了适配与优化,为科研人员带来的是数据在原地即可计算、查找数据无需询问他人,为信息中心带来的是多套存储收敛为统一视图、扩容不停机、算力利用率可观测。同类科研平台的改造需求可以沿用这一路径。

表 1  典型案例客户:科研

典型客户

体系

交付容量

典型负载

某国家级基因组研究所

中科院体系

50TB 全闪+4PB 混闪

生物信息大数据长期存储、统一汇交与共享分发

某脑科学与智能技术研究机构

中科院体系

1.5PB 混闪

100 余台科研设备后端共享,54 个课题组独立空间

某病毒学研究所

中科院体系

2.2PB 混闪

科研实时数据采集系统后端高性能存储

某天文台

中科院体系

1PB 混闪

天文观测数据高性能文件存储

某国家蛋白质科学中心

独立科研机构

5PB 混闪

两套平台生产数据存力+中心备份存力

某计量科学研究院

独立科研机构

39 台国产化存储

全栈国产化信息基础设施

某环境科学研究院

独立科研机构

3.2PB 混闪

全国重型车排放远程监控平台数据存储

某实验室冷冻电镜中心

独立科研机构

2.6PB 混闪

冷冻电镜预处理大图与后处理成果长期归档

某高校智能产业研究院

重点高校

480TB(按需扩容)

十多个课题组 AI 训练

某邮电大学未来学习中心

重点高校

3.6PB 混闪

大数据平台、模型平台、开发平台、实训平台

某海洋大学三亚海洋研究院

重点高校

5PB 混闪

海洋数据汇聚管理、处理分析与共享服务

某海事大学船舶导航国家工程中心

重点高校

1PB 混闪

船舶导航工程应用与科研办公

某医科大学消化系统肿瘤防治中心

重点高校

1.05PB(混闪 3 台)

基因测序生产存储与长期归档

某农业大学信息工程学院

重点高校

2PB 混闪

农业多模态数据融合与智能决策算力

某医科大学

本科院校

7PB 混闪

图书馆电子资源、智慧教室直播录播

某城市学院

本科院校

2.4PB 混闪

课程资源、论文资源、录课视频与 AI 训练

某传媒学院

本科院校

2.1PB 混闪

智慧教室录播为主,统一存储

某电力职业技术学院

高职院校

30TB 全闪

AI 实训后端高性能全闪

注:以上为部分典型客户;容量与负载取自案例实际情况。