深信服科研场景数据统一存储解决方案
背景图 2026-10-30 17:13:30

科研数据的产生、汇聚、分析与长期保存,正成为支撑高水平研究的核心基础设施。随着 AI for Science 成为科研新范式,生命健康研究进入多模态、定量化阶段,大科学装置持续推动数据密集型研究,材料、药物与能源研发从试错走向智能设计,科研数据在体量、类型与访问模式上都发生了变化。

一、科研数据的四层结构与四类变化

从数据流转看,科研数据贯穿四层:公共科研仪器平台承担数据源与暂存,规模为 PB 级;课题组环境承担采集、清洗与加工,规模为百 TB 级;所级科学数据中心承担汇集、共享、归档与安全,规模为 10PB 至 EB 级;所级计算中心承担分析与计算,规模为百 TB 级,其中 HPC 偏重大文件高带宽,AI 训练需要应对海量小文件并发。

这四层不是四个孤岛,而是一条流水线:仪器出数据、课题组做初加工、数据中心汇集、计算中心分析。流水线断在哪一层,算力就在哪一层等;数据在层与层之间搬一次,就多一次版本不一致的风险。

由此带来四类变化:数据量从 TB 走向 PB;小文件快速增多,组学、切片、日志与实验过程数据大量累积;访问压力上升,GPU 与 HPC 对带宽、时延与并发的要求同步提高;管理复杂度增加,跨课题组、跨平台、跨协议的共享成为常态。

“十五五”期间,这四类变化会同时加速。AI 辅助假设生成与实验设计需要反复读取历史数据;生命健康研究从“看现象”走向“看机制”,多模态数据叠加;大科学装置与算力平台持续扩容。存储若仍按“一套系统服务一类数据”建设,很快会回到多套并存的局面。

以冷冻电镜为例,单次实验产生数 TB 原始数据,重建过程需要反复读取并生成中间结果;以基因测序为例,一个样本的下机数据为数十至数百 GB,一个批次几十个样本同时处理。两类负载都要求存储既能承接高吞吐写入,又能在计算阶段提供稳定读取,而不是“写得进、读不出”。

二、四类现状制约科研效率

第一,计算效率被拖累。算力资源被 I/O 瓶颈拖慢,作业排队与等待时间过长,昂贵的算力投资难以转化为科研产出。GPU 空转的每一分钟,都是经费的浪费。

第二,协作效率被消耗。数据在仪器、计算平台与办公终端之间反复物理拷贝,存储路径变更导致科研脚本失效,跨团队交付周期漫长。学生毕业、人员流动后,数据在哪里往往无人说得清。

第三,存储总成本偏高。多套系统各自采购、独立管理,冷热数据缺少策略,部分全闪容量被低频数据占用,单位容量成本长期居高。扩容时又因系统边界,无法把容量调到最需要的地方。

第四,数据保护不足。快照策略覆盖不全,误删与篡改缺少有效保护,恢复过程依赖人工,权限管控难以满足审计要求。科研数据往往只有一份,丢失即不可复现。

四类问题对应四项能力要求:高带宽低时延的读写能力、统一访问路径、按数据价值分层的能力,以及可追溯、可恢复的保护体系。

预算机制也在放大这四类问题。科研经费按项目、按年度下达,存储往往被拆成多次采购;每批设备型号不同、品牌不同,几年后形成“一柜一品牌”的局面。统一存储的价值之一,是让后续扩容可以叠加在同一架构上,而不是每批采购都开一条新路线。

三、深信服aStor统一存储方案架构:按数据价值分层建设

方案采用全闪、混闪与存量纳管相结合的分层结构,通常以 2 台全闪、3 台混闪为起点,并根据存量规模纳入 N 套原有存储。全闪层承载 AI 训练、HPC 分析、小文件密集访问与检查点数据;3 台起步即可提供 PB 级可用容量与 6—8GB/s 吞吐,支持大比例纠删码配置,得盘率更高。

混闪层承载活跃项目数据、原始数据副本、近期复用数据集与中间结果,与全闪统一元数据,冷热数据可自由流动。存量层通过统一命名空间纳入原有 NAS、对象存储与归档池,数据逐步治理、按需迁移,历史数据仍可查询与访问,并支持归档至第三方磁带库与云存储。

网络侧采用 100G 与 200G InfiniBand 或 RoCE 组网,向上对接科学计算与工程仿真、大模型训练与微调、推理,以及数据管理、项目管理与计算管理平台。对已有 HPC 集群的院所,存储以标准协议接入,不必改造计算网络。

部署上,管理网络、存储私网与业务网络分离,业务网络按计算集群规模选择 100G 或 200G;存储节点通过标准以太网或 InfiniBand 接入,客户端沿用现有挂载方式。对已有 IB 组网的超算平台,存储可作为并行文件系统之外的容量层与数据层接入,不改变计算侧的使用习惯。

表 1  科研分层建设的落位

层次

组成

承载数据

关键能力

价值

性能层

2 台全闪

训练集、检查点、计算中间结果

并行访问、RDMA、GPU 直接读取、预加载

算力不等数据

容量层

3 台混闪

活跃项目、原始数据副本、近期复用数据

分层、配额、快照

容量与成本可控

存量与归档

N 套原有存储、磁带库、云存储

历史数据、结题数据、归档数据

统一命名空间、纳管、检索

不推倒重来

四、关键能力

4.1 高性能读写:缩短算力等待时间

统一存储通过 NFS over RDMA 降低网络与 CPU 开销;pNFS 将元数据路径与数据路径分离,多客户端可并行访问多个数据服务;GPU 直接读取(GDS)使文件数据以更短路径进入 GPU,减少 CPU 中转与内存拷贝。科研实测结果显示:单个 30X 人类基因组样本的比对、排序与变异检测由约 10 小时缩短至 6—7 小时;冷冻电镜单次实验的 2D/3D 分类与重构由约 3—7 天缩短至 1—3 天;10 万细胞级单细胞分析由约 14 小时缩短至 8—9 小时;AI 药物虚拟筛选由约 15 小时缩短至 10—11 小时。

这些数字的共同点是:瓶颈原本都在数据供给,而不在算力。把存储路径理顺后,同样的卡时能跑出更多轮实验,这是科研平台最直接的收益。

网络侧同样影响结果。NFS over RDMA 把协议处理从 CPU 卸载到网卡,降低时延与 CPU 占用;对多客户端并行读取同一数据集的场景,pNFS 把数据路径分散到多个服务节点,避免单一入口成为瓶颈。计算集群越大,这两项能力越重要。

4.2 小文件:补足 HPC 平台的短板

传统 HPC 平台以少数大文件、顺序读为主,而 AI 与组学负载以海量小文件、随机读为主。统一存储通过元数据多台协同、目录自动打散、元数据压缩后常驻内存,提升小文件访问效率;小文件聚合写入减少写放大;NVMe 高并发队列降低单次 IO 时延。相关指标为:小文件并发 40 万 OPS;文件量从 1 亿增长到 100 亿,访问性能不下降;聚合块分层使 1000 万文件加载时间由 4 小时缩短至 2 分钟。

4.3 统一命名空间:先纳管、后迁移

统一存储将 NAS(NFS 接入)与对象存储(S3 接入)纳入统一命名空间。元数据先行,同步目录与描述信息,不复制全部数据;业务通过统一入口访问,源端差异对业务透明;热数据按需加载,首次访问触发被动缓存,已知任务可主动预热。相关指标为:统一命名空间支持百亿级文件与大规模客户端并发接入;3000 万文件规模下跨存储查找由 32 分钟缩短至 5 秒。存量数据原地可用,不必等待全量搬迁完成即可上线。

对院所而言,这一能力的意义在于改造可以分步:先把新数据写到新资源池,历史数据留在原处可查;等业务稳定后,再按项目、按年份迁移。项目周期从“搬迁数月”变成“上线数周”。

迁移顺序也有讲究。通常先迁移“新产生、访问频繁”的数据,让用户体验立即改善;再迁移“体量大、访问少”的历史数据,利用夜间与周末窗口;最后处理“归属不清、长期无人访问”的数据,先盘点再决定迁移或归档。分三步走,风险与工作量都可控。

4.4 分层与数据缩减:让全闪承载真正需要的数据

分层按数据热度、访问频率、项目阶段与成本要求决定存放位置,以聚合块为单位流动,减少逐文件搬运的开销;冷数据可分层至异构 NAS、对象存储、磁带库与云存储。相关指标为:1000 万文件加载由 4 小时缩短至 2 分钟;单 TB 可用成本降低 30%。全闪容量因此集中服务当前计算任务,而非长期占用。

4.5 统一视图与检索:不必记住数据位于哪套存储

统一视图支持按项目、时间、类型、大小、标签与来源组合查询;查询结果可组织为任务所需的数据集,直接进入数据准备与预热;开放接口可对接数据管理平台与科研管理系统。相关指标为:3000 万文件规模下跨存储查找由 32 分钟缩短至 5 秒;支持百亿级文件的统一视图。研究人员查数据由多系统检索变为一次查询。

4.6 可靠与保护:不可复现的数据不能丢失

统一存储通过 EC 冗余、端到端校验与硬盘亚健康监测保障数据可靠;目录级快照采用元数据 COW 与数据 ROW 技术,秒级生成;增量异步复制支持异地容灾;配合防勒索、回收站与一次写入不可篡改能力,形成分级保护。相关指标为:平台可靠性 6 个 9;1TB 数据恢复约 15—20 分钟;增量异步复制最短 15 分钟级 RPO;检查点可在 5—15 分钟内完成恢复,断点续训不耽误算力。

五、兼容与生态

协议层面,统一存储支持 NFS、SMB、pNFS 与 NFS over RDMA,以及 GPU 直接读取,可同时对接 Windows 与 Linux 计算环境;对象存储可通过 S3 接入,用于归档与数据湖场景。设备对接层面,已适配磁共振成像系统、光学显微镜、测序仪、质谱仪、冷冻电镜等多品牌进口科研设备的数据直存,替代先落本地盘再人工转存的流程。

存量生态层面,既有 NAS、对象存储与磁带库可被纳管并分层承接,并支持归档至第三方磁带库与云存储,无需另建一套系统。国产算力层面,已在昇腾科研集群上验证文件与对象统一服务以及断点续训能力;产品获赛宝实验室性能认证,入选信创工委会图谱,并为存储产业创新战略联盟成员单位。

对国产算力平台,适配的重点不是“能挂载”,而是训练中断后的恢复能力。断点续训要求存储能在数分钟内把检查点读回,且读取带宽稳定;这一能力已在昇腾科研集群上验证。对正在建设国产算力平台的院所,这是选型时必须确认的一项。

六、案例与佐证

某脑科学与智能技术研究机构以 1.5PB 资源池承载 54 个课题组与 100 余台科研设备,按课题组划分独立空间,TB 级全脑成像数据加载时间减少 80%,管理成本降低 40%。某高校智能产业研究院以 480TB 起步支撑十多个课题组的 AI 训练,容量使用率超过 90% 时性能不衰减。

某医科大学以 3 台混闪、1.05PB 承载基因测序生产与归档,分析周期由一周以上缩短至 3 天以内,分析时间缩短约 60%,成本降低约 30%。在交付规模上,深信服aStor统一存储已服务科研行业 PB 级项目单位 300 家以上,覆盖中科院体系、双一流高校、国家实验室与新型研发机构。

总结:先打通数据流转,再讨论峰值性能

科研存储的关键在于把仪器、课题组、数据中心与计算中心四层用一条统一路径连接,再按热、温、冷分层。四层贯通之后,算力才不会等待数据,峰值性能才有实际意义。该结构适用于新建平台,也适用于既有平台改造。

落地时可先绘制一张数据流转图,标出每个环节的存储位置与拷贝动作,统计一周内人工搬运的工时与数据量,再按分层结构逐层收敛。

关于深信服aStor统一存储

深信服aStor统一存储是深信服自主研发的企业级统一存储产品。2013 年,深信服设立存储研发部门,第一项任务是为桌面云与超融合提供底层存储;这两类产品目前在国内市场份额均位居第一。2017 年,存储作为独立产品线正式上市;2021 年发布高性能生产存储版本,并在深圳、北京、长沙、成都设立四大存储研发中心,研发人员超过 400 人;2025 年发布统一存储,将块、文件、对象三类服务收敛到一套软件定义架构;2026 年完成全面升级,原生支持块、文件、对象、向量四种协议,并可通过统一命名空间纳管第三方 NAS、对象存储与云存储。截至目前,深信服aStor统一存储累计参与交付超过 15064 个客户,累计交付容量约 2.45EB,PB 级项目超过 586 例,存储发明专利 400 余件。IDC 2026 年第二季度中国文件存储市场报告显示,其以 10.1% 的份额位居中国文件存储市场第三。

面向科研场景,该产品提供文件存储服务:全闪承载计算热数据,混闪承载活跃项目与原始数据,存量 NAS、对象存储与磁带库通过统一命名空间纳管,四层数据在同一路径上流动。在科研行业,其服务 PB 级项目单位 300 家以上,中科院体系、双一流高校与国家实验室均有落地。

表 2  典型案例客户:科研

典型客户

体系

交付容量

典型负载

某国家级基因组研究所

中科院体系

50TB 全闪+4PB 混闪

生物信息大数据长期存储、统一汇交与共享分发

某脑科学与智能技术研究机构

中科院体系

1.5PB 混闪

100 余台科研设备后端共享,54 个课题组独立空间

某病毒学研究所

中科院体系

2.2PB 混闪

科研实时数据采集系统后端高性能存储

某天文台

中科院体系

1PB 混闪

天文观测数据高性能文件存储

某国家蛋白质科学中心

独立科研机构

5PB 混闪

两套平台生产数据存力+中心备份存力

某计量科学研究院

独立科研机构

39 台国产化存储

全栈国产化信息基础设施

某环境科学研究院

独立科研机构

3.2PB 混闪

全国重型车排放远程监控平台数据存储

某实验室冷冻电镜中心

独立科研机构

2.6PB 混闪

冷冻电镜预处理大图与后处理成果长期归档

某高校智能产业研究院

重点高校

480TB(按需扩容)

十多个课题组 AI 训练

某邮电大学未来学习中心

重点高校

3.6PB 混闪

大数据平台、模型平台、开发平台、实训平台

某海洋大学三亚海洋研究院

重点高校

5PB 混闪

海洋数据汇聚管理、处理分析与共享服务

某海事大学船舶导航国家工程中心

重点高校

1PB 混闪

船舶导航工程应用与科研办公

某医科大学消化系统肿瘤防治中心

重点高校

1.05PB(混闪 3 台)

基因测序生产存储与长期归档

某农业大学信息工程学院

重点高校

2PB 混闪

农业多模态数据融合与智能决策算力

某医科大学

本科院校

7PB 混闪

图书馆电子资源、智慧教室直播录播

某城市学院

本科院校

2.4PB 混闪

课程资源、论文资源、录课视频与 AI 训练

某传媒学院

本科院校

2.1PB 混闪

智慧教室录播为主,统一存储

某电力职业技术学院

高职院校

30TB 全闪

AI 实训后端高性能全闪

注:以上为部分典型客户;容量与负载取自公开案例。