科研数据的产生、汇聚、分析与长期保存,正成为支撑高水平研究的核心基础设施。随着 AI for Science 成为科研新范式,生命健康研究进入多模态、定量化阶段,大科学装置持续推动数据密集型研究,材料、药物与能源研发从试错走向智能设计,科研数据在体量、类型与访问模式上都发生了变化。
一、科研数据的四层结构与四类变化
从数据流转看,科研数据贯穿四层:公共科研仪器平台承担数据源与暂存,规模为 PB 级;课题组环境承担采集、清洗与加工,规模为百 TB 级;所级科学数据中心承担汇集、共享、归档与安全,规模为 10PB 至 EB 级;所级计算中心承担分析与计算,规模为百 TB 级,其中 HPC 偏重大文件高带宽,AI 训练需要应对海量小文件并发。
这四层不是四个孤岛,而是一条流水线:仪器出数据、课题组做初加工、数据中心汇集、计算中心分析。流水线断在哪一层,算力就在哪一层等;数据在层与层之间搬一次,就多一次版本不一致的风险。
由此带来四类变化:数据量从 TB 走向 PB;小文件快速增多,组学、切片、日志与实验过程数据大量累积;访问压力上升,GPU 与 HPC 对带宽、时延与并发的要求同步提高;管理复杂度增加,跨课题组、跨平台、跨协议的共享成为常态。
“十五五”期间,这四类变化会同时加速。AI 辅助假设生成与实验设计需要反复读取历史数据;生命健康研究从“看现象”走向“看机制”,多模态数据叠加;大科学装置与算力平台持续扩容。存储若仍按“一套系统服务一类数据”建设,很快会回到多套并存的局面。
以冷冻电镜为例,单次实验产生数 TB 原始数据,重建过程需要反复读取并生成中间结果;以基因测序为例,一个样本的下机数据为数十至数百 GB,一个批次几十个样本同时处理。两类负载都要求存储既能承接高吞吐写入,又能在计算阶段提供稳定读取,而不是“写得进、读不出”。
二、四类现状制约科研效率
第一,计算效率被拖累。算力资源被 I/O 瓶颈拖慢,作业排队与等待时间过长,昂贵的算力投资难以转化为科研产出。GPU 空转的每一分钟,都是经费的浪费。
第二,协作效率被消耗。数据在仪器、计算平台与办公终端之间反复物理拷贝,存储路径变更导致科研脚本失效,跨团队交付周期漫长。学生毕业、人员流动后,数据在哪里往往无人说得清。
第三,存储总成本偏高。多套系统各自采购、独立管理,冷热数据缺少策略,部分全闪容量被低频数据占用,单位容量成本长期居高。扩容时又因系统边界,无法把容量调到最需要的地方。
第四,数据保护不足。快照策略覆盖不全,误删与篡改缺少有效保护,恢复过程依赖人工,权限管控难以满足审计要求。科研数据往往只有一份,丢失即不可复现。
四类问题对应四项能力要求:高带宽低时延的读写能力、统一访问路径、按数据价值分层的能力,以及可追溯、可恢复的保护体系。
预算机制也在放大这四类问题。科研经费按项目、按年度下达,存储往往被拆成多次采购;每批设备型号不同、品牌不同,几年后形成“一柜一品牌”的局面。统一存储的价值之一,是让后续扩容可以叠加在同一架构上,而不是每批采购都开一条新路线。
三、深信服aStor统一存储方案架构:按数据价值分层建设
方案采用全闪、混闪与存量纳管相结合的分层结构,通常以 2 台全闪、3 台混闪为起点,并根据存量规模纳入 N 套原有存储。全闪层承载 AI 训练、HPC 分析、小文件密集访问与检查点数据;3 台起步即可提供 PB 级可用容量与 6—8GB/s 吞吐,支持大比例纠删码配置,得盘率更高。
混闪层承载活跃项目数据、原始数据副本、近期复用数据集与中间结果,与全闪统一元数据,冷热数据可自由流动。存量层通过统一命名空间纳入原有 NAS、对象存储与归档池,数据逐步治理、按需迁移,历史数据仍可查询与访问,并支持归档至第三方磁带库与云存储。
网络侧采用 100G 与 200G InfiniBand 或 RoCE 组网,向上对接科学计算与工程仿真、大模型训练与微调、推理,以及数据管理、项目管理与计算管理平台。对已有 HPC 集群的院所,存储以标准协议接入,不必改造计算网络。
部署上,管理网络、存储私网与业务网络分离,业务网络按计算集群规模选择 100G 或 200G;存储节点通过标准以太网或 InfiniBand 接入,客户端沿用现有挂载方式。对已有 IB 组网的超算平台,存储可作为并行文件系统之外的容量层与数据层接入,不改变计算侧的使用习惯。
表 1 科研分层建设的落位
|
层次 |
组成 |
承载数据 |
关键能力 |
价值 |
|
性能层 |
2 台全闪 |
训练集、检查点、计算中间结果 |
并行访问、RDMA、GPU 直接读取、预加载 |
算力不等数据 |
|
容量层 |
3 台混闪 |
活跃项目、原始数据副本、近期复用数据 |
分层、配额、快照 |
容量与成本可控 |
|
存量与归档 |
N 套原有存储、磁带库、云存储 |
历史数据、结题数据、归档数据 |
统一命名空间、纳管、检索 |
不推倒重来 |
四、关键能力
4.1 高性能读写:缩短算力等待时间
统一存储通过 NFS over RDMA 降低网络与 CPU 开销;pNFS 将元数据路径与数据路径分离,多客户端可并行访问多个数据服务;GPU 直接读取(GDS)使文件数据以更短路径进入 GPU,减少 CPU 中转与内存拷贝。科研实测结果显示:单个 30X 人类基因组样本的比对、排序与变异检测由约 10 小时缩短至 6—7 小时;冷冻电镜单次实验的 2D/3D 分类与重构由约 3—7 天缩短至 1—3 天;10 万细胞级单细胞分析由约 14 小时缩短至 8—9 小时;AI 药物虚拟筛选由约 15 小时缩短至 10—11 小时。
这些数字的共同点是:瓶颈原本都在数据供给,而不在算力。把存储路径理顺后,同样的卡时能跑出更多轮实验,这是科研平台最直接的收益。
网络侧同样影响结果。NFS over RDMA 把协议处理从 CPU 卸载到网卡,降低时延与 CPU 占用;对多客户端并行读取同一数据集的场景,pNFS 把数据路径分散到多个服务节点,避免单一入口成为瓶颈。计算集群越大,这两项能力越重要。
4.2 小文件:补足 HPC 平台的短板
传统 HPC 平台以少数大文件、顺序读为主,而 AI 与组学负载以海量小文件、随机读为主。统一存储通过元数据多台协同、目录自动打散、元数据压缩后常驻内存,提升小文件访问效率;小文件聚合写入减少写放大;NVMe 高并发队列降低单次 IO 时延。相关指标为:小文件并发 40 万 OPS;文件量从 1 亿增长到 100 亿,访问性能不下降;聚合块分层使 1000 万文件加载时间由 4 小时缩短至 2 分钟。
4.3 统一命名空间:先纳管、后迁移
统一存储将 NAS(NFS 接入)与对象存储(S3 接入)纳入统一命名空间。元数据先行,同步目录与描述信息,不复制全部数据;业务通过统一入口访问,源端差异对业务透明;热数据按需加载,首次访问触发被动缓存,已知任务可主动预热。相关指标为:统一命名空间支持百亿级文件与大规模客户端并发接入;3000 万文件规模下跨存储查找由 32 分钟缩短至 5 秒。存量数据原地可用,不必等待全量搬迁完成即可上线。
对院所而言,这一能力的意义在于改造可以分步:先把新数据写到新资源池,历史数据留在原处可查;等业务稳定后,再按项目、按年份迁移。项目周期从“搬迁数月”变成“上线数周”。
迁移顺序也有讲究。通常先迁移“新产生、访问频繁”的数据,让用户体验立即改善;再迁移“体量大、访问少”的历史数据,利用夜间与周末窗口;最后处理“归属不清、长期无人访问”的数据,先盘点再决定迁移或归档。分三步走,风险与工作量都可控。
4.4 分层与数据缩减:让全闪承载真正需要的数据
分层按数据热度、访问频率、项目阶段与成本要求决定存放位置,以聚合块为单位流动,减少逐文件搬运的开销;冷数据可分层至异构 NAS、对象存储、磁带库与云存储。相关指标为:1000 万文件加载由 4 小时缩短至 2 分钟;单 TB 可用成本降低 30%。全闪容量因此集中服务当前计算任务,而非长期占用。
4.5 统一视图与检索:不必记住数据位于哪套存储
统一视图支持按项目、时间、类型、大小、标签与来源组合查询;查询结果可组织为任务所需的数据集,直接进入数据准备与预热;开放接口可对接数据管理平台与科研管理系统。相关指标为:3000 万文件规模下跨存储查找由 32 分钟缩短至 5 秒;支持百亿级文件的统一视图。研究人员查数据由多系统检索变为一次查询。
4.6 可靠与保护:不可复现的数据不能丢失
统一存储通过 EC 冗余、端到端校验与硬盘亚健康监测保障数据可靠;目录级快照采用元数据 COW 与数据 ROW 技术,秒级生成;增量异步复制支持异地容灾;配合防勒索、回收站与一次写入不可篡改能力,形成分级保护。相关指标为:平台可靠性 6 个 9;1TB 数据恢复约 15—20 分钟;增量异步复制最短 15 分钟级 RPO;检查点可在 5—15 分钟内完成恢复,断点续训不耽误算力。
五、兼容与生态
协议层面,统一存储支持 NFS、SMB、pNFS 与 NFS over RDMA,以及 GPU 直接读取,可同时对接 Windows 与 Linux 计算环境;对象存储可通过 S3 接入,用于归档与数据湖场景。设备对接层面,已适配磁共振成像系统、光学显微镜、测序仪、质谱仪、冷冻电镜等多品牌进口科研设备的数据直存,替代先落本地盘再人工转存的流程。
存量生态层面,既有 NAS、对象存储与磁带库可被纳管并分层承接,并支持归档至第三方磁带库与云存储,无需另建一套系统。国产算力层面,已在昇腾科研集群上验证文件与对象统一服务以及断点续训能力;产品获赛宝实验室性能认证,入选信创工委会图谱,并为存储产业创新战略联盟成员单位。
对国产算力平台,适配的重点不是“能挂载”,而是训练中断后的恢复能力。断点续训要求存储能在数分钟内把检查点读回,且读取带宽稳定;这一能力已在昇腾科研集群上验证。对正在建设国产算力平台的院所,这是选型时必须确认的一项。
六、案例与佐证
某脑科学与智能技术研究机构以 1.5PB 资源池承载 54 个课题组与 100 余台科研设备,按课题组划分独立空间,TB 级全脑成像数据加载时间减少 80%,管理成本降低 40%。某高校智能产业研究院以 480TB 起步支撑十多个课题组的 AI 训练,容量使用率超过 90% 时性能不衰减。
某医科大学以 3 台混闪、1.05PB 承载基因测序生产与归档,分析周期由一周以上缩短至 3 天以内,分析时间缩短约 60%,成本降低约 30%。在交付规模上,深信服aStor统一存储已服务科研行业 PB 级项目单位 300 家以上,覆盖中科院体系、双一流高校、国家实验室与新型研发机构。
总结:先打通数据流转,再讨论峰值性能
科研存储的关键在于把仪器、课题组、数据中心与计算中心四层用一条统一路径连接,再按热、温、冷分层。四层贯通之后,算力才不会等待数据,峰值性能才有实际意义。该结构适用于新建平台,也适用于既有平台改造。
落地时可先绘制一张数据流转图,标出每个环节的存储位置与拷贝动作,统计一周内人工搬运的工时与数据量,再按分层结构逐层收敛。
关于深信服aStor统一存储
深信服aStor统一存储是深信服自主研发的企业级统一存储产品。2013 年,深信服设立存储研发部门,第一项任务是为桌面云与超融合提供底层存储;这两类产品目前在国内市场份额均位居第一。2017 年,存储作为独立产品线正式上市;2021 年发布高性能生产存储版本,并在深圳、北京、长沙、成都设立四大存储研发中心,研发人员超过 400 人;2025 年发布统一存储,将块、文件、对象三类服务收敛到一套软件定义架构;2026 年完成全面升级,原生支持块、文件、对象、向量四种协议,并可通过统一命名空间纳管第三方 NAS、对象存储与云存储。截至目前,深信服aStor统一存储累计参与交付超过 15064 个客户,累计交付容量约 2.45EB,PB 级项目超过 586 例,存储发明专利 400 余件。IDC 2026 年第二季度中国文件存储市场报告显示,其以 10.1% 的份额位居中国文件存储市场第三。
面向科研场景,该产品提供文件存储服务:全闪承载计算热数据,混闪承载活跃项目与原始数据,存量 NAS、对象存储与磁带库通过统一命名空间纳管,四层数据在同一路径上流动。在科研行业,其服务 PB 级项目单位 300 家以上,中科院体系、双一流高校与国家实验室均有落地。
表 2 典型案例客户:科研
|
典型客户 |
体系 |
交付容量 |
典型负载 |
|
某国家级基因组研究所 |
中科院体系 |
50TB 全闪+4PB 混闪 |
生物信息大数据长期存储、统一汇交与共享分发 |
|
某脑科学与智能技术研究机构 |
中科院体系 |
1.5PB 混闪 |
100 余台科研设备后端共享,54 个课题组独立空间 |
|
某病毒学研究所 |
中科院体系 |
2.2PB 混闪 |
科研实时数据采集系统后端高性能存储 |
|
某天文台 |
中科院体系 |
1PB 混闪 |
天文观测数据高性能文件存储 |
|
某国家蛋白质科学中心 |
独立科研机构 |
5PB 混闪 |
两套平台生产数据存力+中心备份存力 |
|
某计量科学研究院 |
独立科研机构 |
39 台国产化存储 |
全栈国产化信息基础设施 |
|
某环境科学研究院 |
独立科研机构 |
3.2PB 混闪 |
全国重型车排放远程监控平台数据存储 |
|
某实验室冷冻电镜中心 |
独立科研机构 |
2.6PB 混闪 |
冷冻电镜预处理大图与后处理成果长期归档 |
|
某高校智能产业研究院 |
重点高校 |
480TB(按需扩容) |
十多个课题组 AI 训练 |
|
某邮电大学未来学习中心 |
重点高校 |
3.6PB 混闪 |
大数据平台、模型平台、开发平台、实训平台 |
|
某海洋大学三亚海洋研究院 |
重点高校 |
5PB 混闪 |
海洋数据汇聚管理、处理分析与共享服务 |
|
某海事大学船舶导航国家工程中心 |
重点高校 |
1PB 混闪 |
船舶导航工程应用与科研办公 |
|
某医科大学消化系统肿瘤防治中心 |
重点高校 |
1.05PB(混闪 3 台) |
基因测序生产存储与长期归档 |
|
某农业大学信息工程学院 |
重点高校 |
2PB 混闪 |
农业多模态数据融合与智能决策算力 |
|
某医科大学 |
本科院校 |
7PB 混闪 |
图书馆电子资源、智慧教室直播录播 |
|
某城市学院 |
本科院校 |
2.4PB 混闪 |
课程资源、论文资源、录课视频与 AI 训练 |
|
某传媒学院 |
本科院校 |
2.1PB 混闪 |
智慧教室录播为主,统一存储 |
|
某电力职业技术学院 |
高职院校 |
30TB 全闪 |
AI 实训后端高性能全闪 |
|
注:以上为部分典型客户;容量与负载取自公开案例。 |
|||



