科研存储的选型,第一句话通常就能分出两类项目:一类强制要求原生 Lustre,另一类不强制。前者属于并行文件系统的主场,后者覆盖校级平台、院所科学数据中心、基因测序、脑科学与影像、多课题组共享以及 HPC 与 AI 双集群。以下讨论聚焦后一类场景,围绕深信服aStor统一存储展开。
哪些场景适用,哪些不适用
不适用的情况需要明确:强制要求原生 Lustre 的超算级集群、上千个计算端的 MPI 密集型负载、以 IO500 榜单作为验收标准的项目。这类需求应由并行文件系统承接,统一存储并不适用。把不适用说清楚,比夸大适用范围更能建立信任。
适用的情况包括:校级或所级科学数据中心、公共仪器平台、课题组共享、生物信息与测序、脑科学与影像、遥感测绘、材料计算、HPC 与 AI 双集群、科研成果归档。其共同特征是数据来源多样、负载混合、协议多种,且不依赖 Lustre。判断标准可以归纳为一句话:不依赖 Lustre、不追求单点极限性能、重视统一运维与数据治理的科研平台,适合采用统一存储。
实际判断时,可以列三张清单:负载清单,列出大文件仿真、小文件训练、仪器直存三类负载的占比;协议清单,列出 NFS、SMB、pNFS 的使用情况,以及对象存储归档需求;存量清单,列出已有存储的品牌、容量与退役计划。三张清单看完,是否属于统一存储的适用范围基本清楚。
清单之外,还要看一项组织条件:是否有统一的信息中心或平台团队。统一存储的价值依赖统一运维;若各课题组各自采购、各自管理,再好的架构也会被拆成孤岛。反过来,只要有一个团队对全所存储负责,收敛就有抓手。
不使用 Lustre,数百个计算端并发是否会抖动
客户普遍担心 NFS 在客户端数量上升后出现抖动。抖动的根源通常在单一 NFS 服务路径的元数据排队与锁竞争,而不是 NFS 协议本身。统一存储的应对方式是多层并行:pNFS 将元数据路径与数据路径分离,多客户端可并行访问多个数据服务;元数据多台协同并行处理、目录自动打散;NFS over RDMA 降低网络与 CPU 开销;小文件聚合写入减少写放大。
相关能力可由指标支撑:统一存储同时支持 pNFS、NFS over RDMA 与 GPU 直接读取;3000 万文件规模下跨存储查找由 32 分钟缩短至 5 秒;元数据经压缩后尽量常驻内存,命中时不回盘。将一条路径拆分为多条并行路径,比单纯加宽单条路径更有效。
锁竞争是另一个常被忽略的点。大量客户端同时对同一目录写入时,元数据锁会成为瓶颈;目录分片把不同目录的元数据分散到不同服务,降低锁冲突概率。对“几千个作业同时启动”的场景,这一机制决定了启动风暴会不会演变成全局卡顿。
客户端侧也有优化空间。挂载参数、并发线程数、缓存策略会直接影响体验;同一套存储,客户端配置不同,测出来的结果可能相差两成。上线前用标准脚本统一客户端配置,比反复调整存储参数更有效。
AI for Science 时代,小文件为何成为分水岭
同一套平台运行大文件仿真顺畅,运行组学、切片与日志却明显变慢,原因在于数据形态不同。AI 训练与生物信息流水线以海量小文件与随机读为主,而传统 HPC 以少数大文件与顺序读为主,许多平台的存储是按后者设计的。
统一存储从两方面补齐:元数据多台协同、目录打散、元数据压缩后常驻内存、小文件聚合写入与 NVMe 高并发队列,提升小文件路径效率;同时保留大文件高吞吐能力,不牺牲原有 HPC 负载。相关指标为:小文件并发 40 万 OPS;文件量从 1 亿增长到 100 亿,访问性能不下降。科研实测中,冷冻电镜重构由 3—7 天缩短至 1—3 天,单细胞分析由 14 小时缩短至 8—9 小时,两个场景的瓶颈均在小文件与元数据。
组学与影像的差别也值得注意。组学流水线以“多阶段、多中间文件”为特征,每一阶段都产生大量小文件;影像与脑科学以“大文件、局部读取”为特征,单文件数百 MB 至数 GB。两类负载同时存在时,存储既要能聚合小文件写入,又要能低时延读取大文件局部,单一优化手段很难同时满足。
先纳管、后迁移为何能缩短项目周期
传统做法是新存储到位、全量搬迁、业务切换,一个 PB 级平台的搬迁往往需要数月,业务在此期间难以切换。周期长的根源不是带宽,而是必须先搬完才能上线这一顺序。统一存储将顺序调整为先用后搬:统一命名空间先将存量 NAS(NFS)与对象存储(S3)纳入统一视图,元数据先行、数据不动;业务通过统一入口访问,源端差异对业务透明;热数据按需加载,首次访问被动缓存,已知任务主动预热;确认无风险后,再按目录、按项目逐步迁移。
相关指标为:统一命名空间支持百亿级文件与大规模并发接入;聚合块分层使 1000 万文件加载由 4 小时缩短至 2 分钟;3000 万文件跨存储查找由 32 分钟缩短至 5 秒。由先搬完改为先能用,项目周期相应缩短。
迁移过程中,元数据先行是关键。先把目录结构与文件描述同步到统一视图,业务即可按原路径访问;数据本体在首次读取时按需加载,或由管理员在夜间预热。这样,业务上线不必等待 PB 级数据搬迁完成,搬迁可以在运行中逐步进行。
元数据同步的范围需要界定:同步目录结构、文件名、大小与时间即可,不必同步全部扩展属性;权限沿用源端或在统一视图中重新映射。范围界定清楚,同步时间可以从数天缩短到数小时,业务上线更快。
HPC 平台增加 AI 后,底座如何调整
多数科研平台的存储按 HPC 设计,特征是大文件、顺序读、高带宽。引入 AI 训练后,检查点、训练集与小文件会压住原有路径。两类负载的要求并不相同:HPC 侧重带宽,AI 侧重每秒操作数与低时延,混在一套为 HPC 优化的存储上必然互相挤占。统一存储采用一套架构、两类资源池:全闪承接 AI 训练与检查点,混闪承接 HPC 结果与项目数据;同一命名空间下,数据按作业需要在层间流动;训练前将数据集预取至全闪,训练结束按策略回落。
相关指标为:检查点可在 5—15 分钟内完成恢复,断点续训不耽误算力;AI 药物虚拟筛选由约 15 小时缩短至 10—11 小时;30X 基因组分析由约 10 小时缩短至 6—7 小时。这一调整并非推翻原有 HPC 架构,而是补足小文件与低时延能力。
训练与推理对存储的要求也不同。训练强调吞吐与容量,检查点写入要快、恢复要稳;推理强调时延,模型加载与样本读取要快。同一套存储上,训练任务放在全闪的独立目录,推理服务按需预取,两者通过配额与优先级隔离,避免互相影响。
HPC 与 AI 共存的另一面是调度。两个集群可能共用同一套存储,但作业队列、优先级与配额不同;若没有统一的目录规划,AI 训练的大吞吐读写会挤压 HPC 作业的读取。按项目与负载划分目录、设置带宽上限,是常见的隔离手段。
为什么需要统一视图,而非继续完善目录规范
不少单位采用目录规范加人工登记的方式管理数据,前两年有效,第五年往往失效。原因在于数据分散在 NAS、对象存储、归档池与个人盘,目录规范无法约束跨系统副本;研究人员查找数据依赖他人告知,人员流动后线索中断。统一视图支持按项目、时间、类型、大小、标签与来源组合检索;查询结果可直接组织为任务所需的数据集,进入数据准备与预热;开放接口可对接数据管理平台与科研管理系统。
相关指标为:3000 万文件规模下跨存储查找由 32 分钟缩短至 5 秒;支持百亿级文件的统一视图。目录规范解决数据放在哪里,统一视图解决数据能否被找到。
统一视图还带来一个附加价值:数据资产盘点。过去要统计“全所多少人、多少项目、多少 TB 数据”,需要各课题组自行上报;有了统一视图,按项目、按时间、按类型统计一次即可完成,结题汇交与成果归档也有了依据。
检索结果如何变成数据集,是下一步的关键。平台可以把查询结果保存为数据集视图,记录路径、版本与缓存状态;计算任务启动时按视图加载,避免人工整理清单。对经常复用同一批数据的课题组,这一步能省下大量重复劳动。
科研数据的可靠性包含什么
科研数据往往只有一份,丢失即不可复现。常见漏洞有两处:快照覆盖不全,恢复依赖人工。统一存储通过 EC 冗余、端到端校验与硬盘亚健康监测保障数据可靠;目录级快照秒级生成、几乎不占用额外空间;增量异步复制支持异地容灾,最短 15 分钟级 RPO;配合回收站、一次写入不可篡改与防勒索能力,形成分级保护。
相关指标为:平台可靠性 6 个 9;1TB 数据恢复约 15—20 分钟;误删文件可自助找回。数据保护应建设在日常运行中,而非事故发生后。
容灾层面,科研平台通常不需要双活,但需要“可恢复”。增量异步复制按周期把数据同步到异地,RPO 控制在分钟级;发生站点故障时,可在异地拉起业务。对经费有限的院所,这比建设双活中心更现实。
多套存储收敛后,30% 的成本如何产生
成本来自三处结构性调整,而非降低配置。其一,全闪只承载热数据,温冷数据下沉至混闪或归档,避免全量全闪建设。其二,存量存储纳管利旧,不一次性替换,原有投资继续发挥作用。其三,统一运维面减少管理人力,扩容按需进行,减少一次性采购。
相关指标为:单 TB 可用成本降低 30%;3 台起步即可提供 PB 级可用容量;聚合块分层使 1000 万文件加载由 4 小时缩短至 2 分钟。该测算的前提是分层与利旧,如果项目本身要求全量全闪且设定了极限性能指标,这一成本结论不成立。
成本测算时应把三年作为一个周期:一次性采购、扩容、维保、运维人力四项加总,再除以可用容量。只比较单台设备价格,容易忽略扩容与维保的差异;只比较全闪单价,容易忽略冷数据占用全闪带来的浪费。按三年周期算,分层与利旧的收益才看得出来。
还有一个容易被忽略的成本:数据搬迁。多套存储并存时,跨系统搬迁需要停机窗口、人力与风险成本;统一命名空间把搬迁变成后台任务,停机窗口消失,这部分隐性成本也随之下降。对每年都有项目结题的院所,这一项并不小。
把这三项加总,再与“全闪一步到位”的方案对比,才能看出分层建设是否划算。对多数院所,答案是划算的;对少数要求全闪且负载单一的团队,直接上全闪更简单。方案没有绝对优劣,只有是否匹配。
总结:先判断是否属于 Lustre 场景,再讨论建设方式
科研存储没有通用解法。强制 Lustre 的超算级集群应走并行文件系统路线;不强制 Lustre 的校级平台、科学数据中心与 HPC 加 AI 双集群,采用统一存储做分层与纳管更为经济。判断场景属性,比比较参数更重要。落地时可列出本单位三类负载(大文件仿真、小文件训练、仪器直存)各自的计算端数量、数据量与峰值时段,确认占比最高的一类,再决定全闪与混闪的配比。
关于深信服aStor统一存储
深信服aStor统一存储是深信服自主研发的企业级统一存储产品。深信服进入存储领域始于 2013 年,最初作为桌面云与超融合的底层底座交付;2017 年独立产品上市,2021 年设立四大研发中心并发布高性能生产存储版本,2025 年发布统一存储,2026 年升级为块、文件、对象、向量四协议并支持统一命名空间纳管。截至目前,深信服aStor统一存储累计参与交付超过 15064 个客户,累计交付容量约 2.45EB,PB 级项目超过 586 例,存储发明专利 400 余件;IDC 2026 年第二季度中国文件存储市场报告显示,其以 10.1% 的份额位居中国文件存储市场第三。
面向科研场景,该产品提供文件存储服务,全闪承载计算热数据、混闪承载活跃项目,存量 NAS 与对象存储通过统一命名空间纳管。在科研行业,其服务 PB 级项目单位 300 家以上。
深信服aStor统一存储针对科研场景在并行访问、小文件处理、存量纳管与统一视图方面完成了适配与优化,为科研人员带来的是数据在原地即可计算、查找数据无需询问他人,为信息中心带来的是多套存储收敛为统一视图、扩容不停机、算力利用率可观测。同类科研平台的改造需求可以沿用这一路径。
表 1 典型案例客户:科研
|
典型客户 |
体系 |
交付容量 |
典型负载 |
|
某国家级基因组研究所 |
中科院体系 |
50TB 全闪+4PB 混闪 |
生物信息大数据长期存储、统一汇交与共享分发 |
|
某脑科学与智能技术研究机构 |
中科院体系 |
1.5PB 混闪 |
100 余台科研设备后端共享,54 个课题组独立空间 |
|
某病毒学研究所 |
中科院体系 |
2.2PB 混闪 |
科研实时数据采集系统后端高性能存储 |
|
某天文台 |
中科院体系 |
1PB 混闪 |
天文观测数据高性能文件存储 |
|
某国家蛋白质科学中心 |
独立科研机构 |
5PB 混闪 |
两套平台生产数据存力+中心备份存力 |
|
某计量科学研究院 |
独立科研机构 |
39 台国产化存储 |
全栈国产化信息基础设施 |
|
某环境科学研究院 |
独立科研机构 |
3.2PB 混闪 |
全国重型车排放远程监控平台数据存储 |
|
某实验室冷冻电镜中心 |
独立科研机构 |
2.6PB 混闪 |
冷冻电镜预处理大图与后处理成果长期归档 |
|
某高校智能产业研究院 |
重点高校 |
480TB(按需扩容) |
十多个课题组 AI 训练 |
|
某邮电大学未来学习中心 |
重点高校 |
3.6PB 混闪 |
大数据平台、模型平台、开发平台、实训平台 |
|
某海洋大学三亚海洋研究院 |
重点高校 |
5PB 混闪 |
海洋数据汇聚管理、处理分析与共享服务 |
|
某海事大学船舶导航国家工程中心 |
重点高校 |
1PB 混闪 |
船舶导航工程应用与科研办公 |
|
某医科大学消化系统肿瘤防治中心 |
重点高校 |
1.05PB(混闪 3 台) |
基因测序生产存储与长期归档 |
|
某农业大学信息工程学院 |
重点高校 |
2PB 混闪 |
农业多模态数据融合与智能决策算力 |
|
某医科大学 |
本科院校 |
7PB 混闪 |
图书馆电子资源、智慧教室直播录播 |
|
某城市学院 |
本科院校 |
2.4PB 混闪 |
课程资源、论文资源、录课视频与 AI 训练 |
|
某传媒学院 |
本科院校 |
2.1PB 混闪 |
智慧教室录播为主,统一存储 |
|
某电力职业技术学院 |
高职院校 |
30TB 全闪 |
AI 实训后端高性能全闪 |
|
注:以上为部分典型客户;容量与负载取自案例实际情况。 |
|||



