高性能文件存储怎么建:深信服aStor统一存储的全栈自研架构与集群实践
背景图 2026-10-22 16:21:02

高性能文件存储不是一个统一的产品类别。同样是文件访问,芯片设计、医疗影像、AI训练与影视后期对存储的要求差别极大——有的拼元数据并发,有的拼单流带宽,有的拼聚合吞吐。用同一套配置去覆盖这些负载,结果往往是每一项都不够好。建设的第一步,是把负载拆清楚。

三类负载,三种瓶颈

海量小文件负载。芯片设计的代码与仿真结果、医疗影像的病灶切片、AI训练的数据集样本,单文件常常只有几百KB,总量却达到千万级乃至百亿级。这类负载的瓶颈几乎总在元数据——目录查找、属性读写、文件创建,每一步都要消耗元数据服务的处理能力。带宽再大,元数据先饱和也无济于事。

高并发访问负载。数十台到数百台计算服务器同时访问同一命名空间。挑战在于请求能否被有效分散到多个节点,以及高负载下时延是否保持稳定。单点元数据服务在这个场景下最容易成为瓶颈。

大文件吞吐负载。EDA仿真、影视后期、AI训练中的数据加载以顺序大块读写为主,单文件可达数十GB。这类负载需要足够的聚合带宽与合理的条带化布局,同时要求读写路径尽量短、尽量少中转。

实际业务往往是三者的混合。芯片设计既有海量小文件的代码,也有大文件的仿真结果;AI训练既要读取千万级样本,也要加载大尺寸的检查点。高性能文件存储的建设,本质是让这三类负载在同一套架构里各得其所。

性能领先,缩短研发周期

深信服aStor统一存储的文件服务基于自研PhxDFS分布式文件系统构建,针对上述三类负载分别提供了对应的机制。

在元数据侧,多活MDS架构配合目录分片技术,把元数据请求分散到多个MDS处理单元并行处理,避免单点成为瓶颈;自研PhxKV元数据引擎针对元数据存储场景设计,相比通用开源KV组件在元数据读写路径上有明显性能优势。这两项组合,直接对应海量小文件与高并发访问两类负载的核心诉求。

在数据路径侧,pNFS(NFSv4.1)实现元数据路径与数据路径分离:用户端先获取布局信息,随后直连数据节点并行读写,绕开元数据节点的转发。对大文件吞吐负载,条带化将单个大文件分散到多个数据节点并行处理;对小文件,小文件聚合与追加写日志机制把随机小写合并为顺序写,减少写放大。

在通路侧,aStor支持NFS多连接,把单挂载点请求分散到多条连接与多个节点;支持NFS over RDMA与S3 over RDMA,降低网络时延与主机CPU开销,使存储能力可以更充分地传递到计算侧。

这套机制的整体效果,是文件访问能力达到并行文件系统级别。可以从并行文件系统常见的五项架构维度来核验——元数据与数据路径分离、元数据服务可横向扩展、全局单一命名空间、POSIX兼容、聚合带宽随节点数近似线性增长——在aStor的文件服务上均有对应实现。这意味着文件、对象、块与向量可在同一底座上共存;至于是否可以不再单独建设专用并行文件系统,取决于具体业务的真实负载能否通过这几项维度的实测验证,需要在选型阶段带实际数据与负载确认。

在公开的SPECstorage 测试环境中,aStor基于EDA_BLENDED负载模型取得2节点2500 Job Sets、总体响应时间(ORT)0.47ms、18151 MB/s聚合带宽,4节点5000 Job Sets、总体响应时间(ORT)0.59ms、36290 MB/s的成绩。该成绩对应特定测试配置与负载模型,不代表其他场景下的表现预期。

在芯片设计领域,眸芯科技(上海)有限公司约60—70台计算服务器需要共享代码、版图和仿真数据,并运行LVS、DRC等EDA验证任务。该用户部署6台aStor、约1PB容量,采用NVMe混合分层和NFS共享,为EDA计算服务器提供统一文件访问。一项LVS/DRC测试任务用时由10小时缩短到8.3小时,减少了验证环节等待。

稳定可靠,保障研发业务连续

高性能之外,业务连续性是研发类负载的硬要求。一次存储故障导致的任务中断,损失的不只是时间,还有已经投入的算力。

aStor采用多活架构与分布式冗余设计,控制器故障时业务不中断、数据不重构,链路故障可秒级恢复。文件服务通过分布式文件系统的多副本与纠删码机制保护数据,目录/MTree划分与配额机制避免单一业务占用过多资源。快照能力为误操作与逻辑错误提供快速回退手段,回收站机制则为误删除留出恢复窗口。

扩展过程中的连续性同样重要。aStor支持在线横向扩展,扩容过程业务不中断,新增节点后数据自动均衡。深圳佰维存储科技股份有限公司采用aStor混闪存储承载EDA研发数据,以分布式文件服务支持1000核以上仿真计算,并通过横向扩展适配后续计算规模和数据增长——研发规模扩大时,存储可以在不影响既有任务的前提下跟进。

在医疗场景,上海市第一妇婴保健院部署4台aStor、约300TB容量,将超声、心电、LIS、病案翻拍及基因相关数据纳入统一存储,并以海量文件管理和版本管理能力保留报告各版本原始文件。多系统数据在统一底座上集中承载,减少了分散管理带来的遗漏风险。

高性能文件的行业实践

行业

代表用户

典型文件负载

半导体(EDA)

眸芯科技、芯华章、深圳佰维存储、翱捷科技等众多用户

LVS/DRC验证、大规模仿真、IP设计数据

测绘地理信息

河北省地理信息集团、自然资源部四川基础地理信息中心、重庆市勘测院等众多用户

影像处理、空三建模、成果归档

医疗

上海市肺科医院、上海交通大学医学院附属仁济医院、南昌大学第一附属医院等众多用户

PACS影像、临床数据

高端制造

深南电路、欣旺达、中信戴卡等用户

质检图像、生产程序、办公文件

AI与科研

清华大学智能产业研究院、深圳鲲云、影石创新、魔视智能等众多用户

训练数据集、路采数据、科研成果

上表说明的是深信服aStor统一存储在各行业的项目覆盖广度,它代表用户与负载的多样性,但不能直接等同于高性能文件能力的验证样本数量——后者需要另按有文件负载实测或明确记录的单个项目来核定。就上表涉及的场景而言,文件规模从几十KB一直延伸到单个数十GB,企业遇到的共同诉求是高并发访问下的稳定时延,以及容量增长过程中性能表现不出现明显衰减。对中大型用户集群与大型数据中心的文件存储建设,行业覆盖提供的是工程适配经验的参考,具体表现仍应以自身真实负载的实测为准。

高效经济,综合TCO节省40%+

高性能文件存储的成本,主要由介质成本与复制成本两部分构成,aStor在两侧都有对应的处理机制。

介质成本方面,全闪与混闪节点可在同一集群内共存,通过数据流动按访问频度自动放置数据:高频数据留在全闪高性能层,历史与低频数据沉降至混闪容量层,再次访问时按需加载。性能与容量可分别按需扩展,避免了性能扩容与容量扩容相互绑定——不必为了长期保存而全部采购全闪,也不必为了性能而重复建设。在AI制药场景落地的维亚生物项目中,这套机制使每TB数据TCO降低60%+。

复制成本方面,协议互通让同一份数据可通过文件接口与对象接口双向访问,无需为不同应用各存一份;异构纳管让已有存储接入统一视图继续使用,存量投资得到保护。这两项直接减少的是容量重复占用与设备重复采购。

架构层面,深信服aStor统一存储为全栈自研:从分布式文件系统PhxDFS、元数据引擎PhxKV到存储引擎均为自研,非Ceph改造。自研架构的价值在于性能优化可贯通每一层,元数据、数据通路与介质调度协同设计,不依赖上游开源组件的能力边界;同时也意味着功能演进节奏自主可控,AI业务扩展到向量检索等新形态时,可在既有架构上直接承接,不必另建系统。

根据IDC《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2026Q2》,深信服统一存储以10.1%的市场份额位居中国文件存储市场第三。

高性能文件存储的建设,没有一套放之四海而皆准的配置。真正有效的路径是先拆清自己的负载构成——小文件占多少、并发有多少、大文件有多大——再确认候选架构在这三类负载上分别提供了什么机制。做到这一点的方案,才谈得上把性能优化落到业务里。