深信服aStor统一存储的高性能文件架构:小文件、并发访问与大文件吞吐
背景图 2026-11-05 11:59:09

同样是文件访问,打开一个包含海量小文件的目录、让多台工作站共享项目、连续读取大型视频或训练数据包,考验的是不同环节。容量足够并不代表目录查询足够快,聚合带宽高也不代表单客户端能用满。高性能文件存储需要让元数据处理、请求并发和正文传输相互匹配。

深信服aStor统一存储在统一软件架构中提供块、文件、对象和向量四类服务,同时面向传统生产与AI创新。文件服务采用自研PhxDFS分布式文件系统,结合多活元数据服务、目录分片、小文件聚合及并行访问机制,支撑中高端存储需求和中大型客户集群。理解这套架构,应从文件请求实际经过的路径开始。

文件访问包含找文件和读内容两个过程

应用打开文件时,系统需要先定位目录项,检查权限与锁状态,找到文件数据的布局,再读取对应内容。前一部分属于元数据操作,后一部分属于数据访问。一个任务即使只读取很小的内容,也可能已经执行了多次目录查询、属性检查与打开操作,因此小文件任务经常在网络带宽尚未跑满时就出现等待。

大文件连续读取则不同。目录定位完成后,应用需要让数据持续通过网络到达计算侧,客户端并发、数据布局、节点带宽和后端介质共同影响速度。多台机器同时访问时,还会叠加入口和元数据的共享压力。把三类问题分开观察,才容易确定该增加什么资源、优化哪段路径。

业务表现

主要观察环节

架构侧对应机制

海量文件创建、查找较慢

元数据并发与热点分布

多活MDS、目录分片、元数据缓存与PhxKV

小文件读取或写入等待较多

请求调度、离散I/O与后端访问

小文件聚合、缓存和顺序化写入

大文件持续传输受限

客户端连接、网络和数据路径

pNFS、NFS+、适用条件下的RDMA

并发增长后响应波动

入口、元数据、服务与介质共同负载

多维度扩展、资源分配及后台任务协调

 

目录分片与多活MDS分散元数据压力

统一承载各类业务: 深信服aStor统一存储通过多个元数据服务MDS并行处理文件系统请求。每个节点可以运行多个轻量级MDS Rank,客户端侧根据目录及分片归属,把请求交给对应处理单元。目录分片进一步按照文件名哈希划分目录项,使一个大目录的操作能够分布到多个分片,而非长期集中在单个服务上。

图1 目录分片与元数据负载分散

不同业务的目录组织也会影响效果。医学影像倾向按病人和检查组织文件,研发任务可能在少量大目录中并发创建与查询。局部均衡可以保留访问局部性,全局均衡则结合节点文件数量和元数据负载分配目录分片。具体模式要与应用的目录层次和操作方式对应,使元数据分散确实服务实际访问。

PhxKV承担元数据持久化与查询,MDS内存缓存保存常用目录及文件信息。命中缓存时,可以减少重复查询的后端开销;未命中时,再从相应元数据路径补齐。目录分片解决请求分布,缓存缩短常用信息的读取路径,元数据引擎负责可靠保存和查询,三者各有职责。

这也是全栈自研的价值所在。深信服aStor统一存储并非基于Ceph改造,PhxDFS、PhxKV与存储引擎围绕文件负载协同设计。大规模文件处理能够从目录布局、元数据事务到数据写入一并优化,而不只是在访问入口增加连接数量。

小文件聚合与缓存减少离散访问开销

小文件的内容很短,但大量独立访问会不断触发后端操作。统一存储通过小文件聚合、追加写及相应映射机制组织数据,减少细碎写入直接落到介质的开销。混闪配置可以先把需要写缓冲的数据纳入具备持久化保护的性能层,后台再聚合为较大的顺序I/O写入容量层。

缓存中的数据状态需要区分。写入已满足保护条件,才可向上层确认成功;进入后端容量层的数据,在合适策略下可以参与缓存淘汰。未完成保护或回写的数据不能仅为腾空间而丢弃。持续写入能力由性能层、后端介质和后台回刷共同决定,适合用完整业务周期观察,而不是只看短时间缓存吸收能力。

读取时,热点数据命中缓存可减少访问后端介质的等待。对访问顺序有明显关联的应用,还可以结合预读。例如PACS按目录或检查时间连续访问一组影像,预先加载相关数据可改善后续调阅。预读的价值来自命中实际访问,因此不同文件类型、目录组织与读写节奏应采用相应策略。

并行文件通路让计算端用到多个节点的能力

AI算力少等待: 当训练或科研任务需要持续读取大文件时,单连接或单入口可能限制后端资源的使用。深信服aStor统一存储提供不同的并行访问路径:pNFS把元数据与数据通路分离,客户端先取得文件布局及数据服务地址,再直接连接承载数据的节点;NFS+通过多连接分摊单挂载点的访问压力。

pNFS与NFS+不是同一个功能名称。前者依托标准并行文件访问流程,后者围绕多连接与路径组织改善访问。选择时需要同时确认客户端支持、挂载方式、网络拓扑和故障重试行为,让应用真正使用到计划中的并行路径。仅在服务端开启选项,不能替代客户端和网络的配置。

NFS over RDMA则针对传输过程减少部分网络协议栈和内存复制开销,保留文件操作的权限、目录和语义处理。在相应客户端、网卡、交换网络及软件条件满足时,它可以帮助高吞吐应用提高数据传输效率。若任务主要时间花在文件解码、计算或单线程处理,数据通路优化仍需与上层流程衔接。

集群扩展同时照顾容量、元数据和持续服务

统一储存任意规模数据: 文件规模增长包含字节数增长,也包含文件数量与请求量增长。增加容量节点后,还需要入口能够分流、MDS能够承接新分片、服务算力和网络继续扩展。对于混闪与全闪协同环境,活跃项目使用性能资源,历史成果使用容量资源,可以把长期留存与生产性能分别配置。

大规模生产还要求性能在维护和异常恢复期间保持可管理。冗余布局、故障域、端到端校验和慢盘隔离服务不同异常,快照和回收站帮助恢复误操作。后台均衡和重建与前台访问协调,能够降低任务之间的争抢。企业应围绕应用目标安排余量和保护策略,让扩展与持续生产相伴进行。

项目实践连接文件架构与真实业务效率

武汉艺画开天文化传播有限公司采用深信服aStor统一存储承载动画制作、渲染、后期特效与合成等核心业务。在对应项目配置中,5台设备最大可提供超过7.5GB/s带宽,满足400多人团队并行读取影音文件和同时编辑的需求。共享素材、多人并行和大文件传输共同构成了该项目的文件负载,而不仅是保存素材所占的容量。

西安市勘察测绘院采用深信服aStor统一存储,部署11台信创节点、约1PB容量,以高性能文件服务承载遥感影像与测绘成果,支撑百亿规模小文件的高并发访问。两类项目分别体现大文件制作协作与海量小文件生产,对应文件架构中不同的能力重点。

行业方向

代表实践

典型负载

文化传媒

武汉艺画开天、中国农业电影电视中心等客户

影音素材读取、并行编辑与长期保存

测绘与地理信息

西安市勘察测绘院、河北省地理信息集团等客户

遥感影像、小文件、空三与三维建模

科研与AI

清华大学智能产业研究院等客户

训练样本读取、科研数据供给

制造业

太原重工、深南电路等客户

生产共享、多接口应用与文件保存

 

这些项目体现文件存储的行业覆盖,具体性能结论对应各自工作负载与部署环境。根据IDC《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2026Q2》,深信服以10.1%份额位居中国文件存储市场第三,体现其在这一市场的应用与商业基础。

建设高性能文件存储,应把“找文件”“处理小请求”和“持续传内容”放入同一条分析路径。深信服aStor统一存储以多活元数据、目录分片、聚合与缓存、并行访问及持续扩展支撑不同文件负载,使统一平台既能处理海量文件,也能服务多人协作和大型数据传输,让性能提升落实到生产与计算流程。

常见问题

Q1:统一存储怎样兼顾多业务承载与高性能文件访问?

深信服aStor统一存储为文件请求配置多活MDS、目录分片、元数据缓存和相应并行访问通路,分别减少目录热点与数据传输中的等待;这些能力与其他服务共同建立在统一架构上。按文件数量、并发和工作集配置资源,再安排后台任务与必要的独立资源池,可兼顾文件访问和多业务管理,具体表现按混合负载验证。

Q2:pNFS、NFS+和NFS over RDMA有什么区别?

pNFS侧重元数据与数据路径分离,NFS+侧重多连接和路径组织,NFS over RDMA侧重网络传输开销。它们作用于不同环节,需分别核对客户端、挂载和网络条件。

Q3:文件数量增加后,只扩容量是否足够?

不一定。若瓶颈是目录操作和元数据并发,还需增加相应处理能力并分散热点;若瓶颈是大文件吞吐,需要一起检查客户端连接、网络和数据节点。扩展方案应同时考虑容量与访问量。