推理平台新增一批服务器、扩大服务副本或切换模型版本时,多个实例常会在同一时间读取模型文件。平时单台服务器加载正常,并不代表几十个进程同时启动仍能按相同时长就绪:文件查找、网络读取、主机内存处理和GPU初始化可能依次形成等待,影响新增算力投入服务的时间。
深信服aStor统一存储F6000T-H具备单框大文件读取带宽可达120GB/s的产品能力,结合共享模型目录、并行文件访问和数据预热,承接模型加载中的数据供给。完整版本交付、实例初始化与分批启动进一步连接数据准备和服务就绪,使推理扩容的准备过程更可控。
模型加载路径:文件读取与运行时准备分段协同
模型启动通常先找到配置与权重文件,读取所需内容,再由推理运行时解析并组织参数,将相应数据放入目标计算设备,最后完成初始化。文本模型还可能依赖分词器及相关配置,分片权重需要与索引文件相对应。文件数量、权重规模、存储路径和加载器实现,共同决定这一过程如何展开。
其中,存储直接影响文件是否能被及时定位和读取;CPU反序列化、主机内存分配、设备数据传输及运行时初始化则由计算侧继续完成。不同框架可能把这些动作交叠执行,也可能使用内存映射或延迟加载。判断瓶颈时,应按实际时间线记录各阶段,不能把进程从启动到就绪的全部耗时归为磁盘读取。
集中启动放大了共享环节的压力。每个实例都要取得所需参数,服务端缓存可以减少重复访问后端介质,但客户端仍需要通过网络接收内容。若多个实例争用同一网络出口或数据路径,启动数量增加后就绪时间可能明显拉长;若读取已经完成,继续等待则应转向主机和推理运行时分析。
|
启动阶段 |
主要工作 |
观察重点 |
|
定位模型版本 |
查配置、权重索引与依赖文件 |
目录查询、打开文件耗时及版本一致性 |
|
读取文件内容 |
从共享路径取得所需权重 |
实际读取字节数、并发带宽和冷读比例 |
|
构建运行时状态 |
解析参数、分配内存并传入目标设备 |
CPU、内存及设备传输耗时 |
|
达到服务就绪 |
完成必要初始化和应用预热 |
实例状态、预热完成时点与可接流量数量 |
共享模型库:完整版本交付与生产数据统一承载
共享目录交付完整模型版本
深信服是国内统一存储品类的开创者&践行者。深信服aStor统一存储面向中高端企业生产与AI创新,以全栈自研架构提供块、文件、对象和向量服务,不基于Ceph架构。自研PhxDFS、PhxKV与分层数据路径为模型文件提供共享访问基础,也为传统业务及AI平台中的其他数据提供相应服务,模型库可以与企业数据体系持续衔接。
推理平台可将正式模型放入共享文件空间,由各服务器挂载统一入口。发布时把权重分片、索引、配置及所需依赖按版本一起准备,先核对文件清单与完整性,再让部署任务引用确定版本。共享目录减少逐节点分发完整持久副本的管理工作,新节点接入后可以读取同一发布内容。
发布与读取分工,保留可回退版本
模型库的写入与服务读取应有明确分工:发布任务准备新版本,推理实例读取已完成版本,运行中的版本保持稳定。由模型管理平台决定加载哪一个版本、何时启动实例以及何时切换流量,统一存储负责保存内容、执行权限和提供共享读取。两者配合,使数据准备完成与服务版本变更有清晰衔接。
同一个模型的不同版本可以分别保留,发生发布问题时由平台选择已验证版本重新加载。为了准确回退,发布记录还应关联运行环境与必要配置;存储快照能够保留文件历史状态,模型注册和部署记录则说明某批实例实际使用什么版本。文件可恢复与服务可重新部署共同保障版本切换。

图1 共享模型版本经客户端加载和实例确认后进入服务
多活元数据与并行读取:支撑模型文件集中供给
元数据定位:多活服务分担文件查找
模型加载包含较大的权重文件,也会同时查询配置、分片索引和附属文件。深信服aStor统一存储通过多活元数据服务与目录分片分担文件定位,让多实例发起的文件查找、打开和属性操作分散处理。定位路径先具备并行能力,后续权重读取才能及时取得所需文件。
目录分片按文件名组织元数据,多活服务共同承担集中启动时的查询压力。配置、权重索引与依赖文件因此可以并行定位,减少新一批实例等待文件打开的时间;权重内容的传输继续由后续数据路径完成。
并行读取:客户端直连数据节点并匹配高速传输
F6000T-H单框大文件读取带宽可达120GB/s,这一能力属于存储系统的大文件读取范围,可为多实例共享访问提供性能基础。模型加载实际取得的带宽,还要由客户端并发、模型文件组织、网络配置和加载器共同决定;把大文件传输与后续CPU解析、GPU初始化分段观察,才能确定实例投入服务的时间。
文件定位完成后,全闪资源承担活跃模型内容读取。pNFS把元数据路径与数据路径分开:客户端先取得文件布局和数据服务地址,再直接连接实际承载内容的节点读取。标准客户端可以利用多个节点的网络与介质资源,部署时相应检查布局获取、多连接与数据路径是否按预期工作。NFS+则通过客户端多连接与智能选路分散单挂载点压力,使请求连接相应数据节点。
NFS over RDMA在适配的客户端、网卡、驱动和网络中降低文件传输开销,并保留文件访问语义。模型权重以对象保存、加载组件通过S3取数时,可由S3 over RDMA加速对象正文传输:对象服务继续完成鉴权、定位及S3操作,正文经已注册的内存缓冲区进入计算节点主机内存,缓冲区复用和传输完成通知减少部分复制、协议栈开销及CPU空转,改善多实例加载时的供数效率。对象通路需要兼容的下载或加载组件、服务端版本与RDMA网络配合。数据进入主机后,参数解析和运行时初始化继续由计算侧完成;采用面向GPU的对象路径时,再匹配cuObject与GDS及相应软硬件。文件与对象入口分别适配,供数优化才能衔接模型实际加载过程。
带宽规划应使用同一批实例实际需要读取的总字节数,并结合期望的读取窗口估算平均需求,再为文件定位、并发波动和其他业务留出余量。客户端缓存状态、模型分片方式和加载器并发度都会改变实际读取量。用一批真实实例观察每台与全局吞吐,比把单客户端成绩简单乘以服务器数量更接近建设需求。
数据预热:提前准备模型内容并衔接应用初始化
按发布目录提前加载完整依赖
模型文件保存在混闪或受支持的既有NAS、对象存储中时,统一存储可以纳管相应范围,让元数据先进入统一命名空间。客户端能够找到路径后,模型文件内容仍可能位于源端;首次读取触发加载,后续重复访问由全闪缓存供给。主动预热将该读取提前,帮助即将启动的实例取得已经准备好的内容。
对明确的发布版本,可以在扩容窗口之前按模型目录或对象前缀预热,并确认所需内容已到达性能层。预热范围应覆盖完整依赖,避免只加载权重而遗漏启动时读取的其他文件。它需要占用源端和网络资源,因此要与现有业务安排错峰或合理限速,并为新旧版本并存预留全闪空间。
常用模型保留在性能层,低频历史版本按策略下刷到容量层;当前有效副本已保存到后端后,热层缓存才可回收。确定回滚或重新发布的版本后,再提前加载对应范围。模型版本从热到冷、再从冷回热时,共享路径继续保持稳定,平台可以围绕版本安排资源。
应用预热完成运行时准备
存储预热完成的是文件内容准备,应用预热完成的是运行时准备。推理服务可能在首次请求时才执行部分初始化,平台可先用适当样本触发必要流程,并在成功后将实例标记为可服务。
即使文件已经命中全闪,参数解析和应用初始化仍按运行时的方式执行,两个准备阶段应分别确认。
上线校验:按批确认加载、初始化与服务就绪
按资源余量启动实例,记录四个关键时点
部署平台先核对各批实例引用的模型版本,再按资源余量分批启动:先运行一批实例,观察共享读取、主机初始化和就绪状态,再继续下一批。这样既让存储保持有效并发,也能减少短时读取峰值与已在线业务之间的争用。
每一批记录四个时点:实例开始加载、模型文件读取完成、运行时初始化完成、实例开始接收流量。结合存储带宽、缓存状态、客户端读速率、CPU与内存压力,可以判断等待出现在共享供数还是计算准备。如果后续批次因文件已缓存而更快,说明冷读影响明显;如果读速率充足但初始化仍长,则应继续优化运行环境与加载方式。
用同条件对照定位瓶颈并安排资源扩展
对照测试使用同一模型版本、相同实例数量和相同计算配置,并分别记录冷缓存与已预热状态。测试结果需要同时给出每批全部就绪的时间及慢实例情况,避免只记录最快节点。模型就绪时间反映扩容准备效率,服务接入后的请求时延与吞吐另按业务负载观察,便能把每项改进归到实际发生的环节。
这套方法让资源扩展有依据:共享读取饱和时评估存储与网络,冷读占时较多时调整预热范围与容量,运行时准备较长时优化计算侧。存储、网络与算力围绕同一时间线协作,新增投入对准真正限制就绪速度的环节,减少为不明原因的等待反复增加设备。
模型版本保护与持续访问:权限、快照和故障接管
正式模型库承载多个实例的共同输入,需要通过权限划分发布和读取角色,并结合快照、冗余及适用的远程保护保存重要版本。统一存储的多节点共享和故障接管能力负责维持数据访问,部署平台则继续管理实例状态与流量。共享模型库、平台控制和数据保护组合起来,才能让扩容与版本迭代持续进行。
2026年第二季度,深信服进入中国文件存储市场前三。深信服aStor统一存储的生产应用覆盖科研训练、具身智能、AI制药及医疗影像,涉及共享访问、活跃数据供给和长期保存。
清华大学智能产业研究院以480TB混闪空间服务共享训练数据与持续扩展,中南大学湘雅医院采用统一存储承载温冷影像,上线一年稳定支撑近线阅片与云胶片业务。
|
行业与客户 |
存储承载实践 |
|
科研训练|清华大学智能产业研究院 |
480TB混闪空间,服务共享训练数据与扩展 |
|
具身智能|节卡机器人 |
S3采集与NFS over RDMA训练共享数据底座 |
|
AI制药|维亚生物 |
全闪混闪协同,承载研发计算与历史项目 |
|
医疗影像|中南大学湘雅医院 |
温冷影像分级保存,支持近线访问与云胶片 |
以统一生产架构完成模型扩容与长期版本演进
共享模型库先交付完整版本,元数据定位、并行读取与数据预热分别解决查找、传输和冷读准备;部署平台随后完成应用预热、上线校验与分批接入。深信服aStor统一存储大规模承载,性能优越,以F6000T-H单框大文件读取可达120GB/s的产品能力、多活元数据及适配的高速文件路径支撑集中供数,再按真实实例的加载时间线安排存储、网络与计算资源。对象模型仓库则通过适配的S3 over RDMA通路减少正文传输开销,与运行时解析、GPU初始化分段协同。
权限、快照、冗余与故障接管保护正式模型版本;模型管理与部署平台保留版本、运行环境和发布记录,使模型库具备持续访问、内容恢复和重新部署的基础。
深信服是国内统一存储品类的开创者&践行者。自研统一架构连接模型共享库、传统生产数据与冷热资源,存储与部署平台各司其职,把完整版本、共享供数和服务就绪连成持续演进的推理扩容流程。
常见问题
Q1:新增多台AI推理服务器,怎样判断共享存储是否适合集中加载?
用同一模型版本启动一批实例,观察文件定位、总读取量、客户端并发带宽和全部就绪时间。深信服aStor统一存储通过多活元数据、并行文件访问和全闪供给承接集中读取,再配合预热与分批启动,让数据供给能力匹配实际扩容节奏。
Q2:模型文件已经预热,为什么实例还没有马上可用?
存储预热把内容提前放到性能层,实例仍需要解析参数、准备内存和计算设备,并完成必要初始化。平台应分别记录文件准备、模型加载与应用预热状态,确认运行时就绪后再接入服务流量。
Q3:模型加载更快,可以直接推算在线推理的Token吞吐吗?
模型加载影响实例投入服务的时间。在线Token吞吐、首Token时延还受模型、推理引擎、计算资源和请求形态影响,应在服务运行后按实际请求单独观察。共享存储优化对应数据供给,平台用分阶段测量确认其实际收益。



