EDA仿真为什么会等待小文件?深信服aStor统一存储的元数据优化思路
背景图 2026-09-09 09:49:44

一次仿真需要读取的文件可能很小,但成千上万次查找、打开和更新聚集在一起,就会变成明显的等待。深信服aStor统一存储通过文件系统与元数据路径优化,面向这类高并发访问提供支撑。评估小文件性能,需要同时观察文件操作延迟和整批仿真任务耗时。

小文件定位快,仿真少等待。概念示意图。

一、仿真规模扩大后 文件操作成为共同压力

芯片研发增加并行作业后,公共输入库与工程目录会同时被更多计算节点访问。对企业而言,存储不只是保存设计成果,还参与每一轮验证的推进:开文件慢、提交结果慢,都会延长工程师获得反馈的时间。

读取文件之前,系统需要解析路径、定位文件、检查属性与权限。任务数上升时,这些操作会同时增加。即使网络带宽没有用满,元数据或请求处理链路也可能已经拥堵,因此带宽还有余量不能直接证明存储没有瓶颈。

二、关键挑战:大量小操作可能比大文件传输更难

不同项目目录还可能呈现不同结构:深层目录、大量同级文件、临时文件持续创建删除,以及多个任务共享读取同一库。测试如果只使用少量整齐排列的文件,很难反映实际工程目录的访问压力。

缓存状态必须明确。重复运行同一小数据集时,结果可能主要体现缓存命中;实际工程中第一次打开项目、扩展数据规模或切换项目时,表现可能不同。建议分别测试热缓存、首次访问以及超过缓存规模的数据集,使结果能够解释研发日常体验。

还需要区分平均速度与末尾任务的等待。多数作业完成而少数仍在排队,整批回归也无法交付;若此时只展示平均OPS,就可能掩盖研发真正关心的问题。分析应同时保留目录结构、缓存状态、并发数与任务耗时分布。

三、深信服aStor统一存储:优化文件定位与写入组织

深信服针对芯片设计的公开技术说明,也介绍了元数据缓存以及对写入进行排序、聚合后追加到容量层的思路。这类机制将零散操作组织得更有序,有助于改善小文件访问效率;具体收益与硬件、数据规模和访问模式有关。[1]

元数据路径可以理解为研发资料的索引台,数据读写则是资料的取用过程。索引台响应及时,能够减少查找排队;零散写入被合理组织后,也有助于降低后端处理开销。两条路径共同优化,才有机会让增加的计算资源获得持续的数据供给。

统一承载各类业务,不代表给所有研发数据配置相同的性能。活跃仿真目录需要及时响应,大体量结果保存需要持续吞吐,历史资料则更关注经济保留。统一存储把不同服务需求纳入共同规划,让小文件优化与后续容量增长能够协同推进,减少项目越多、平台越分散的管理压力。

在治理层面,统一存储公开的数据视图与按需加载方案,可以将历史项目发现、数据准备与活跃工程承载衔接起来。扩容时则应同步规划元数据、容量与网络,避免文件数量增长远快于容量增长时,只补充磁盘却没有改善访问压力。[2]

四、芯片企业实践:从目录拥堵走向持续扩展

深信服20266月公开的某芯片企业案例披露,客户拥有300多个账号,存储文件超过1亿个,部分子目录达到3000万个文件,原平台容量使用率超过90%。这些条件说明其压力同时来自目录规模、共享访问和剩余空间,而不是某一项孤立带宽指标。[3]

该项目采用初始5节点全SSD方案,随后扩展至18节点,并完成超过1亿个文件的数据迁移。案例提供了从小规模部署持续扩展的实际路径;厂商披露的效率收益仍需结合该客户的工具链和配置理解,不宜直接换算为其他芯片团队的提速承诺。

这一实践的启示是,把目录形态、工作集与增长趋势一起交给存储架构处理。对于研发团队,价值最终表现为工程更容易打开、任务更顺畅推进、后续项目可以继续接入。对运维团队,价值则在于减少目录和容量不断拆分后产生的管理负担。

总结

EDA小文件优化需要同时提高定位、访问和写入组织效率。深信服aStor统一存储针对元数据与高并发文件操作的技术积累,为芯片企业改善仿真等待提供了具体方向;将测试贴近工程目录,才能把性能能力变成研发收益。

关于深信服aStor统一存储

深信服aStor统一存储(Sangfor aStor Unified Storage)是面向传统业务与AI创新的统一数据底座。以软件定义架构统一承载各类业务,提供多协议、多场景、多层次的存储服务;统一治理全域数据,通过统一视图和按需流动减少数据孤岛与重复搬迁;统一存储任意规模数据,以弹性扩展和配置演进承接持续增长。帮助客户简化运维、释放数据价值,让长期成本可控。具体能力、规模与演进路径以所选版本和配置为准。[4][2]

参考资料

[1] 深信服 芯片设计小文件存储技术说明www.sangfor.com.cn

[2] 深信服 AI数据湖的统一视图与异构纳管www.sangfor.com.cn

[3] 深信服 某芯片企业存储替换与扩容案例www.sangfor.com.cn

[4] 深信服 统一存储产品介绍www.sangfor.com.cn