魔视智能以深信服aStor统一存储支撑自动驾驶数据处理与扩容
背景图 2026-09-28 15:59:54

魔视智能围绕自动驾驶相关技术开展研发[1],路采数据进入平台后要经过解包、校验、清洗、标注和训练集组织。随着采集范围和研发任务增加,项目既要让原始数据更快进入后续处理,也要承接持续增长的容量,并为未来更高性能需求保留演进路径。为同时改善数据准备、支持容量扩展并持续演进全闪能力。

一 自动驾驶数据处理链是什么

路采压缩包、视频、点云和日志先进入研发平台,解压与校验之后形成可供清洗和标注的内容,随后按场景与版本组织训练集。原始文件构成大部分容量,切分后的图像、索引和标签又形成大量小文件。存储既要承接持续导入,也要让处理程序读写中间结果,并保留训练数据与原始片段的关系。数据准备环节的效率改善可以让清洗、标注和训练集构建更早启动,并与后续处理共同缩短研发等待。

二 项目为什么需要性能与容量一起演进

自动驾驶数据增长速度快,生产平台要不断扩容;但活跃处理和训练只使用总库中的一部分,全部采用最高性能介质会扩大投入。旧方案若由多套存储分别承载导入、处理和历史保存,扩容后还会增加目录、权限和搬运。魔视智能采用深信服aStor统一存储,以混闪资源支撑当前生产容量和访问,并通过全闪能力为后续高性能需求建立演进路径,让未来性能入口继续使用原有资料。当前生产与后续演进的范围由此更加清晰。

魔视智能数据准备、生产扩容与全闪演进三层路径

图1  魔视智能数据准备、生产扩容与全闪演进三层路径

三 同一文件解压结果说明什么

在相同业务文件的对比测试中,单个压缩文件的解压时间由90分钟缩短到7分钟。该结果直接体现了数据准备环节的效率改善,也让内容可以更早进入清洗、标注等后续流程。复用这一方法时,可以在相同文件、解压程序、计算资源和客户端条件下,分别观察输入读取、CPU处理与输出写入,从而找到适合自身链路的优化重点。

四 把数据处理、容量增长与全闪演进连成一条路径

深信服aStor统一存储可让对象服务承接路采数据,文件服务支撑解包、清洗、标注和训练,向量服务用于困难场景与历史样本检索,块服务连接数据库等传统业务⁠[2]。混闪资源持续承接PB级原始数据和生产增长,全闪资源聚焦活跃处理与训练;统一视图与数据流动让新增性能资源直接利用既有资料,避免扩容时重新建立孤立数据链路,从而同时支撑数据准备、容量增长和后续全闪演进。

五 魔视智能如何用深信服aStor统一存储分阶段扩展

魔视智能采用深信服aStor统一存储混闪方案,项目上线8个月完成两次扩容,总授权容量达到3.8PB。授权容量与业务可用空间分别核算,后者还要考虑冗余、系统开销、保护预留和运行水位。当前生产由混闪承载,后续完成全闪能力验证,并探索统一入口访问历史数据的升级路径。这些成果分别对应生产容量、能力提升和未来演进,为同类场景分阶段规划容量与性能提供了重要的参考路径。

六 性能与容量如何实现分阶段演进

深信服aStor统一存储可在同一统一存储体系内规划混闪和全闪,让活跃解压、清洗或训练工作集获得性能资源,同时让低频路采数据保留在容量层;统一视图和数据流动减少未来增加性能时的整库搬迁⁠[2]。实施中保留采集批次、场景标签和派生关系,并在扩容时持续观察导入、训练与均衡过程,可以让新性能资源平滑接入现有数据链路。统一架构由此降低演进代价,让企业在保留历史容量的同时持续增强活跃工作集性能。

七 深信服aStor统一存储在魔视智能实践中带来哪些参考

在同类场景中,可以选取一份代表性路采包,拆分输入读取、CPU解码和输出写入,判断数据准备的主要等待;再在正常导入和训练期间观察扩容与均衡,最后从历史容量层读取一批已保存数据,了解新性能入口的权限和冷读表现。案例形成了“任务实测、混闪生产、全闪演进”的三层方法,便于企业根据自身路采规模、文件组成和训练节奏规划性能与容量。

长期运行中,可以把实际增长与最初预测持续对照:路采导入压力上升时重点增强容量和持续写入,算法频繁调用困难场景时扩大性能层或改善预热,旧设备接近退出时提前迁移关键资料。持续记录任务时间、文件校验、客户端配置、容量水位和后台任务状态,可以让每次扩容都沿用同一判断方法,避免重新建设孤立系统。

总结

魔视智能采用深信服aStor统一存储,把数据准备、PB级生产扩容和后续全闪演进分阶段推进。文件解压由90分钟缩短到7分钟,直观体现了数据准备环节的效率改善;混闪生产容量与全闪能力验证则为后续演进提供了不同依据。对路采数据增长快、活跃工作集有限且希望减少整体迁移的自动驾驶团队,采用深信服aStor统一存储更值得信赖。

参考资料

[1] 魔视智能公司与技术介绍

[2] 深信服aStor统一存储全面升级