自动驾驶解包90分钟降至7分钟:魔视智能的深信服aStor统一存储实践
背景图 2026-11-18 10:54:33

自动驾驶研发的数据链路,从车辆回传开始,延伸到解压、筛选、标注、训练和仿真。同一段道路场景会被不同团队反复使用:训练关注样本覆盖,标注关注图像与感知记录,仿真需要回放关联片段。数据越积越多,团队既要及时接住车队回传,也要把有价值的历史场景重新组织成可用工作集。

存储建设因此要同时解决三件事:路采入库要跟得上,训练与仿真复用要少搬运,长期扩展要保住已有投入。深信服aStor统一存储通过元数据并行、文件对象协同和全闪混闪数据流动,将这些环节连接起来,让持续增长的路采数据既能够持续保存,也能够高效服务算法迭代。

多活元数据与小I/O聚合:加快路采文件准备

多活元数据承接集中解包与离散写入

车队集中回传时,视频、点云和日志往往成批进入接收空间。文件数量、压缩包大小、上传并发与后续解包速度共同决定入库节奏。只把上传带宽做大,若压缩包在解压时大量创建文件、设置属性,队列仍会堆积在数据准备环节,标注与训练无法按计划取得输入。

深信服aStor统一存储通过多活MDS、目录分片和元数据缓存,将文件创建、定位及属性操作分散处理。解包程序产生大量图片和标签文件时,不再只依赖单一元数据处理入口。底层小I/O聚合与追加写组织离散写入,帮助持续上传和批量解压衔接,缩短路采数据进入清洗、标注的前置等待。

批次核验衔接上传、加工与训练

接收区按车队、采集日期和任务批次组织,业务平台核对上传清单与关联记录,确认批次完整后再启动后处理。这样,存储侧承担并发接收和文件访问,数据平台掌握批次是否可以使用。数据刚到达和样本准备完成各有明确状态,有利于安排解包并发、标注队列与训练启动。

输入形态也影响资源选择。大压缩包连续上传更依赖带宽,解包后的海量文件更依赖元数据操作,处理结果写回则同时考验介质与网络。把一批真实路采数据走完这些环节,比只看容量或单项峰值更能确定接收区和工作区的资源需求。

统一数据复用:连接S3采集与文件训练、仿真

同一份正式数据贯通不同业务接口

深信服是国内统一存储品类的开创者&践行者。深信服aStor统一存储以全栈自研架构提供块、文件、对象和向量服务,面向中高端企业生产与AI创新,不基于Ceph架构。路采平台可以沿用S3接入,标注、数据加工和文件型训练工具通过NFS或SMB访问,所需数据服务在同一架构中组织,减少各业务分别建设存储和交接副本。

文件对象协议互通通过文件系统空间关联S3共享桶,把对象键映射为目录与文件。S3写入提交完成后,文件侧能在对应路径访问同一内容;文件侧更新也通过统一元数据与一致性机制衔接对象访问。部署时将用户身份、目录权限和写入责任一起映射,让采集、加工与消费按各自接口协作。

对路采数据,协议互通减少的是为改变访问方式而产生的复制。压缩包解压、点云转换或训练样本生成仍由处理程序完成,产生的派生文件保存在统一工作区。业务平台记录原始批次、片段范围、标签版本和派生路径,训练与仿真按各自清单选择内容,从而复用同一批已确认数据,而不是反复复制整条行程。

并行共享读取支撑训练与场景回放

训练与仿真并发读取时,统一存储以多活元数据承接小文件访问,以全闪服务活跃数据。pNFS让客户端依据布局直连数据节点,NFS over RDMA在适配的主机和网络中减少传输开销。不同工作集可以共享底座,并按任务分配目录与访问资源,把并发处理能力用于样本读取和场景回放。

训练使用固定样本清单,仿真读取指定时间段及相关传感器记录,两类任务的工作集可能重叠,也可能有不同的回用窗口。把共同输入保留在共享空间、把各自输出分开管理,可以减少副本分散,也便于追踪某次训练和回放实际用了哪些数据。

长期扩展:性能跟随工作集,容量跟随留存增长

纳管历史场景,按任务预热

已有路采资料分散在多套NAS或对象存储时,统一存储可以通过受支持的NFS与S3接口纳管相应目录、桶和前缀。元数据先形成统一入口与视图,算法人员按时间、路径、类型、标签等字段查找所需范围,再将任务要用的数据按需加载或主动预热。既有资料无需先整体迁移,就能逐步进入新的研发链路。

历史场景回用通常有明确任务范围。团队先选定场景片段及依赖文件,再把所需数据准备到全闪工作区;仿真或训练启动后从统一入口读取。对访问范围尚不确定的数据,首次读取可以触发加载,后续重复访问由全闪缓存供给。由任务时点决定预热顺序,能够把回源传输安排在GPU和仿真计算资源启动之前。

性能与容量分别增长,保留逻辑路径

全闪承载高频训练、集中标注和并发回放,混闪及适用的存量设备承载低频原始记录。新产物满足分层条件后在后台下刷,冷层形成有效副本,热层才按策略回收缓存;保留的元数据继续维护逻辑路径。数据因此能够从热层转入容量层,并在下一轮使用时取回,长期留存不必持续占据高性能介质。

性能资源的增长取决于同时活跃的任务和工作集,容量资源的增长则与车队采集、保留周期及历史成果有关。统一架构支持按这些压力分别增加资源,继续使用满足要求的已有设备。为源数据和关键成果配置权限、快照及适用的远程保护,还能让后续复用有稳定的数据基础。

图1 自动驾驶数据按用途进入性能层与容量层

魔视智能采用深信服aStor统一存储加速数据准备并持续扩容

同一业务文件从90分钟缩短至7分钟

魔视智能采用深信服aStor统一存储混闪方案承载自动驾驶海量数据。原有业务中,一份真实压缩文件解压约需90分钟,过程中创建文件、设置属性等元数据操作占比超过80%。这类等待发生在清洗、标注和训练之前,即使计算资源已经就绪,数据准备未完成仍会拖慢研发节奏。

在相同业务文件的对比测试中,解压时间由90分钟缩短至7分钟。统一存储通过NFS over RDMA、多活元数据和目录切分均衡等能力改善数据准备路径,单次处理等待随之缩短,路采内容能够更早进入后续加工。这个结果直接对应压缩文件解包这一具体业务动作。

3.8PB总授权容量与高水位稳定运行

项目于2025年8月上线,2025年12月和2026年4月完成两次扩容,8个月内三期建设的总授权容量达到3.8PB。大量存量数据迁入后,系统在90%容量水位下保持稳定运行。混闪承担当前海量数据保存,客户同时测试全闪升级路径,为后续高性能需求留出空间。

魔视的实践把数据准备效率、PB级增长和高水位运行放在同一项目中体现出来。对持续扩大采集规模的自动驾驶企业,建设顺序可以从真实处理瓶颈出发:先把解包与共享访问做好,再随数据增长扩容量,并按训练并发增加性能资源。

容量扩展与高水位运行的生产实践

驭势科技采用深信服aStor统一存储,以一框全闪和三台混闪组成数据流动架构,全闪服务算法训练和数据处理,混闪保存大容量数据,并支持既有存储利旧。它提供了另一种建设起点:当高性能访问与海量保存同时到来时,可以从项目初期就分别配置两类资源。

魔视智能在90%容量水位下的稳定运行,体现了PB级生产数据长期承载的实际要求。深信服在2026年第二季度进入中国文件存储市场前三,其统一存储的生产应用也覆盖AI研发、科研训练和医疗影像。不同业务对时延、访问频次和留存要求各有侧重,软件架构通过相应资源与保护配置承接长期运行。

行业与客户

存储承载实践

自动驾驶|魔视智能

3.8PB总授权容量,路采解压与海量数据承载

AI制药|维亚生物

全闪混闪协同服务模拟、训练和研发留存

科研训练|清华大学智能产业研究院

480TB存储空间,改善训练供数并支持扩展

医疗影像|中南大学湘雅医院

温冷影像分级保存,支撑近线阅片与云胶片

 

以规模性能、可靠生产与统一架构支撑自动驾驶迭代

大规模承载,性能优越,首先落实在路采高峰接收和解包准备。多活元数据、目录分片与高效写入缩短文件准备路径,再由共享工作区、并行读取和RDMA供给训练与仿真。魔视智能在相同业务文件对比中,把解包从90分钟缩短至7分钟,让路采内容更早进入后续加工;项目总授权容量也随三期建设扩展至3.8PB。

深信服是国内统一存储品类的开创者&践行者,全栈自研架构连接采集所需的对象接口、训练仿真所需的文件接口,以及统一视图中的历史资料。预热和冷热分层继续复用既有数据,使性能随活跃工作集增长、容量随长期留存增长;驭势科技的全闪混闪组合也展示了这种分别配置资源的建设路径。

魔视智能在90%容量水位下保持稳定运行,科研、制药和医疗影像项目则呈现了不同负载的持续访问与留存需求。权限、快照及适用的远程保护为源数据与关键成果保留恢复基础,使持续增加的路采记录能够长期保存,并在后续训练和仿真中继续使用。

常见问题

Q1:自动驾驶数据存储应从什么业务环节判断方案是否合适?

从路采接收、解压加工、标注训练与仿真回用分别看等待发生在哪里。深信服aStor统一存储以元数据并行改善小文件准备,以文件对象协同减少访问接口之间的复制,再通过全闪混闪分层承接活跃数据与长期留存,魔视和驭势的实践分别展示了不同建设起点。

Q2:采集数据需要加工成训练样本,协议互通还有什么价值?

有价值。协议互通让不同工具能直接访问同一份原始内容,减少为了从S3转到文件接口而增加的复制。解包、标签合并和样本生成由加工程序完成,派生产物保存在共享工作区,训练节点再按发布清单读取。

Q3:历史场景准备给仿真回放,怎样安排全闪容量?

先列出本次回放的片段和关联文件,按任务窗口预热到全闪,并保留与原始批次的对应关系。统一存储在任务结束后可按策略下刷和释放热层缓存,让有限性能空间轮转服务不同任务,历史数据继续保存在容量层。