具身智能研发持续从真实环境采集图像、视频、传感器记录和运行日志,再把处理后的数据送入模型训练。采集端关心稳定写入,算法团队关心共享读取,历史数据还要在后续任务中反复使用。当数据经过多套存储和服务器本地盘中转时,新增GPU并不意味着样本能更快到达,数据供给链路会逐步成为迭代效率的关键。
节卡机器人采用深信服aStor统一存储,将S3采集写入、原地数据处理和NFS over RDMA训练访问收敛到统一底座,并让已有混闪对象存储承担低频数据保存。项目从减少中转入手,进一步连接高速共享、数据发现和冷热协同,使采集能力、训练算力与存储投入能够共同演进。
具身智能持续采集:从多级中转转向共享训练数据
节卡机器人是协作机器人企业,产品应用于汽车、电子、半导体和新能源等行业。机器人训练采集同时产生多种数据,单台设备每分钟约产生1GB内容。随着采集设备和训练任务增加,数据规模持续向PB级增长,同一批记录既要用于当期训练,也可能成为下一轮场景补充和模型验证的输入。
原有链路先通过S3把采集数据写入对象存储。多台满卡A100服务器上的训练程序需要文件访问,数据处理后还要经NAS网关复制到一台GPU服务器的本地存储,再由这台服务器通过NFS向其他GPU提供共享目录。数据从到达到可供集群使用,需要依次经过对象存储、网关复制、本地保存和本地共享。
这条路径把共享服务压在中转服务器上:增加训练节点后,更多访问仍需经过既有共享出口;本地盘既容纳准备好的数据,又承担跨节点读取,容量和带宽难以随GPU同步增长。中转副本也占用额外空间与准备时间,原始数据已经完成上传,计算端仍可能等待可读取的样本。
重构后的数据链路保留采集端S3写入,让算法工具直接访问共享文件,把训练供数交给统一存储,并保留已有设备作为长期容量资源。机器人数据处理程序继续完成解包、整理和样本转换,存储负责把处理前后的数据及时送达各个环节。
统一数据服务:贯通S3采集与文件训练
全栈自研架构建立采集训练共享底座
深信服是国内统一存储品类的开创者&践行者。深信服aStor统一存储面向中高端企业生产与AI创新,以全栈自研架构提供块、文件、对象和向量数据服务,不基于Ceph架构。自研PhxDFS、PhxKV和分层数据路径将多类访问组织在统一底座上,使传统应用与新训练任务可以按各自接口使用数据,形成统一存储在企业AI中的实践路径。
节卡一期部署1台F6000T全闪设备,采用一框双节点、24块15.36TB SSD和EC20+2数据保护,建立采集与训练共享的性能层。S3写入统一存储后,处理程序在统一空间内完成加工,训练集群再通过NFS over RDMA访问所需目录,减少NAS网关和GPU本地盘承担的数据中转。
目录桶让S3写入直接衔接文件读取
目录桶与文件对象协议互通把对象键与目录文件关联起来。S3侧完成写入后,文件侧可以访问同一内容,算法团队沿用目录组织和文件读取方式,无须为了接口转换再复制一遍数据。共享访问同时结合身份、权限和写入责任配置,使采集、处理与训练在同一数据基础上协作。
协议互通解决的是同一内容如何被不同接口访问。压缩原始记录仍需由处理程序解包,训练样本仍需按照算法要求生成;这些产物可以直接保存在共享工作区,随后由训练节点读取。项目由此把必要的数据加工保留下来,把仅为跨存储交接而发生的搬运压缩掉,减少重复副本占用和相应的交接时间。

图1 节卡机器人以统一存储贯通S3采集、原地处理、NFS over RDMA训练及低频数据保存
采集写入与训练读取并行:多活元数据与高速传输协同供数
多活元数据与RDMA承担共享供数
机器人数据中既有连续视频,也有图像、传感器记录和标签文件。统一存储以全闪承接活跃数据,通过多活元数据服务分担目录查询、文件打开与属性操作,再通过并行数据路径为多个计算节点供数。小文件先要及时定位,大文件需要持续传输,两类动作各有对应的处理机制。
节卡训练侧采用NFS over RDMA访问共享数据。适配的服务器、驱动和网络让传输减少协议处理与内存复制开销,GPU服务器由原来的本地共享中转角色回到计算角色。多台训练服务器共同使用统一存储提供的目录,新增节点可以接入同一数据基础,无需先在每台本地盘准备完整副本。
持续采集与训练并行,缩短单批数据处理
采集持续写入时,已有训练任务也在重复读取样本。把高频输入、处理产物和训练输出按任务组织,可以看清各阶段的并发压力,并为网络与全闪安排相应余量。共享空间减少中间复制,高性能文件路径承担真正的计算读取,两者结合,才能让省下的数据准备时间延续到训练供给阶段。
在节卡项目中,新数据链路使单批数据处理时间缩短90%以上。收益来自采集、数据处理和训练访问整条路径的改善:数据少经中转,准备好的内容更快可用,计算集群通过共享高性能路径取得输入,为训练与验证留出更多时间。
统一数据发现与冷热流动:复用已有混闪资源
统一视图关联任务,按范围发现与预热
节卡同时纳管已有混闪对象存储,将不同存储中的元数据汇聚到统一视图。业务团队可按设备、采集时间、场景、数据类型和项目等维度寻找资料,再筛选所需范围并进行预热。数据发现从逐套存储查找转为围绕任务选择,项目中的训练数据查找与准备时间缩短99%。
元数据可见后,任务还需要取得对应的实际内容。对于已确定的训练范围,提前把数据加载到全闪,能够将回源传输安排在训练启动之前;对于临时使用的历史记录,则可按需加载,后续重复读取利用缓存。统一入口负责连接位置,训练平台负责确定本次任务真正需要哪些批次和样本。
全闪服务工作集,已有混闪承载历史数据
高频训练数据使用F6000T性能层,历史和低频数据保留或流动到已有混闪对象存储。后台形成有效的冷层副本后,热层再按策略释放缓存,逻辑路径继续保留,后续需要时可以重新加载。已有容量资源由此继续服务研发增长,全闪空间集中用于活跃工作集。
这种分工让扩容有不同方向:训练并发和活跃数据增加时补充性能资源,历史数据累积时扩展容量资源。节卡通过异构纳管与数据流动,让一期F6000T全闪承载活跃训练数据,并复用已有混闪对象存储保存低频数据。高性能资源由工作集需求决定,历史数据保留则利用既有容量,减少重复建设与跨系统准备工作。
故障接管与数据保护:支撑采集和训练持续访问
训练任务持续运行,数据链路还要承受设备或网络的局部故障。F6000T的一框双节点架构通过双控制器共享访问NVMe介质,单控制器故障时由另一控制器接管,避免把控制器退出等同于数据介质丢失并触发整批数据重构。EC数据保护则面向实际的数据冗余与故障容忍,与控制器接管共同保障访问连续性。
节卡现场测试中,链路故障达到秒级恢复,控制器故障时业务保持运行、数据无需重构。这些能力减少存储访问中断对长时间训练的影响;训练任务的检查点保存、续跑和结果确认仍由训练框架与平台配合完成。存储持续提供数据,计算平台管理任务进度,两端共同维持研发节奏。
共享采集和训练也需要明确访问范围。按项目管理账号与目录权限,能够减少不同团队之间的误写;为关键数据配置快照与适用的远程保护,可以保留历史状态及恢复路径。冷热分层决定数据放在哪一类资源中,数据保护则负责在异常时保住可恢复内容,二者共同支撑长期使用。
从具身智能实践延伸到多行业生产承载
节卡的项目展示了统一存储在具身智能链路中的完整作用:采集端和训练端保留所需接口,共享内容减少交接复制,活跃任务获得全闪供给,历史数据继续使用已有混闪资源。2026年第二季度,深信服进入中国文件存储市场前三,其生产实践同时覆盖AI研发、科研计算和医疗影像等不同负载。
|
行业与客户 |
存储承载实践 |
|
具身智能|节卡机器人 |
S3采集与NFS over RDMA训练共用全闪底座,复用混闪对象存储 |
|
AI制药|维亚生物 |
全闪混闪协同支撑模型训练、分子模拟和历史研发留存 |
|
自动驾驶|魔视智能 |
3.8PB总授权容量承载路采数据,改善批量解压准备 |
|
医疗影像|中南大学湘雅医院 |
温冷影像分级保存,持续支持近线阅片与云胶片 |
以统一生产底座支撑持续采集、并行训练与长期积累
深信服是国内统一存储品类的开创者&践行者,节卡机器人从S3采集到文件训练的重构体现了这一路线:全栈自研架构与目录桶把两种接口连接到同一数据基础,原地加工和共享读取减少网关、GPU本地盘之间的中转,让采集与训练可以持续协作。
大规模承载,性能优越,由全闪、多活元数据和NFS over RDMA的并行供数支撑。节卡项目单批数据处理时间缩短90%以上,统一视图与预热进一步使训练数据查找和准备时间缩短99%。全闪承担活跃工作集,已有混闪保留低频数据,性能与容量围绕不同增长压力持续投入。
节卡现场测试中,链路故障秒级恢复、单控制器故障时业务持续运行。控制器接管、数据冗余、权限与恢复安排保障持续访问,训练平台管理检查点和任务进度,共同支撑机器人训练与长期数据积累。
常见问题
Q1:具身智能训练使用存储,为什么要同时看采集与训练?
机器人采集通常持续写入,训练则多节点反复读取,数据还可能跨对象和文件接口交接。深信服aStor统一存储在节卡项目中用共享底座连接S3采集、原地处理和NFS over RDMA训练,既减少中转,也以高性能访问承接两端并发。
Q2:S3写入后能被NFS访问,是否就能直接省去样本加工?
协议互通让同一内容通过不同接口访问,省去为了切换接口而进行的复制。解压、传感器数据整理和样本转换仍由处理程序完成,产物可以保存在统一工作区并直接供训练使用,使必要加工和高效交付顺畅衔接。
Q3:已有混闪对象存储能否继续用于机器人训练平台?
可通过受支持的接口纳管并参与数据流动,作为历史和低频内容的容量资源。活跃训练数据在全闪供给,任务需要的历史范围提前预热或按需加载,节卡已用这一方式连接F6000T与既有混闪对象存储。



