DDN存储-针对自动驾驶多元化场景的数据存储解决方案

发布时间:

2022-05-17 00:00

 

  在DDN公司4月26日举办的自动驾驶研讨会上,DDN中国高级售前技术总监李凡先生做了《DDN存储助力数据驱动自动驾驶技术》的主题报告,他分享了自动驾驶场景下AI数据密集型业务对存储系统的挑战,DDN针对自动驾驶不同场景打造的一体化数据存储解决方案,以及DDN的用户如何使用DDN存储的案例。以下是李凡演讲的精彩摘要。

  自动驾驶场景中存储面临的挑战

  李凡首先分析了自动驾驶场景中存储面临的挑战,包括 (1) 海量数据的存储、共享和传输;(2) 在数据中心, 很多企业都使用 GPU 对数据进行分析,模型训练以及仿真测试。在训练中,由于 GPU 反复读取数据,因此需要存储提供高 IOPS 和低网络延迟的文件 IO 访问,这样才能加速训练。(3) 从成本角度看,对存储系统需要进行综合的成本考虑。很多自动驾驶企业,尤其是国内的公司,他们的数据积累并不是一蹴而就的,怎么去评估存储扩容成本是个难点。(4)数据合规性以及确保数据资产的价值。

  

 

  一体化的数据存储解决方案

  针对这些挑战和和自动驾驶行业的多元化场景,比如数据采集与流转,模型训练,海量安全存储和大数据处理等,DDN打造了一体化的数据存储解决方案来帮助提高自动驾驶开发效率。DDN的方案主要包括三部分:

  (1) 在模型训练方面,DDN提供了基于AI/HPC深度优化的高性能NVMe网络共享文件存储A3I系列的AI400X2。AI400X2与其他传统文件存储或分布式存储的重要区别在于:它是经过存储端和计算端 “双端优化” 的产品。

  

 

  

 

  (2) 针对海量数据安全存储和高速大数据处理,DDN提供了可安全存储 EB 级数据,高性价比的网络共享文件存储 ES 系列。采用混合介质的 ES 系列产品可以为数据收集、数据处理、仿真模拟评测等数据系统提供存储支持。

  虽然自动驾驶涉及海量数据,但是很多自动驾驶企业的数据规模并不是一蹴而就的。对于这种情况,可以从小规模开始建设,然后通过DDN模块化的设计去做纵向和横向扩展。例如,ES7990X在20U空间里可以纵向扩容到8PB。ES18KX在2个机柜空间里可纵向扩容到33PB。如果觉得性能和容量还不够的话,由于DDN存储是分布式架构,可以无缝的横向扩展,命名空间没有上限。例如,每增加一台ES400X2或AI400X2, 性能就增加90GB/s。DDN存储在扩展方面重要的特点是:性能和容量均线性增长;海量数据无缝扩容,对前端业务没有影响。

  

 

  (3) 在数据服务方面,DataFlow软件可用于海量数据的流转,比如通过DataFlow在同一区域里或不同区域之间做数据的流动,包括拷贝,移动或同步。通过Dataflow还可以把需要备份或归档的数据送到第三方的云端或者带库。Data Service (DS)和IntelliFlash (IF) 系列主要用于高速数据的摄取服务,它是支持多协议的。

  DDN自动驾驶用户案例

  DDN 在国内外已经拥有不少自动驾驶领域用户,包括汽车共享公司、汽车制造商、货运和物流公司以及智能驾驶算法/软件解决方案开发商。李凡选择了3个 DDN 的用户分别介绍了他们是怎么使用 DDN 存储的:

  造车新势力Vinfast是东南亚发展特别快的汽车品牌之一,旗下的Al部门VinAI使用了SuperPOD解决方案做模型训练,DDN为SuperPOD提供了存储部分。Vinfast在本地其实没有采集数据,而是从欧洲和美国的公路收集训练数据集并把新数据快速传输到SuperPOD里,每24小时对模型进行再训练。从整体的结果来看,深度神经网络(DNN)的训练加速了10倍。目前,Vinfast已快速开发出了十几种AI模型,实现了L3自动驾驶功能。未来Vinfast仿真平台出来之后,DDN也会提供配套的存储部分。

  美国的一家造车新势力采用了开源数据集加自采数据集进行研发的方式。该公司早期采用AWS公有云,随着业务发展开始下云,但并没有彻底放弃云上业务。后来,它在本地建设的数据中心采用了DDN全闪和混闪的存储方案,配合IB网络及高速以太网,构建了一个混合云的场景。从整体自动驾驶技术的协同研发效率来看,混合云场景的效率比过去提高了40%。

  一家传统国际汽车制造商拥有端到端的自动驾驶开发数据流:前端采集的数据进入采集工作站进行处理,处理之后的数据汇集到数据中心。在数据中心,根据数据的冷热程度再做一些分层的处理。该汽车制造商在早期评估中就认识到其数据量太大,使用高速公有云的成本太高,后来采用了私有云的方式:它在全球建设了多个数据中心,包括中国的数据中心,数据中心以类似于云服务的方式对外提供服务。私有云数据管理的架构在安全合规上也很符合客户的要求。每个数据中心的存储都采用NVMe闪存加HDD硬盘加IB网络的方案,满足性能、容量以及成本方面的需求。根据初期规划,一次性并不购买很大的容量,而采用按需扩容的方式。目前,多站点已采购超过400PB可用容量并实现了站点间高速数据流转。

  

 

  李凡总结了DDN存储解决方案的四个特点来结束他的报告:(1)经过多方面功能优化,可以加速计算,使企业AI数据中心获得高的效能。(2)除了产品,DDN也提供专业的存储产品服务,确保客户快速上线。海量数据管理特别简单,确保客户没有运维压力。(3)DDN积累了丰富的实践经验,可以面向任意规模的存储需求。(4)高性价比,总体拥有成本(TCO)很低。

相关新闻