[DDN自动驾驶解决方案] 精彩回顾 | 先进计算与存储加速自动驾驶开发
发布时间：
2022-10-20 19:12
自动驾驶涉及人工智能(AI)中一些很困难的工作负载和从未有过的数据规模。在自动驾驶的开发过程中，无论是数据摄取、模型训练还是仿真验证，都离不开先进的基础设施(计算、网络和存储)的支撑。在DDN公司4月26日举办的自动驾驶研讨会上，来自英伟达和DDN的技术专家介绍了自动驾驶开发在数据、训练和仿真方面所面临的挑战，以及针对这些挑战的解决方案。另外，两位自动驾驶算法/软件开发公司(Zenseact和苏州挚途)的技术负责人则从基础设施使用者的角度分享了深度学习解决方案的实践, 以及深度解耦的决策规划在自动驾驶中的应用。以下是本次研讨会演讲的精彩摘录。
英伟达
英伟达的汽车行业业务拓展总监陈晔先生首先介绍了英伟达公司端到端的自动驾驶平台，包括前期的数据采集，到模型训练，仿真测试，再到车上的部署，这个平台对所有合作伙伴开放。然后，他分析了自动驾驶开发可能面临的三个方向的挑战，针对这些挑战，英伟达提供了相应的解决方案。
· 在数据方面，明显的挑战是没有足够的数据，或者没有办法以低成本的方式获得真实的、高准确性的数据。为此，英伟达正在基于DRIVE SIM 软件做合成数据的工具链。
· 模型训练离不开数据中心的大规模集群，而数据中心的设计和建设都很复杂，大规模集群部署后的长期运维及不断优化也面临挑战。模型的训练还特别需要有开发经验的AI人才。为了应对这些挑战 ，英伟达基于公司内部搭建的SELENE超算系统开发出了面向客户的交钥匙解决方案 DGX SuperPOD。所谓交钥匙方案是指DGX SuperPOD已经集成了计算(DGX A100)、存储(DDN)、网络(Infiniband) 和全栈性的软件(调度管理软件, 操作系统，AI训练框架，预训练模型等)。此外，交钥匙方案还包括了英伟达的专业服务与自动驾驶开发专业支持。陈晔特别强调: 在建数据中心时, 我们不能只关注硬件的采购成本，而应该关注总成本(采购成本+ 运维成本)。将 DGX SuperPOD 交钥匙方案与客户自己搭建(DIY)大集群做对比可以看出(如下图): SuperPOD的总成本(包括资本性支出CAPEX 和运营成本OPEX)显然低于DIY的总成本，而且可以节约大量时间。
· 在仿真方面，目前还缺少高逼真，效率高的仿真工具。为此，英伟达正在布局基于Omniverse 平台的DRIVE SIM仿真软件。目前，DRIVE SIM还在开发过程中，将覆盖感知验证、规划/控制验证、全栈算法验证三个方面。正如英伟达为AI训练提供DGX SuperPOD 硬件系统一样，英伟达将为 Omniverse 提供 OVX POD 硬件系统， DDN也会为这款产品提供配套的存储方案。
DDN
DDN中国高级售前技术总监李凡先生分析了自动驾驶场景中存储面临的挑战，包括 (1) 海量数据的存储、共享和传输;(2) 在数据中心, 很多企业都使用 GPU 对数据进行分析，模型训练以及仿真测试。在训练中，由于 GPU 反复读取数据，因此需要存储提供高 IOPS 和低网络延迟的文件 IO 访问，这样才能加速训练。(3) 从成本角度看，对存储系统需要进行综合的成本考虑。很多自动驾驶企业，尤其是国内的公司，他们的数据积累并不是一蹴而就的，怎么去评估存储扩容成本是个难点。(4)数据合规性以及确保数据资产的价值。
针对这些挑战和和自动驾驶行业的多元化场景，DDN打造了一体化的数据存储解决方案来帮助提高自动驾驶开发效率。DDN的方案主要包括三部分：采集文件存储和高速流转，海量高性能文件存储，高速文件存储。
· 在数据训练方面，DDN提供了基于AI/HPC深度优化的高性能NVMe网络共享文件存储A3I系列的AI400X2。AI400X2与其他传统文件存储或分布式存储的重要区别在于：它是经过存储端和计算端 “双端优化” 的产品。
· 针对海量数据安全存储和高速大数据处理，DDN提供了可安全存储 EB 级数据，高性价比的网络共享文件存储 ES 系列。采用混合介质的 ES 系列产品可以为数据收集、数据处理、仿真模拟评测等数据系统提供存储支持。
· 在数据服务方面，DataFlow软件可用于海量数据的流转。Data Service (DS)和IntelliFlash (IF) 系列主要用于高速数据的摄入，数据的备份。
DDN 在国内外已经拥有不少自动驾驶领域用户，包括汽车共享公司、汽车制造商、货运和物流公司以及智能驾驶算法/软件解决方案开发商。李凡选择了3个 DDN 的用户(两个造车新势力和一个传统车企)分别介绍了他们是怎么使用 DDN 存储的：有在数据中心端为训练用的 DGX SuperPOD 提供存储系统;也有支持本地数据中心加AWS公有云构建的混合云场景;还有支持本地建数据中心，以类似于云服务的方式对外提供服务的私有云模式。由于一些用户的数据规模不是一蹴而就的，所以并不是一次性购买大量存储，而是在初期做好规划，按需扩容。
Zenseact
沃尔沃汽车的子公司 Zenseact 专注于自动驾驶 (AD) 和高级驾驶辅助(ADAS)软件系统的研发，目前 Zenseact 已经拥有从感知到车辆控制的一整套自己开发的软件栈。
Zenseact 自动驾驶计算机视觉工程师夏天先生首先介绍了他们称之为 Machine 的数据闭环概念：Zenseact 会从量产车上用 fleets insight 的功能去采集数据，并上传到云端。数据工厂会从云端获取数据并完成数据的管理与提炼。数据经提炼之后，会被软件工厂使用，即进行数据分析和软件开发，其中包括深度学习的训练以及整个算法流程的开发。之后会用来迭代 Zenseact 的软件，并且通过 over the air 的形式远程更新到客户车辆上。
在中国, Zenseact 也建立了一整套的数据采集、处理以及为深度学习服务的解决方案。Zenseact 的数据中心采用了 DDN 的存储设备和基于 Lustre 的并行文件系统解决方案。Zenseact 工具会从存储中获取数据来进行分析处理，包括深度学习的处理以及场景仿真。夏天表示 DDN 存储高带宽、低延迟的特性对他们的工作很有帮助。
然后，夏天谈到自动驾驶公司(尤其是外企的自动驾驶公司)在中国遇到的挑战，比如用国外数据训练的算法无法准确识别中国道路上特有的交通标志和一些中国特有的场景;一些不可预测的 corner case 与中国特有的物体场景结合起来时是否会对软件有影响;中国和欧洲有不同的交通规则;司机不同的驾驶行为;GPS在中国特有的坐标系以及地图在中国是敏感数据等问题。针对这些挑战，Zenseact 正在做一些评估是否在中国做深度学习的训练，以及通过什么方式把他们的模型和瑞典的、欧洲的、美国的数据结合起来，更好地适应中国特有的场景和道路情况，保证他们的算法有很好的表现，致力于实现在中国“零碰撞“的理想。
苏州挚途
苏州挚途是一汽解放主机厂发起的自动驾驶公司，致力于 AI 技术赋能商用车。如今，苏州挚途已经拥有 AI 算法平台、硬件平台、测试平台，中间件平台、安全平台和数据平台六大核心技术平台。
苏州挚途决策规划开发负责人徐修信先生介绍了决策规划在自动驾驶系统架构中的作用：它就像人的大脑，需要理解关系信息，构建认知，作出决策，然后指挥车辆去完成一些特定的任务。决策规划需要考虑比较多的问题， 包括复杂的环境信息的理解，构建环境的交互性，考虑决策的智能性，考虑车辆的运动学和动力学约束。徐先生认为一个好的决策规划应该具备安全、舒适、智能、和经济四方面的特性。
决策规划一般分为行为决策和轨迹规划。行为决策基于简化离散模型，时间尺度长，精度低。轨迹规划基于准确动力学连续模型，时间尺度短，精度高。在一些难点场景中，决策和规划会面临矛盾和问题，比如，长周期、带不确定性或博弈的决策规划问题;通行效率和舒适的矛盾;道德伦理的选择等。因此，徐先生认为需要找到一种方法让决策和规划长短互补，各自发挥尽可能大的优势，所以苏州挚途引入了深度解耦的决策规划。
对于解耦的行为决策和轨迹规划，在行为决策方面，先简化行为空间，可以通过树搜索或强化学习等方法找到比较适合当前状态的车辆语义行为。在轨迹规划部分，把这个语义行为翻译成一个限定空间，在这个限定空间中进行采样或者凸优化，这样就可以得到一个符合理想策略下的效率高、舒适及安全的轨迹。
谈到数据闭环时，徐先生提到一辆日常行驶的车所产生的数据量是相当庞大的，可能一辆车每天能产生几个TB的数据量，这些海量数据上传或者回放对存储的效率和数据平台提出了很高的要求。如果有先进的基础设施支撑，则可减少时间成本，加速整个数据闭环的周期，比如从每周变成每天。
#自动驾驶 #人工智能 #高性能计算 #存储系统 #数据闭环 #DDN自动驾驶解决方案
了解更多关于DDN自动驾驶解决方案：https://www.ddnstorage.com.cn/Scheme_details/983385039608414208.html
相关新闻
暂无数据
