DDN存储-热池HOT POOLS是怎么工作的?不可错过的真实软件演示

发布时间:

2021-02-01 16:36

不断演进的人工智能战略需要一个灵活的架构来实现经济地扩展,以满足广泛的新兴需求。对于基于GPU的人工智能和高性能计算平台来说,全闪存的数据平台当然是很理想的。不过,把全容量池与全闪存池集成在一个数据平台上仍然具有相当重要的技术和经济优势。因此,在本次演示中,我们将向您展示配备热池功能的DDN AI400X设备,如何在多种配置中轻松、效率高地管理数据,我们现在开始吧!

我们将演示一个常用于深度学习的数据获取准备工作流。使用全闪存的DDN AI400X存储设备,您可以从单个性能池中运行完整的AI工作流。该性能池具有一个虚拟的工作空间,所有深度学习运算都可以在其中并行地、持续地进行。配备热池功能,您可以通过容量池来扩大系统,从而提供一个更密集、成本更低的数据存储库来存储您的宝贵数据。当您准备频繁地处理这些数据时,热池能自动管理数据在不同的池之间的存放,并且始终保持单一的命名空间。在我们的演示中,我们将在性能池中获取数据,并自动将数据迁移到容量池进行存储和处理。数据获取完成后,我们可以使用热池将数据从容量池移动到性能池,并无缝地用于深度学习工作流的其他步骤,如训练和仿真。

在这个控制面板上,我们可以直观地看到DDN AI400X设备中数据在不同的池之间的流动。在面板左侧,我们看到性能池空间使用的实时情况;在面板右侧,是容量池空间使用的实时情况;在底部,我们看到应用程序I/O的监控数据。现在我们开始获取数据,您在左上角可以看到,数据被写入高性能池,并且我们保持了很高的数据写入速率。让我们再加快一点,您可以清楚地看到大量突发数据被获取到存储中,性能池的使用随着时间而增高。现在,您开始看到热池功能是怎么起作用的:根据预设的热池策略,热池开始实时地将数据从性能池迁移到容量池,数据的池间迁移状态无缝衔接,数据获取操作不会中断,并保持完整性能。请注意观察右侧容量池的活动,看看容量池的空间是如何开始被占用的。现在容量池中已经有一些刚刚获取的数据,我们将启动第二个应用程序,该程序直接读取容量池中刚刚获取的数据。数据获取到性能池、数据从性能池移动到容量池,以及从容量池读取数据,所有这些操作都是同时进行的,而且性能没有受到影响。

完成数据获取后,我们可以直观地看到热池如何自动地把数据从性能池移动到容量池。我们已经成功地获取了数据,并将其存储在深度容量存储库中。一旦我们需要使用这些数据进行训练或仿真,热池就可以轻松地将数据从容量池无缝地移动到性能池。

热池功能让GPU上的数据始终全部饱和,同时数据移动在后台自动地进行。显然,热池通过大规模的智能自动化为简化AI和HPC工作流的数据管理提供了强大的功能。这个演示也解释了配备热池的DDN AI400X设备如何轻松管理数据,在配置全闪存和全容量池的单一命名空间中实现理想性能和经济效益。

DDN AI400X设备是一个全集成的平台,可轻松实现无缝和可预测的扩展。随着您的AI基础设施不断演进,热池可自动执行数据管理,从而让您的AI策略变得简单。

相关新闻

暂无数据

暂无数据