EXAScaler-DDN公司商业版Lustre文件系统EXASCALER 5.2新功能盘点

发布时间:

2021-01-15 00:00

  

  2020年DDN公司的工程团队很忙碌:我们不断改进商业版Lustre文件系统即EXAScaler®解决方案来帮助用户通过更细粒度的数据控制实现创新,简化工作流程,并提供出色的性能以缩短科学发现的时间。在此, 让我们快速回顾一下2020年新的EXAScaler (5.2) 版本(以下简称EXA 5.2)都增强了哪些新功能,以及在其他方面的提高。

  

 

  热池(Hot Pools):当前的热池是第三个版本,热池在基于闪存的池和基于机械硬盘(HDD)的池之间执行后台数据移动。第三版的发布意义重大,因为它可以将变冷的文件数据转移到HDD池,还可以将热文件数据从HDD池移动到闪存池。这些数据转移都在后台发生,并且通过我们的后台策略扫描功能,热池还会基于近期数据访问情况定期进行文件热度的评估。

  GPUDirect:我们在2020年年初实现了这个功能。GPUDirect适配于NVIDIA DGX系统,能够绕过DGX系统主机CPU,将数据直接移动到GPUs。虽然英伟达还没发布正式版本, DDN已经准备好了,只要英伟达一发布,DDN就可以与测试客户合作。在GPUDirect博客中可以了解更多来自NVIDIA的信息。

  快照(Snapshot):这是多年来许多客户要求的一个强大功能。我们的快照代码是以补充RPMs的方式提供的,在EXA 5.2上可用。快照代码与RPMs分离让我们能够为早期用户提供有针对性的支持,这些快照代码还可以集成到即将发布的新版本EXAScaler中。快照功能在ldiskfs中实现,是对老版本的EXAScaler的直接升级。快照功能可用于整个文件系统,我们很快也将允许用户对这些快照进行自助服务。

  更简单的多轨管理(Simpler MultiRail Management):具有多块GPU和多个网络接口的GPU服务器,再加上DDN存储设备也具有多个网络接口,这就意味着通过网络交付一个单一的高性能挂载点需要使用从存储到应用程序的所有路径。2020年,我们已经让这个过程变得更加简单和稳定,为具有多个网络接口的系统增加了性能和韧性。

  同步策略(Stratagem Sync):在EXA 5.2版本中,我们开始包含一个原生工具集,用于把数据从EXAScaler移动到其他存储系统,如S3或POSIX文件系统。这些工具只采用目录结构,并在其他地方保持异步复制。对于这些工具的未来扩展,还有很多种可能性。我们还有一个综合性的软件产品叫做DataFlow,现在已经与EXAScaler深度集成,支持同步、备份和归档等功能。

  EXAScaler软件还有更多功能正在加强中。我们希望听到您使用DDN产品的看法,以及您在使用中面临的挑战。欢迎您随时与我们联系,我们将根据您的具体需求构建效率高、可靠和高性能的解决方案。

相关新闻

暂无数据

暂无数据