Lustre并行文件系统-Intersect360调查:Lustre仍是使用广泛的并行文件系统

发布时间:

2021-03-24 00:00

  

  美国市场研究公司Intersect360 专注于高性能数据中心趋势的研究,该公司在2021年3月初发布了全球高性能计算(HPC)和人工智能(AI)相关技术,例如,加速计算、HPC上云、液冷、互联、存储等市场调查结果。这次在2020年12月进行的调查涉及258家机构,它们分别来自商业界(占比32%)、学术或非赢利研究(占比58%),以及政府部门(占比10%)。被调查对象分布在全球各地,其中北美地区占比49%,欧洲、中东以及非洲 (EMEA)地区占比29%,亚太地区占比16%,拉丁美洲地区占比6%。小编在此和大家分享有关HPC中的存储,以及HPC上云的一些调查结果。

  HPC中的存储

  Terabyte(TB)和Petabyte(PB)都曾经意味着很大存储量,然而,在本次调查中,PB级的数据已经变得平常:三分之二的调查对象都已拥有超过1PB的活跃数据,注意是活跃数据,而不是归档数据。其中,2%的调查对象表示其活跃数据量已超过1Exabyte(EB),19%的受访人有11~100PB的活跃数据,39%的调查对象拥有的活跃数据在1~10PB。此次调查估算HPC领域中总的活跃数据量大约相当于25 EB,这是相当可观的存储量。对存储的细分调查进一步发现:

  节点上的存储(on-node storage):闪存 (NVMe/ SSD)的广泛使用程度已经与硬盘几乎相当。闪存与硬盘的竞争可能早就被预测到了,但是没想到二者势均力敌的局面会这么快就变成了现实。

  存储阵列(storage arrays):传统硬盘目前仍是主流选择。但是,NVMe闪存与硬盘混合的存储正被越来越多地使用。闪存的性能很棒,大家都想要拥有全闪存,但它的价格太高了。假设在HPC中都使用全闪存的存储,购买25EB级别的全闪目前在经济上仍然是不可行的。不过,随着NVMe/SSD价格的下降,全闪的使用将有可能超过混闪。

  

 

  图1:存储阵列配置情况,数据来源:Intersect360

  并行文件系统:Intersect360调查了Lustre, IBM 的Spectrum Scale,PanFS,CephFS,BeeGFS,WekaFS等多种并行文件系统的使用情况。结果表明:Lustre和IBM 的Spectrum Scale是被用得很多的两种并行文件系统,并且Lustre仍然处于优先地位,尤其是就广泛使用(broad usage)程度而言,Lustre超过了Spectrum Scale相当大一截。另外,商用HPC市场(石油和天然气行业除外)采用并行文件系统的情况仍然落后于公共部门。

  

 

  图2:并行文件系统使用情况,数据来源:Intersect360

  HPC使用公有云

  近几年来,随着云计算市场的蓬勃发展,在公有云上运行HPC的趋势也日渐显著。Intersect360在2017年的调查中发现,云的使用率超过了50%并真正进入两位数的高增长模式。因为云在不确定性方面做得很好,2020年是云计算的大年。这一年新冠疫情带来了很多不确定性,云填补了不少因本地采购放慢或受到限制而留下的市场。本次的调查结果显示, 三分之二的调查对象正在或多或少地使用公有云。但是,经常使用云的机构只占了其中很小一部分,仅有12%的调查对象将1/3以上的HPC工作放在公有云上运行,这还是一个相当小的数字。这说明使用云的机构虽然越来越多,但是每家机构实际在云上运行的工作量仍然很小。

  

 

  图3:HPC使用公有云的情况,数据来源:Intersect360

  提到云计算,很多人首先的反应是其成本较低。但Intersect360指出,成本低不低是有前提条件的。如果你把所有的HPC计算都在云上运行 (24小时×7天×365天),那么使用云的费用将远高于在本地部署的系统上运行的费用。

相关新闻

暂无数据

暂无数据