Lustre并行文件系统-Intersect360调查：Lustre仍是使用广泛的并行文件系统
发布时间：
2021-03-24 00:00
美国市场研究公司Intersect360 专注于高性能数据中心趋势的研究，该公司在2021年3月初发布了全球高性能计算(HPC)和人工智能(AI)相关技术，例如，加速计算、HPC上云、液冷、互联、存储等市场调查结果。这次在2020年12月进行的调查涉及258家机构，它们分别来自商业界(占比32%)、学术或非赢利研究(占比58%)，以及政府部门(占比10%)。被调查对象分布在全球各地，其中北美地区占比49%，欧洲、中东以及非洲 (EMEA)地区占比29%，亚太地区占比16%，拉丁美洲地区占比6%。小编在此和大家分享有关HPC中的存储，以及HPC上云的一些调查结果。
HPC中的存储
Terabyte(TB)和Petabyte(PB)都曾经意味着很大存储量，然而，在本次调查中，PB级的数据已经变得平常：三分之二的调查对象都已拥有超过1PB的活跃数据，注意是活跃数据，而不是归档数据。其中，2%的调查对象表示其活跃数据量已超过1Exabyte(EB)，19%的受访人有11～100PB的活跃数据，39%的调查对象拥有的活跃数据在1～10PB。此次调查估算HPC领域中总的活跃数据量大约相当于25 EB，这是相当可观的存储量。对存储的细分调查进一步发现：
节点上的存储(on-node storage)：闪存 (NVMe/ SSD)的广泛使用程度已经与硬盘几乎相当。闪存与硬盘的竞争可能早就被预测到了，但是没想到二者势均力敌的局面会这么快就变成了现实。
存储阵列(storage arrays)：传统硬盘目前仍是主流选择。但是，NVMe闪存与硬盘混合的存储正被越来越多地使用。闪存的性能很棒，大家都想要拥有全闪存，但它的价格太高了。假设在HPC中都使用全闪存的存储，购买25EB级别的全闪目前在经济上仍然是不可行的。不过，随着NVMe/SSD价格的下降，全闪的使用将有可能超过混闪。
图1：存储阵列配置情况，数据来源：Intersect360
并行文件系统：Intersect360调查了Lustre, IBM 的Spectrum Scale，PanFS，CephFS，BeeGFS，WekaFS等多种并行文件系统的使用情况。结果表明：Lustre和IBM 的Spectrum Scale是被用得很多的两种并行文件系统，并且Lustre仍然处于优先地位，尤其是就广泛使用(broad usage)程度而言，Lustre超过了Spectrum Scale相当大一截。另外，商用HPC市场(石油和天然气行业除外)采用并行文件系统的情况仍然落后于公共部门。
图2：并行文件系统使用情况，数据来源：Intersect360
HPC使用公有云
近几年来，随着云计算市场的蓬勃发展,在公有云上运行HPC的趋势也日渐显著。Intersect360在2017年的调查中发现，云的使用率超过了50%并真正进入两位数的高增长模式。因为云在不确定性方面做得很好，2020年是云计算的大年。这一年新冠疫情带来了很多不确定性，云填补了不少因本地采购放慢或受到限制而留下的市场。本次的调查结果显示， 三分之二的调查对象正在或多或少地使用公有云。但是，经常使用云的机构只占了其中很小一部分，仅有12%的调查对象将1/3以上的HPC工作放在公有云上运行，这还是一个相当小的数字。这说明使用云的机构虽然越来越多，但是每家机构实际在云上运行的工作量仍然很小。
图3：HPC使用公有云的情况，数据来源：Intersect360
提到云计算，很多人首先的反应是其成本较低。但Intersect360指出，成本低不低是有前提条件的。如果你把所有的HPC计算都在云上运行 (24小时×7天×365天)，那么使用云的费用将远高于在本地部署的系统上运行的费用。
相关新闻
暂无数据
