[人工智能AI存储] 存储小知识 | 并行文件存储 vs. NFS文件存储 vs. 本地NVMe RAID存储
发布时间：
2021-09-14 00:00
又到了九月开学季，随着学子们回归校园的步伐，DDN的存储小知识栏目也与大家见面了。虽然我们经常讲到存储，但你是不是也容易被“并行文件存储”，“NFS存储”，“本地存储”这些概念搞得有些迷惑, 而不知道应该如何选择和使用?我们这期小知识就来捋一捋这几种存储在现代化数据中心的应用场景中的区别吧。
随着大数据、人工智能(AI)的发展，现代化的数据中心更像是一个融合数据中心，需要处理高性能计算(HPC)、AI 和大数据等多种工作负载。新的计算需求也对融合数据中心的存储系统提出了一系列挑战，包括如何效率高地存储海量数据，如何加速存储的性能应对大带宽及混合IO等不同问题，如何满足多机多卡的并行处理需求。要应对这些挑战，基于并行文件系统(parallel file system, PFS)的高性能并行文件共享存储对于现代化的融合数据中心是不可或缺的。那么，并行文件共享存储与传统的基于网络文件系统(Network File System，NFS)协议的NFS存储以及计算集群本地的RAID存储相比，究竟有哪些区别呢?让我们从AI和HPC应用场景中容量、性能、共享性、扩展性、可靠性、所支持的GPU规模等不同维度来分别进行对比。
并行文件共享存储 vs. NFS存储
并行文件共享存储与NFS存储的架构不同，前者是全互联、高并发的架构，不存在访问热点。后者客户端读写操作实际上是点对点的工作模式，容易形成访问热点。
容量和性能通常是存储系统广受关注的两个指标。容量有两层含义：数据量和文件个数。对于并行文件系统来说，它存储的数据量可以从PB级，到数百PB级，甚至可达到EB级。但NFS只是一个接口协议，本身没有文件系统，它需要依靠本地的文件系统处理，通过网络共享，所以其容量有限。现在的 AI 应用通常涉及数百万、数千万、甚至过亿的文件个数，并行文件存储可以存储数百亿的文件个数，但是NFS存储能够存储的文件个数却有限制。
性能也包括两方面：带宽和IOPS (Input/Output Per Second，指单位时间内系统能处理的IO请求数量)。传统的HPC应用一般会有高性能、高带宽的要求。AI 应用有大量随机 IO, 对 IOPS 有较高要求。并行文件系统带宽可达数千GB/s，IOPS 可达数千万文件 IO/s。但NFS存储的带宽和 IOPS 的性能都有限。
随着 GPU 在现代数据中心的广泛使用，存储系统能否很好地支持 GPU 也是一个重要的考虑因素。并行文件系统可以支撑任意规模的 GPU 并发访问，例如，DDN的并行文件系统支持了英伟达Selene 超级计算机上4000多块 GPU 的并发访问。而 NFS 存储只能支持小规模的 GPU 访问。
高速并行文件共享存储与NFS存储的更多比较，请参见表1。
表1：高速并行文件共享存储与NFS存储的比较
并行文件共享存储 vs.数据中心计算节点的本地RAID存储
如今，用于大数据和 AI 的计算集群的计算节点中通常配置了多块 NVMe 盘做 RAID0，作为计算节点的本地存储，例如，英伟达的 DGX A100 系统自身带有4块或8块 NVMe 盘。计算节点的本地存储和外置的并行文件共享存储在不同的应用场景中各有优势。计算节点的本地存储在单机运行时带宽和IOPS高，延迟极低，特别适合对延迟要求高的应用。但本地存储的致命弱点是无法共享，也无法扩展，因此，如果需要支持多机多GPU的数据访问，就需要全局共享的并行存储。选择和判定一个存储系统的好坏，不能用传统的选“硬盘”式的思维来简单地看容量和性能指标，而应该主要考虑能否满足用户的应用场景，解决用户的业务痛点。
表2：外置并行文件共享存储与计算节点的本地存储比较
小提示：通常人们都会认为外置存储会比本地 RAID 存储快。其实，在单机传输大量小文件时，本地 RAID 存储的延迟会优于并行文件共享存储，因为前者使用 NVMe 硬件介质的数据路径通过 PCI-E 直接通往 CPU 或 GPU，并且使用本地文件系统的协议开销小于外置并行文件系统。并行文件共享存储需要通过网络，虽然采用了IB网络RDMA网络，还是会有一些延迟。
相关新闻
暂无数据
