构建一个人工智能数据平台，以应对突发情况

发布时间：

2022-08-03 00:00

　　导读

　　向数字化转型迈进的企业往往会遇到一个棘手的问题：我需要管理多少数据?建立一个能够承受极大变化的人工智能(AI)数据平台，才是关键所在。

　　为什么确定需要多少数据特别困难，因为成功的AI 战略有一个正反馈因素。如果可行，那么对更多数据的需求可能会令人惊讶。在过去5年里，深度学习给 AI 带来了变革性的变化，其核心优势在于，数据越多，预测越好。因此，组织发现越来越需要更多数据来驱动更准确的模型。

　　要获得长期的回报需要仔细考虑 AI 数据平台架构，以及它如何从早期的小规模扩展到潜在的大规模——无论是在性能还是容量方面。理想的人工智能数据平台将提供两条前进路线，以及介于两者之间的一切可能。

　　· 性能(考虑快速闪存)路线：通过更多的闪存和存储设备横向扩展，以将其交付给应用程序。

　　· 容量路线：在应对数据量大幅增加的同时保持经济可行性。

　　通常情况下，你的 AI 数据平台的候选方案将有两种类型：一种是全闪存，另一种是混合闪存+HDD。全闪存解决方案将使你受制于闪存的价格，虽然闪存的价格越来越有竞争力，但随着容量的增大，闪存仍会很昂贵。

　　混合解决方案理论上可以提供两全其美的解决方案，但需要特别注意以下情况，避免日后出现麻烦。

　　分级存储管理 (Hierarchical storage management，HSM) 一直是管理可扩展的混合系统的传统方式。使用 HSM，主存储池通常是由应用程序访问的存储池，并且基于某种算法，数据可以暂存到低成本层，同时将元数据保留在主池中。这意味着应用程序始终可以无缝查看所有数据，并且随着容量的螺旋式上升，成本会保持在较低水平。

　　这种方法存在三个问题：

　　1管理员现在必须管理两个不同的存储环境--一个是主存储，另一个是低层存储。

　　2当终端用户的数据在后端时，他们会遇到很高的延迟。HSM 要求在满足用户请求之前将数据拉回主存储.......这往往会引起用户的极大不满。

　　3后端层中的数据可能无法直接访问。通常，如果将 S3 用作后端，则无法直接访问暂存到那里的数据，因为它是专有格式。这对于那些想对其所有数据保持完整的所有权的组织来说是一个主要问题......必须依靠前端来访问所有的数据变成了一个不可能的事情。

　　由于这些原因，DDN 在EXAScaler 中实施了我们的热池(Hot Pools)技术。使用热池，系统被设置成一个热(Flash)池和一个更大的冷(HDD)池。热池实际上是一个缓存，其容量可以很大。应用程序在正常操作下将数据移入和移出闪存。当不经常访问数据时，热池技术会在同一文件系统和命名空间内在 HDD 中创建一个副本，并在闪存层中删除该副本。但是无论数据在哪里，应用程序仍然可以直接读取它，而没有因等待数据分级的延迟。这一切都发生在一个非常容易扩展的文件系统中——因此只需要管理一个系统。结果，所有数据，无论它们在哪里，都只是作为文件保存，而不是以某种专有格式保存。

　　因此，从本质上讲，我们已经创建了一个具有HSM所有优点的解决方案，但没有缺点。从 HDD 层而不是 Flash 层访问数据的代价取决于设备性能的差异，因此用户不会碰上高于预期的延迟。底层数据移动技术已原生内置于文件系统中，还用于增加数据弹性并创建多个数据副本以获得性能优势。热池使用文件热度算法来选择跨池移动的数据--这是一种先进的算法，它可以保留一些文件访问历史记录，并且可以针对小文件进行优化，使其始终保持在缓存中。

　　将热池与 DDN 的 EXAScaler 设备相结合，您将获得比市场上其他产品都要简单的扩展功能。更少的控制器、更少的交换机、没有扩展困难的复杂后端网络。DDN 的 AI 数据平台以较为简单的一揽子方式提供出色性能，为您节省电力和消除管理痛苦，并且通过热池，即使您的存储量飞涨，也能保持良好的成本效益。

新闻资讯

构建一个人工智能数据平台，以应对突发情况