AI存储-AI竞赛让公司在确定需要后几周即下达采购订单
发布时间：
2023-11-06 16:35
blocksandfiles.com 网站的 Chris Mellor 在10月16日发表的一篇文章中总结了DDN公司总裁 Paul Bloch 近期在普渡大学的演讲。Paul在演讲中透露了人工智能 (AI) 的惊人发展速度，推动公司快速做出采购决策以跟上AI 革命的步伐。Paul 的演讲强调需要广泛的基础设施，包括数万个 GPU 和 EB 级存储以支持AI的指数级增长。他还指出，与AI相关的 IT 采购决策现在只需两周即可做出，这突显了企业将 AI 集成到其运营中的紧迫性和巨大意义。Paul 进一步强调了 AI 加速各行业进步的潜力，预示着未来更快、更智能、更高的效率的 AI 应用。此外，DDN 正在积极开发下一代文件系统，以满足 AI 驱动下不断变化的需求。DDN 对 Chris 的文章做了如下翻译，其原文可点击链接获取。
DDN 联合创始人 Paul Bloch 表示，人工智能（AI）发展如此之快，应用如此广泛，其加速的效应将呈指数级增长，这将需要数万个 GPU 和 EB 级存储。
DDN 总裁Bloch上个月在网络基础设施研讨会（Cyberinfrastructure Symposium）上向普渡大学的教师们做了演讲。他表示，现代AI的到来和速度令人震惊。他用下图表展示了“大语言模型在过去几年中是如何发展的。而且，你可以看到，在短短的三年里，模型的尺寸增加了一千多倍，GPU内存增加了五倍。”
但这只是小事：“想象一下这样一个事实，ChatGPT 现在使用的数据大约是四五年以前的，所以 ChatGPT 甚至没有过去四年的数据。在过去的四年里，我们创建的数据可能比前几年多得多。所以，这还只是起步阶段。”
他将生成式 AI 阶段比作生物大脑：“我记得 AlexNet 能够以智能方式进行分类。......用AI术语来说，大约是 262 petaflops。它与高性能计算（HPC） petaflops 不同。但这相当于一个虫脑。”
他说：“那么，你有了自动驾驶。这是一场实现完全自动驾驶的竞赛，要做到这一点，您需要经过大约 60 亿英里的验证或模拟。因此，您需要在软件上显示 60 亿英里没有任何事故或任何问题。这也需要大量的计算和存储，有趣的是一个大规模SuperPOD仍然是苍蝇大脑那么大。”
加速存储带宽
GPU 需要从存储中快速传输数据，Bloch 表示：“总体而言，一块 GPU需要大约 1 到 2 GB/秒 的数据存储。......如果您购买一千块 GPU，您将需要大约1 TB/秒。.. 我们在过去几个季度部署的系统可传输 5 TB/秒 和 10 TB/秒 的数据。”
他补充道：“我们在过去两三个月内部署的一些更大的系统有 20,000 块 GPU，而没有更多 GPU 的主要原因是他们无法足够快地买到它们。20,000 块 GPU 配100 台我们的存储系统。因此，100台这样的系统可传输约10 TB/秒的数据。而且，容量约为 40 或 50 PB，而且他们才刚刚开始。”
这还不够。存储传输速度必须提高，所需容量也必须提高：“我们一直考虑的是GB/秒。现在它将达到数百 GB/秒 或TB/秒 或数十 TB/秒。到 2024 年底，我们将有少数系统以50 到 100 TB/秒的速度运行。而且，它们可能会容纳100 到 500 PB 的数据。这还是热文件系统，对吗？我甚至不是在谈论其背后的冷文件系统，其规模将达到EB级。”
加速的AI购买决策
生成式AI的发展速度和潜力是如此巨大，以至于与AI相关的 IT 采购决策速度比其他决策要快得多。Bloch说：“我们在新的一年开始时说过，‘好吧，今年会和往常一样。’ 太棒了，很开心…… 然后 ChatGPT 出现了，世界发生了变化。在所有层面上，情况都已经发生了变化。这意味着我们在第二季度和第三季度看到的情况是完全超出预料的。我们看到有的公司在两周内完成了 “我们需要进入AI领域，我们需要做内部 ChatGPT 或我们需要做大语言模型”等决策过程。”
“从与这些公司的初次讨论到实际采购订单到交付系统……大约需要两周时间。我们从来没有见过这样的情况。我们不知道这种情况是否会继续下去，但这基本上是业界看待AI的方式。”
“他们认为这是‘要么做，要么死’的情况，而且他们中的很多人，大人物，都言出必行。”他们感到紧迫的部分原因是“因为如果你不这样做，别人会有更好的服务、更好地接触客户、更好地服务客户、更好的响应、更高的人员效率——你们公司会有问题。”
Block认为：“我们正处于一个新时代，因为世界已经进行了大量的研发工作，取得了各方面的进步。你可以谈论交通、个性化疗法、数字钱包、生物学、生物信息学、3D 打印、自动化——凡是你能想到的。所有这些技术都已经被开发和交付，但现在它们将受到AI的促进。他说：“如果你将AI应用到任何一种以及所有这些技术中，你可以达到一个完全不同的水平。”
那么未来呢？
AI的加速发展速度是巨大的。Bloch说：“接下来会怎样？我甚至不知道。我所知道的是，创造的速度将会加快……因此，周期正在快速缩短。”
DDN 文件系统的下一步是什么？“在过去的六七年里，我们一直致力于开发下一代文件系统。它不会取代我们现有的产品，但我们称之为未来的下一代产品。因此，在本地、在云端，实例化为软件或设备，这些软件或设备将能够以工作负载为中心、智能的方式、具有服务保证，并能够以更简单、更高的效率和更划算的方式提供对数据的访问。”
很多与现有产品相同，但更快、更智能、更易于使用。
相关新闻
2023-06-08
