HPC存储-HPCwire 采访| AI数据流程中的存储难点,值得关注的AI格局变化

发布时间:

2022-06-23 16:32

在刚刚结束的国际超级计算大会ISC2022期间,DDN高级产品副总裁 James Coomer博士接受了高性能计算(HPC) 领域专业媒体HPCwire的采访,Coomer 博士不仅谈到人工智能(AI)崛起对HPC领域的影响,还分析了AI数据流程中数据摄取、模型训练和数据管理阶段所面临的存储难点。另外,他还分享了值得关注的AI格局变化。让我 们一起来看看下面的采访视频吧。

DDN 高级产品副总裁 James Coomer 采访视频

 

AI数据流程中面临的存储难点

• 数据摄取对于存储系统来说就是写入问题,随着数据量变得越来越大,存储必须擅长于快速写入。

• 深度学习模型训练阶段不仅涉及随机读取问题,随着模型变大,还需要经常保存检查点数据,这就涉及很密集的写入过程,是一个复杂的 IO 问题。

• 对于深度学习来说,数据越多越好,数据总量会变得特别大。如何构建一个经济划算的大规模系统来管理海量数据并保持数据的活跃性成为一个挑战。

值得关注的AI格局变化

• 模型参数量和数据量将会变得比现在更大

• 新硬件(如新 CPU 和 IPU)被引入到 AI 生态系统

• 数字孪生正在通过 AI 的力量开发并将在未来几年产生极大的影响

• 边缘计算的发展不会改变未来对大型数据中心的需求

DDN是一家 AI 数据公司,聚焦在存储和数据管理业务。我们建造大规模、高扩展性的系统来帮助客户处理棘手的IO挑战,无论这些挑战来自于HPC、AI还是数据分析。我们也让软件和硬件变得更智能,帮助客户正确地进行扩展。

相关新闻