AI存储-美国超级计算应用中心(NCSA)和DDN合作,为科研界带来新的文件系统

发布时间:

2024-01-17 11:28

美国超级计算应用中心 (NCSA) 正在采用 DDN 的 Infinia 进行生成式人工智能 (AI) 和大语言模型 (LLM) 数据管理。下一代 AI 应用需要广泛的数据管理功能和出色的性能,DDN Infinia 以一种简单的新范式做到了这一点。

 

 

美国国家超级计算应用中心正在与 DDN 合作,在其 Delta 和 DeltaAI 系统中部署 3PB 的新型 DDN Infinia 文件系统,并为美国国家科学基金会(NSF)资助的科研机构提供提升的数据管理能力。

 

Delta 是 NCSA 很重要的研究计算系统,也是 NSF 系列计算机中性能非常高的 GPU 计算资源。DeltaAI 是一种先进的计算和数据资源,它将成为 Delta 的配套系统并将使 NCSA 以AI为中心的计算能力增加三倍,而且在NSF 资助的全国生态系统内大大扩展可用容量。

 

去年11月发布的 DDN Infinia 是下一代软件定义存储平台,它将大规模多租户、容器化、高水平的速度和效率与易于管理、强大的安全属性结合在一起。该架构加速并简化了工作流,满足当今研究人员的数据管理需求 —— 生成式AI 和LLM,工作流从边缘到数据中心和云的多种多样且复杂的移动。

 

IO限制可能会显著影响科学工作负载(尤其是AI和机器学习)及其高效运行的能力。NCSA Delta 团队与 DDN 合作,致力于确保新的文件系统应对这些挑战、满足 NSF 科研界的需求并遵守其开放科学原则。

 

DDN Infinia 允许 NCSA 部署高性能、基于QLC的存储层,利用商用硬件为 Delta 和 DeltaAI 上的开放科学研究人员提供服务,同时还为科学家和系统工程师带来新功能,以更好地管理下一代开放科学应用的IO。

 

点击此处,了解有关 DDN Infinia 的更多信息

 

 

相关新闻