案例分享| 人工智能存储：满足计算和分析转变的新需求
发布时间：
2022-03-07 00:00
传统计算和分析正在发生转变，这种转变所带来的新兴数据挑战需要人工智能 (AI) 存储来解决。
超级计算的范畴正在从科学与工程计算迅速扩大到其他领域，并与AI、高级数据分析和云计算相结合。随着串行数据时代的结束，并行数据管理也逐步取代网络文件系统(NFS)。这些转变与AI的崛起恰好呼应，据统计，2021年，AI技术投资创下了新纪录。
AI时代的数据存储
在旧金山举行的IT媒体发布会上，DDN产品高级副总裁James Coomer博士表示：数据是AI的源代码，数据对于AI必不可少，而存储对于AI至关重要。“存储不应该是事后考虑的因素，因为它是数据摄取、采购、管理、标记和保存的关键，这些对AI都很关键。”
在AI时代，传统计算和分析的边界发生了变化，这带来了以下几个亟需解决的数据挑战，这些挑战需要AI 存储来解决。
数据人才
— 需要寻找新的数据科学人才，他们需要在快速变化的软件环境中保持较新的技能
— AI存储为数据科学家提供了简化的并发性和连续的工作流
数据来源
— 需要获取大量数据，需要从各种来源，以各种方法和远超传统计算要求的速度来获取数据
— AI存储助力项目规模扩展, 不仅经济划算，而且数据摄取速度超高
数据处理
— 需要不同类型的数据处理来实现大规模GPU环境中训练和实时推理所需的并行性
— AI存储与计算紧密集成实现理想性能
数据治理
— 需要标记、跟踪和管理数据，并基于恰当的安全策略在组织之间共享数据。在应用层面上对AI可解释，在平台层面上做到数据可用
— AI存储确保没有数据孤岛，并提供高级的工作负载分析
AI存储案例
DDN目前专注于AI存储，其针对AI领域的A³I解决方案是公司成长战略的核心。在过去两年中，DDN一直为NVIDIA提供核心后端存储系统，不断提高性能、规模和灵活性来推动创新。
NVIDIA在AI算法训练领域 “几乎占据所有”的市场份额，并成功搭建了多个大规模AI集群，据AI研究公司 Cambrian AI Research的分析师Karl Freund介绍。
在为NVIDIA自建的SELENE系统成功提供存储系统后，DDN也为英国强大的超级计算机， 剑桥1号(Cambridge 1)，提供存储系统。剑桥1号已于2021年上线并侧重于基于AI的医疗研究。
DDN也与药物发现公司Recursion合作。Recursion的系统工程师Kris Howard表示：“我们的大规模数据需要快速地摄取、优化地处理并减少应用程序运行时间。” Recursion与DDN合作将药物发现成本降低了20倍，并通过新的AI能力增加了药物发现管道加速的可能性。Recursion以前在云上运行应用程序，但现在通过本地部署的系统运行，获得了更高的效率并具有更高的性价比。
"DDN率先实现了大规模数据加速，解决了普通存储无法解决的问题。我们构建数据环境，让创新者去创造未来。" Coomer博士补充道：“DDN是全球No.1 AI存储提供商，我们的存储解决方案在不同行业(如金融服务业，生命科学等)的客户中都得到了验证。”
案例1. DDN为精准肿瘤学提供服务
客户情况:
· 通过专利技术的血液测试、大规模数据集和高级分析试图在全球范围内攻克癌症
· 采用生物信息学和HPC分析测序基因组数据
数据挑战：
· 需要性能和可靠性
· 以前的系统经历了严重的硬件故障
DDN解决方案：
· 并行文件系统存储作为一种服务
· 优势：长期可用，按需提供容量和性能
案例2. 转变科研数据存储：从管理到维护到通用资源
客户情况:
· 加州大学大型生命科学研究机构
· 为各种项目和需求提供存储和数据管理
数据挑战：
· 以前的系统是自建的，并由自己提供技术支持
· 对规模、性能和稳定性的需求已超出了当前系统的能力
DDN解决方案：
· 提供简化且可靠的基础设施，并提供规模增长和功能增加的路线图
· 研究人员可轻松访问，无需更改工作流程
· 计划在DDN专家的帮助下，采用 GPU集群进一步加快研究
案例3. 为一家全球金融服务和风险投资公司简化数据管理
客户情况:
· 基于数学和编程的金融机构，将科学方法带入金融产品
数据挑战：
· 元数据重度应用程序对现有基于NFS的存储性能提出了挑战
· 50 PB以上的数据集对现有系统提出了管理挑战
DDN解决方案：
· 从更少的系统中获得高效的性能 — 便于未来管理和扩展
· 我们咨询式的工作方法和对数据的洞察力帮助客户确定并解决具体问题
相关新闻
暂无数据
