企业AI-如何利用数据架构加速企业人工智能发展
发布时间：
2022-02-16 00:00
随着人工智能 (AI) 的变革属性越来越显然，很多企业意识到数据的存储、管理和处理需要新的架构来支持成功应用所需的规模。采用AI技术较慢的企业有可能被那些把AI作为增强研发和创新利器的竞争对手甩在后面，DDN的高级产品副总裁James Coomer博士指出。
在过去的两年里，尽管疫情使IT企业面临预算紧张和人才短缺的问题，但获取、存储数据并将其转化为新见解的需求却仍在增长。因为AI转变了企业开展业务，进行研发和引入创新的方式，企业开始意识到，以数据为中心的架构是消除非结构化数据的孤岛，也是获得治理、安全和应用性能的仅有的途径，从而支持AI项目的实现和长期成功。
在以数据为中心的架构中，其核心技术包括计算(GPU和IPU)、网络(InfiniBand)和存储(真正的并行横向扩展文件系统)，它们使应用程序能够处理远远超过传统能力的数据集。但这些核心技术在以前传统的IT环境中却较少使用。
公司能否应对数据和基础设施的安全问题?
把AI数据集中在一起，IT企业可以同时解决数据和基础设施的安全问题，这两个方面对AI管道至关重要。许多早期的AI试验者和使用者分属不同的业务部门，他们在小型系统(包括数据科学家办公桌下的计算机)上对有限的数据集进行小规模试验。这种方法让企业行动敏捷，但也带来了风险，特别是在一些受监管的行业如医疗健康和金融服务。AI数据更频繁地成为数据盗窃和其他攻击的目标，也增加了更多的风险。随着AI进入生产阶段，集中化的数据资产对于创建一个管理得当的治理模型必不可少，该模型可以应对内部和外部的访问问题，并且采用标准化的数据保护可以更大程度地降低误用的风险。
实现应用性能需要考虑的因素
应用性能，特别是当AI的使用遍及整个公司时, 是多种因素作用的结果。首要的因素是拥有足够多的高质量数据。对于利用复杂的非结构化数据来训练模型的企业来说，其数据集大致有几个PB大小。保留数据以供未来参考也推动着对可扩展系统的需求，可扩展系统可以保证对所有数据的快速访问。传统的IT系统侧重于为高度结构化且通常较小的工作负载提供高性能，而AI管道中数据密集型部分常用的计算单元是GPU，这就意味着同样需要配备高性能存储才能满足基于GPU的分析系统。
这就是为什么许多企业都期望采用真正的并行横向扩展文件系统作为以数据为中心的架构的基础。IDC近期的一项调查表明，58%的企业需要并行文件系统来满足性能(主要是单个文件的吞吐量)要求，通常是为了满足运行AI或分析应用的GPU系统的性能需求。这些经过优化的GPU系统可以加速多矩阵计算，这类计算是AI训练和推理的核心。具有数十亿个参数的AI模型在学术研究之外变得越来越常见，正因如此，许多企业正在投资基于GPU的集群、网络和存储系统来满足这些要求。
利用AI 的变革性
希望利用AI变革属性的企业应该从一开始就考虑到通往成功之路是什么样的。由于计算性能不够或存储规模不足导致的失败项目比比皆是，当有些应用具备可操作性时，却遇到了很重要的算力或存储障碍。选择以数据为中心的架构方法可以检验数据处理、管理和存储的真正需求，这样企业可以大大降低项目失败的风险。基础设施供应商一直在追求集成性，因为集成消除了寻找、采购和部署这些系统的复杂性。选择高度集成的解决方案会使企业消除AI堆栈的复杂性。接下来，把这些功能集中在一起，IT企业还可以确保数据的长期安全和治理，而数据正是追求更高的生产力、效率和创新的核心。
相关新闻
暂无数据
