[企业AI] 构建企业人工智能的可靠方法

发布时间:

2021-06-03 00:00

 

  由于令人信服的人工智能(AI)应用日益增多, AI已成为许多IT和领军企业的关注点。然而,当实施AI项目时,许多人的热情却被沮丧所取代。

  为什么有些AI项目会失败?因为企业往往低估了规模和构建AI系统的复杂性。在AI项目实践中,需要获得并处理足够多的有质量的数据,并选择正确的基础设施来支持AI工作负载。

  近日,Small Word Big Data的CEO兼总分析师Mike Matchett对DDN产品管理高级副总裁James Coomer博士进行了专访(访谈视频可在https://www.truthinit.com/index.php/video/2505/ddn-parallelizes-big-data/上观看),专访中讨论了AI面临的挑战,以及并行和优化环境的重要性。为了更好地理解James Coomer博士的建议,我们首先来看看AI是如何处理数据的。

  AI数据生命周期

  步骤一:数据摄取

  构建AI环境需要收集的数据量之大从未有过。如果没有足够的信息来进行分析,AI应用程序就无法形成高质量的推理。例如,用于自动驾驶的AI可能需要多达100TB/车的数据,用于医疗健康的AI可能需要数万次身体扫描的图像数据。

  步骤二:数据标记

  数据载入存储后,必须对其进行标记和分类。通过创建这种元数据,AI可以理解数据的上下文,从而实现算法的形成。

  步骤三:模型训练

  在这个阶段,大量数据被高速地传输到系统中,帮助创建深度学习算法。本质上,这是AI学会“思考”或执行多种计算的过程以实现复杂决策的自动化。

  常见的AI挑战

  执行过AI战略的机构分享了他们在构建AI环境中学到的一些经验,当他们没有考虑到AI基础设施的优化时,常会面临以下的挑战:

  l 扩展

  在传统IT环境中,大量数据通常会被保存下来,但并不会全部进行处理。因此,传统IT环境通常无法扩展来应对AI应用所需的速度和大量的工作负载。

  l 新瓶颈

  即使在较为稳定的网络和平台上运行,处理AI数据时也会出现不可预见的问题。这是因为处理庞大的AI数据需要简单的IT体系架构,而这正是传统的IT体系结构所缺乏的。

  l 应用的性能问题

  为了进一步开发AI模型,或者与其他团队合作,数据科学家通常需要与其他团队和AI项目共享AI系统资源。当这种情况发生时,许多企业系统可能会变慢,这就容易在企业内引起焦虑,并影响到任务的完成期限。

  解决方法:针对AI优化的解决方案

  鉴于AI应用需要处理的视频、图像和音频数据量极大,采用NVIDIA等公司生产的并行化GPU是理想选择。为了给这些强大的GPU提供数据,针对AI优化的存储是必不可少的。归根结底,未经AI优化的环境无法支持GPU和存储之间高速且大吞吐量的数据传输。

  DDN针对AI优化的A³I存储解决方案恰好能够提供帮助。多年来,DDN与NVIDIA紧密合作,为金融服务、自动驾驶和医学研究等行业提供强大的AI环境。内置并行文件系统EXAScaler的存储基础设施既能在本地部署又能在公有云(如AWS、Microsoft Azure和GCP)上使用。DDN针对AI尽可能地优化了文件系统采用的共享并行架构,以高吞吐量、低延迟和高并发的方式提供数据,在任意规模都很简单、易用。

相关新闻

暂无数据

暂无数据