构建企业人工智能的可靠方法
发布时间：
2021-06-03 00:00
由于令人信服的人工智能(AI)应用日益增多， AI已成为许多IT和领军企业的关注点。然而，当实施AI项目时，许多人的热情却被沮丧所取代。
为什么有些AI项目会失败?因为企业往往低估了规模和构建AI系统的复杂性。在AI项目实践中，需要获得并处理足够多的有质量的数据，并选择正确的基础设施来支持AI工作负载。
近日，Small Word Big Data的CEO兼总分析师Mike Matchett对DDN产品管理高级副总裁James Coomer博士进行了专访(访谈视频可在https://www.truthinit.com/index.php/video/2505/ddn-parallelizes-big-data/上观看)，专访中讨论了AI面临的挑战，以及并行和优化环境的重要性。为了更好地理解James Coomer博士的建议，我们首先来看看AI是如何处理数据的。
AI数据生命周期
步骤一：数据摄取
构建AI环境需要收集的数据量之大从未有过。如果没有足够的信息来进行分析，AI应用程序就无法形成高质量的推理。例如，用于自动驾驶的AI可能需要多达100TB/车的数据，用于医疗健康的AI可能需要数万次身体扫描的图像数据。
步骤二：数据标记
数据载入存储后，必须对其进行标记和分类。通过创建这种元数据，AI可以理解数据的上下文，从而实现算法的形成。
步骤三：模型训练
在这个阶段，大量数据被高速地传输到系统中，帮助创建深度学习算法。本质上，这是AI学会“思考”或执行多种计算的过程以实现复杂决策的自动化。
常见的AI挑战
执行过AI战略的机构分享了他们在构建AI环境中学到的一些经验，当他们没有考虑到AI基础设施的优化时，常会面临以下的挑战：
l 扩展
在传统IT环境中，大量数据通常会被保存下来，但并不会全部进行处理。因此，传统IT环境通常无法扩展来应对AI应用所需的速度和大量的工作负载。
l 新瓶颈
即使在较为稳定的网络和平台上运行，处理AI数据时也会出现不可预见的问题。这是因为处理庞大的AI数据需要简单的IT体系架构，而这正是传统的IT体系结构所缺乏的。
l 应用的性能问题
为了进一步开发AI模型，或者与其他团队合作，数据科学家通常需要与其他团队和AI项目共享AI系统资源。当这种情况发生时，许多企业系统可能会变慢，这就容易在企业内引起焦虑，并影响到任务的完成期限。
解决方法：针对AI优化的解决方案
鉴于AI应用需要处理的视频、图像和音频数据量极大，采用NVIDIA等公司生产的并行化GPU是理想选择。为了给这些强大的GPU提供数据，针对AI优化的存储是必不可少的。归根结底，未经AI优化的环境无法支持GPU和存储之间高速且大吞吐量的数据传输。
DDN针对AI优化的A³I存储解决方案恰好能够提供帮助。多年来，DDN与NVIDIA紧密合作，为金融服务、自动驾驶和医学研究等行业提供强大的AI环境。内置并行文件系统EXAScaler的存储基础设施既能在本地部署又能在公有云(如AWS、Microsoft Azure和GCP)上使用。DDN针对AI尽可能地优化了文件系统采用的共享并行架构，以高吞吐量、低延迟和高并发的方式提供数据，在任意规模都很简单、易用。
相关新闻
暂无数据
