DDN存储-企业AI存储:性能、规模、审计和治理,一个都不能少
发布时间:
2023-05-06 11:00
在上一篇题为《AI正在颠覆企业IT 如何驾驭不断变化的数据格局》的文章中,我们回放了DDN Webinar 视频的一部分。在此为您带来 DDN 公司高级产品副总裁 James Coomer 博士与 Register 科技传媒的 Tim Phillips 先生对谈的第二部分:他们就企业实施AI项目的数据挑战和解决方案进行了讨论, 本期精彩看点如下:
01 数据保护
数据保护对每个行业都至关重要,尤其对于生命科学数据或医学数据,需要确保数据受到保护,防止错误的人访问它们。正如DDN为英国大型AI超级计算机剑桥1号所做的那样,我们在存储系统中创建并开发了多租户的框架。即使用户共享一个物理基础设施(并且受益于共享硬件),但是DDN围绕数据集进行了非常严格的逻辑隔离,因此某一个应用程序只能看到与特定租户相关的数据。
02 大规模的挑战
很多企业认为他们现在就能解决实施AI项目时遇到的问题。但是,他们是在什么规模下解决这些问题的呢?往往只是在中等规模或标准规模上。然而,随着数据量增加,以及对快速移动数据的需求增加,真正的挑战在于:要在我们需要的大规模和高性能的条件下完成AI项目的实施,同时还需要结合多租户数据保护,安全或类似的功能, 这样周全的数据解决方案在市场上并不多见。
另外,你当前能想到的大规模,可能很快就会变成基本的要求,这种变化正是我们在过去两三年中看到发生在POD甚至SuperPOD系统上的情况。有的客户部署了大型系统并取得了成功,但是没过多长时间,曾经看上去极其雄心勃勃的大系统就全满了,它需要升级,替换和扩大。对于成功的AI项目来说,基本上都会经历这样强大的正反馈循环。
03 审计和治理
围绕大规模实施AI,与数据相关的挑战有很长一串,其中,特别严峻的挑战之一是审计和治理。孤岛式的基础设施让数据治理变得非常困难:孤岛式的基础设施不可能支持不同项目之间的数据共享,管理不同系统之间的安全域,并真正在组织中利用整个数据,因为它们是分离的。作为一个平台提供商,DDN解决这个问题的方法是通过构建集中化且可扩展的基础设施,而且我们能够保持性能。当你把事情集中起来时, 管理、命令和控制都会变得很容易。
从外部环境来看,世界各国都即将出台治理制度,这些制度不但将强制要求受监管行业中的企业, 而且将要求所有组织都强制执行一些标准,因此几乎没有一个行业不需要针对所收集的数据集进行非常严格的治理,例如,针对数据集的内容,数据集在哪儿,数据标注,在什么数据集上训练了什么模型等进行严格的治理。
04 存储守住公司生命底线
存储通常是一个基础设施中被低估的部分。人们考虑计算,考虑GPU,他们可能花很多钱在网络方面,但对存储的态度却是“我会使用我去年使用的东西”。现在还这样想有点奇怪,因为存储实际上是守住你公司的生命底线(即数据)的东西。一个典型的存储系统现在基本上是保存数据,使其不受损害和丢失,获得安全,提供监测,并能够以高性能方式推送数据。未来,存储还能做更多的事情,DDN已经通过简化堆栈做了许多工作。
请观看DDN Webinar精彩回放第二部分
点击了解更多关于DDN AI存储
相关新闻