[生成式AI] 如何训练你的生成式 AI 巨龙

发布时间：

2023-06-19 11:00

无论你在何处，“生成式AI” 这个词都被当作下一件大事来谈论。“生成式AI” 通常会让人联想到ChatGPT（可进行有知觉聊天的机器人），以及“Dall-E” 或 “StableDiffusion” （用于创作令人惊叹的图像）。什么是生成式 AI ？它与普通AI 有什么不同？

大多数人对普通AI的概念比较熟悉 -- 你是否想到了手机上的人脸识别，购物推荐，或自动驾驶，或生产线上的缺陷检测。在这些应用场景背后，我们需要采集一套已知数据，例如面部图像，指纹，购买偏好，道路标识，生产线上的车辆或元件。我们把已知数据喂给系统，系统学习如何识别好坏，对错，安全与不安全。我们把所有数据转换为一系列优化过的数学参数，这些参数让我们在眨眼之间就可以画一张新图并创建一个推荐或给出一个答案。

然而，如果我们有一个AI模型，它能够解释生活的复杂性并且把它总结为一套基本特征（比如：猫/狗，左/右，两条腿的对，四条腿的错）, 那么我们能用相似的技术来生成一些新东西，它们会无缝地融入我们的世界吗?

我们希望AI不仅能识别一朵花，而且能描述这朵花，将其放入上下文中，并以一种特定的写作风格来分享更多的信息。毕竟，描述一朵美丽的花有多种方式，但只有莎士比亚写出了 ”玫瑰任改其名, 芳香依旧” 的句子。

生成式AI拓展了现有AI的概念，通过收集更多上下文信息和输入数据的丰富多样性让我们能够开发出比简单解释更宽泛的输出能力。以语言处理为例，尽管这个概念同样适合于图像，科学，工程和许多其他领域。

假设我们正在用AI阅读文本，那么一个普通AI系统会捕捉文本中的模式，进行分析和简化以识别关键特征。另一方面，如果我们想生成一些对应某种特定意思的新文本，我们需要采用一种方式来提取一些关键想法，而且能够构建一些听上去很自然的东西。问题在于“自然”是对话式的，不重复的，并且需要形成一种可辨认的风格（商务 vs 散文式的，押韵的短诗 vs 说唱乐, 讲话妙语 vs莎士比亚式十四行诗）。

因此，对于生成式AI，我们需要捕捉单词上下文的多种可能性，措词形式，以及论点贯穿文章的演变。从技术上讲，这意味着采用“注意力”的概念来分析相邻元素之间的关系，并且用“transformers” 来评估局部关系与总体内容之间的关联以推导出一篇文章或一张图片的更高级别的结构。

所有这些意味着要创建一个有许多参数的模型，并且用非常多的数据进行训练。众所周知，最初的ChatGPT采用了GPT-3.5 模型，它包含1750亿个参数。下一代GPT-4估计大1000倍。如此巨大的规模对于捕捉可能的输出的丰富性和多样性至关重要。反过来，这样的模型需要在非常大并有足够的变化来表达创造性的数据集上进行训练。模型需要多次反复读取训练数据以便提取和分析细粒度的关系，这些关系组成了我们想要探索的创意空间。

即使使用大型系统，模型训练也会花费数周或数月时间。最终，该过程的瓶颈在于：在系统中传输训练数据，以及在漫长的学习过程中写入检查点以保存中间结果。这些转换成对基础设施的需求即是：我们需要强大的计算系统，并且匹配可扩展、高吞吐的存储系统，以应对全球范围的生成式AI应用需求。