1.5 小结

生成式人工智能是一种能够生成各种形式的新内容(包括文本、图像、代码、音乐、音频和视频)的技术。

判别模型专门分配标签,而生成模型负责生成新的数据实例。

PyTorch具有动态计算图和GPU训练能力,非常适合深度学习和生成模型。

GAN是一种生成式建模方法,由生成器和判别器这两个神经网络组成。生成器的目标是创建逼真的数据样本,最大限度提高判别器认为这些样本是真实样本的概率;而判别器的目标是正确识别虚假样本和真实样本。

Transformer是一种深度神经网络,它利用注意力机制来识别序列中元素间的长程依赖关系。原始的Transformer有一个编码器和一个解码器。例如,当用于英语到法语的翻译时,编码器会将英语句子转换为抽象表示的向量,然后将其传递给解码器。解码器根据编码器的输出和之前生成的单词,每次生成一个单词的法语译文。