ChatGPT背后原理综述-《预压模型基础综述:从BERT到ChatGPT的历史》pdf免费分享

本书介绍

预训练基础模型(PFMs)被视为具有不同数据形态的各种下游任务的基础。经过预训练的基础模型，如BERT、GPT-3、MAE、DALLE-E和ChatGPT，在大规模数据上进行训练，为各种下游应用提供合理的参数初始化。PFMs背后的预训练思想在大型模型的应用中起着重要的作用。作为一种迁移学习范式，预训练通过冻结和微调技术应用于计算机视觉，显示出良好的性能。自然语言过程中的词嵌入也可以看作是一种附属，但它存在着诸如一词多义等问题。与之前应用卷积和递归模块进行特征提取的方法不同，生成式预训练(GPT)方法应用Transformer作为特征提取器，并使用自回归范式在大数据集上进行训练。类似地，BERT应用转换器作为上下文语言模型在大型数据集上进行训练。

本书免费获取地址：ChatGPT背后原理综述-《预压模型基础综述:从BERT到ChatGPT的历史》pdf免费分享

最近，ChatGPT在大型语言模型上显示了巨大的成功，它应用了零样本或少量显示提示（prompt）的自回归语言模型。随着PFMs的非凡成功，AI在过去几年中在多个领域掀起了波澜。文献中已经提出了相当多的方法、数据集和评估指标，对更新调查的需求正在增加。这项研究提供了一个全面研究进展，目前和未来的挑战，以及在文本，图像，图表，以及其他数据形态的PFMs的机会。我们首先回顾自然语言处理、计算机视觉和图形学习中的基本组件和现有的预训练。然后，我们讨论针对其他数据形态的其他高级PFM和考虑数据质量和数量的统一PFM。此外，还讨论了PFM基础的相关研究，包括模型效率和压缩、安全性和隐私。最后，我们列出了关键的影响，未来的研究方向，挑战和开放的问题。我们希望这一调查能够对PFMs在人工智能的可扩展性、推理能力、跨领域能力、用户友好的交互能力、安全性和隐私保护能力方面的研究有所启发。

本书目录