Skip to content
TheChatArchiveThe Chat Archive
Human-written demonstration (OpenAssistant volunteers)· OpenAssistant (human-written)Hugging Face OpenAssistant Conversations (oasst2)

什么是预训练语言模型?

In OpenAssistant data, “assistant” turns were written by human volunteers as demonstrations. They are not model outputs.
  1. User

    什么是预训练语言模型?

  2. Assistant

    预训练属于迁移学习的范畴。现有的神经网络在进行训练时,一般基于后向传播(Back Propagation,BP)算法,先对网络中的参数进行随机初始化,再利用随机梯度下降(Stochastic Gradient Descent,SGD)等优化算法不断优化模型参数。而预训练的思想是,模型参数不再是随机初始化的,而是通过一些任务进行预先训练,得到一套模型参数,然后用这套参数对模型进行初始化,再进行训练。在正式探讨自然语言处理的预训练之前,回顾一下计算机视觉领域的预训练过程。在图片分类任务中,常用的深度学习模型是卷积神经网络(Convolutional Neural Network,CNN)。对于由多个层级结构组成的CNN来说,不同层学到的图像特征是不一样的,越浅的层学到的特征越通用,越深的层学到的特征和具体任务的关联性越强。在图1中[6],对基于人脸(Faces)、汽车(Cars)、大象(Elephants)和椅子(Chairs)的任务而言,最浅层的通用特征“线条”都是一样的。因此,在大规模图片数据上预先获取“通用特征”,会对下游任务有非常大的帮助。 再举个简单的例子,假设一个《怪物猎人:世界》的游戏玩家想给游戏中的怪物(如飞雷龙、浮空龙、风漂龙、骨锤龙等)做一个多分类系统,而有标注的数据只有游戏中的若干图片,重新训练一个神经网络模型显然不太可能。

    幸运的是,现有的大规模图片数据库ImageNet 中一共有20000多类标注好的数据集,包含超过1400 万张图片。

    通过ImageNet 训练出来的CNN 网络参数,可以迁移至怪物猎人的训练任务中。

    在比较浅层的CNN网络初始化时,可以使用已经训练好的参数,而在模型的高层,其参数可以随机初始化。在训练怪物猎人的特定任务时,既可以采用冻结(Frozen)参数的方式,也就是浅层参数一直保持不变;也可以采用微调的方式,也就是浅层参数仍然随着任务的训练不断发生改变,从而更加适应怪物的分类。

    将图片转换为计算机可以处理的表示形式(如像素点的RGB 值),就可以输入至神经网络进行后续处理。

    对自然语言来说,如何进行表示是首先要考虑的问题。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.