Skip to content
The Chat Archive
gpt-4o-2024-05-13· OpenAI WildChat-4.8M (AI2)

请把以下文本转换为markdown格式:《2024 AI全局洞察与快速落地》 第一大部分(从大语言模型LLM到通用人工智能AGI(看清站位)) 第一部分的第一点(本课价值)…

  1. User

    请把以下文本转换为markdown格式:《2024 AI全局洞察与快速落地》
    第一大部分(从大语言模型LLM到通用人工智能AGI(看清站位)) 第一部分的第一点(本课价值) 第一部分的第二点(生成式AI简史) 第一部分的第三点(大语言模型LLM(三项技术突破)) 第一部分的第四点(AGI(通用人工智能)) 第一部分的第五点(LLM天花板) 第一部分的第六点(生成式时代人工智能发展的特点) 第一部分的第七点(大模型的底座作用及AI对各行业的影响)

    第二大部分(国内外AI现状与大众困惑(认清全局)) 第二部分的第一点 全球:百家争鸣 OpenAI Google Meta Anthropic Nvidia Mistral HuggingFace Microsoft... 第二部分的第二点 国内:群雄争霸 百度文心一言 阿里通义千言 腾讯元宝 天工AI 抖音豆包... 第二部分的第三点 普通人:如何借力Ai 祝我一臂之力(需求) 第二部分的第四点 最大问题:陷入局部而不自知; 第二部分的第五点 困惑点&坑点(如何选择?如何避坑?如何用好?)

    第三大部分(看清全局并快速上手的最佳策略) 第三部分的第一点 国内外众多模型评测 著名的llama家族

    第三部分的第二点 国内外众多应用(根据流量访问,已经圈定范围,依然乱花渐欲迷人眼) 第三部分的第三点 到底如何选择(亲测+诸多权威人士推荐/评测 并行) 第三部分的第四点 如何现场测试(提示词的写法+要点;结合自己掌握的知识库的测评问题设置) 第四大部分(现场测评:侧重推理和搜索能力) 第四部分的第一点 经典问题 第四部分的第二点 现实问题---prompt调优 第四部分的第三点 实时问题 第四部分的第四点 复杂问题 第四部分的第五点 专业问题 第五大部分(Embedding) 第五部分的第一点(向量化/Embedding 概念) 向量化 在深度学习中,向量化通常指的是将输入数据(如文本、图像等)转换为固定大小的向量表示,这些向量可以进一步用于模型的训练和推理。 特点: 高效性:通过同时对多个数据元素执行相同的操作,显著提高计算效率。 简化数据处理:将复杂的数据结构简化为易于处理的向量形式。

    Embedding Embedding是一种将离散数据(如单词、类别标签等)转换为连续向量表示的技术。在自然语言处理中,Embedding通过将每个单词映射到一个高维空间中的点(即向量),使得具有相似含义的单词在向量空间中彼此接近。这样,模型就可以在向量空间中进行数学运算,如计算向量之间的距离或相似度,从而理解单词之间的关系。 特点: 语义信息保留:Embedding向量能够捕捉单词的语义信息,使得模型能够理解单词之间的复杂关系。 灵活性:可以根据不同的任务和数据集学习得到不同的Embedding表示。

    Embedding技术: Embedding技术就像是这个字典的现代版,但它不是简单地给每个单词一个编号,而是给每个单词一个复杂的数字“指纹”。 这个“指纹”是一个由很多数字组成的向量,就像是一串数字序列。这个序列能够捕捉到单词的很多特性: 比如它的意思、它在句子中的作用,甚至是它的情感色彩。如果我们有“快乐”和“悲伤”这两个词,Embedding技术会生成两个不同的向量。尽管这两个词在字典里可能紧挨着,但它们的向量会相差很远,因为它们表达的情感是相反的,计算机可以通过比较这两个向量的距离,来理解这两个词在情感上的不同。

    Embedding 层 Embedding 层是神经网络中的一个基础组件,它将整数索引(代表离散的类别)映射到固定大小的密集向量。每个整数索引对应一个唯一的向量,这些向量通常在训练过程中学习得到。在 NLP 中,Embedding 层通常用于将单词(通过其索引表示)映射到向量,这些向量可以捕捉到单词的语义信息。 在机器学习和深度学习中,嵌入层(embedding layer)是一种特殊的神经网络层,它的作用是将离散的输入数据(如单词、物品、用户ID等)映射到连续的向量表示。 这种映射是通过一个可训练的权重矩阵实现的,该矩阵的行数等于输入数据的类别数(例如,词汇表中的单词数),列数等于嵌入向量的维度。

    例如,假设我们有一个包含 10,000 个单词的词汇表,我们想要将每个单词映射到一个 128 维的向量。那么,Embedding 层将会有 10,000 个输入(每个单词一个)和 128 个输出(每个单词的向量表示)。 在 PyTorch 中,Embedding 层的基本用法如下: import torch.nn as nn 假设词汇表大小为 10,000,嵌入向量的维度为 128 embedding_layer = nn.Embedding(num_embeddings=10000, embedding_dim=128) embedding的输入时是整数张量,每个整数代表一个词汇的索引,输出是一个浮点数张量,每个浮点数都代表着对应词汇的词嵌入向量。 tips:0阶张量表示的是一个标量,1阶张量表示的是一个向量,2阶张量表示的是一个矩阵 第五部分的第二点(向量化/Embedding 图示 ) 如下图所示,文本向量化模型通过将“生活日常知识”转换为数值向量,可以将文本信息表示成能够表达文本语义的向量 第五部分的第三点(Embedding 层的作用和语义理解) 嵌入层的作用 1.降维: 在自然语言处理和机器学习中: 高维空间通常指的是包含大量特征或属性的数据集所在的空间。这些特征或属性可以是数值型的,也可以是分类型的,它们共同描述了数据点的各个方面。 低维空间则是指维度较低的空间,即包含较少特征或属性的数据集所在的空间。在低维空间中,数据点可以通过较少的参数来描述,这通常使得数据的可视化和分析变得更加容易。 降维的过程就是将数据点从高维空间转换到低维空间的过程,同时尽可能保持数据点之间的相对距离和结构不变。(即:尽可能保留数据的关键信息) 在自然语言处理中,降维通常通过嵌入层来实现,如Word2Vec、GloVe或Transformer模型中的嵌入层,将高维的one-hot编码转换为低维的连续向量,这些向量能够捕获单词间的语义和语法关系,从而在低维空间中表示文本数据。 降维的目的是在减少数据维度的同时,尽可能保留数据的关键特征。 最终目的是将高维的文本向量压缩到低维空间中,是为了能够在低维空间中更有效地分析和处理数据,以便于分析和理解。例如通过可视化来发现模式、通过简化模型来减少计算成本、或通过压缩数据来减少存储需求。


    嵌入层中的降维确实可以被视为一种在保持语义或关键特征前提下的数据压缩技术。不仅减少了数据的维度,而且还保留了数据的重要结构和信息 保持语义或关键特征 语义保持:嵌入层通过将高维的one-hot编码转换为低维的连续向量,单词的向量表示仍然能够反映出它们在语义上的相似性或差异 关键特征保留:在降维过程中,嵌入层通过学习,能够保留和浓缩数据中的关键特征。例如,一个单词的嵌入向量可以捕获到其在不同上下文中的使用频率、语法角色和语义含义,这些都是理解文本数据的关键特征。 变相压缩技术 数据压缩:从信息论的角度来看,嵌入层的降维过程可以视为一种数据压缩技术。通过将高维的离散表示转换为低维的连续表示,不仅减少了数据存储和处理所需的资源,还通过学习得到了更加紧凑和高效的数据表示。 效率与性能:这种压缩技术在提高计算效率和模型性能方面发挥了重要作用。低维的嵌入向量使得模型在进行计算时更加高效,同时也能够捕获到数据的深层结构,从而在各种NLP任务中表现出色。

    2.泛化:嵌入层可以学习到输入数据的分布式表示,这种表示能够捕捉到数据中的语义或结构信息,有助于模型泛化到未见过的数据。 3.相似性:在嵌入空间中,语义上相似或相关的输入数据(如单词的同义词、物品的类似类别等)会被映射到相近的向量,这使得模型能够利用这些相似性。 4.效率:相比于使用one-hot编码,嵌入向量提供了更加紧凑的数据表示,可以减少模型的参数数量,提高训练和推理的效率。 嵌入层被定义为网络的第一个隐藏层


    Embedding Dimensions(嵌入尺寸) 所谓的“低纬”指的是:Embedding Dimensions(嵌入尺寸);指在一个嵌入模型中,用于表示每一个独特输入(如单词、句子或实体)的向量维度数。换句话说,它定义了每个嵌入向量在向量空间中的长度或宽度,即有多少个数值组成这个向量。 增加嵌入维度能够为模型提供更丰富的表示能力,允许模型学习到更复杂的特征和关系,但也相应地增加了模型的复杂性和计算成本。因此,选择合适的嵌入维度是设计嵌入模型时的一个重要决策点。 语义表示:更高纬的Embedding Dimensions能够为输入提供更丰富、更细致的语义表示。这意味着模型能够学习到更复杂的上下文关系和特征,

    Model Size 向量模型大小(参数数量)"Model Size (Million Parameters) 通常指的是在向量空间中表示模型所需的参数总量。 即:Model Size=词汇表大小(num_embeddings)✖每个嵌入向量的维度(embedding_dim) num_embeddings 表示词汇表的大小,即模型能够区分的不同类别或单词的数量。 embedding_dim 是每个单词或类别对应的嵌入向量的维度,越多使模型越能捕获更复杂的语义特征

    第六大部分(核心概念:Transformer架构) 第六部分的第一点(Transformer架构) https://arxiv.org/abs/1706.03762(Transformer论文 素材) 一切源于2017年谷歌Brain团队那篇鼎鼎大名的文章*“Attention Is All You Need”*(注意力就是你所需要的一切)

    嵌入层被定义为网络的第一个隐藏层

    第六部分的第二点(架构解读) 1.嵌入层(Embedding Layer): 2.位置编码(Positional Encoding): 3.编码器(Encoder): 结构:由多个相同的编码器层堆叠而成,每个编码器层包含两个主要子层: 1).多头自注意力层(Multi-Head Attention) 2).前馈全连接层(Feed Forward Neural Network) 4.解码器(Decoder): 1).带掩码的多头自注意力层:用于处理解码器自身的输入序列。 2).编码器-解码器多头注意力层:允许解码器关注编码器的输出。 3).前馈全连接层:对注意力层的输出进行进一步处理。 5.输出层(Output Layer): 功能:将解码器输出的向量转换为最终的输出维度,如词汇表大小的向量。

    第六部分的第三点(核心逻辑要点) 1.Transformer架构中的嵌入层(Embedding Layer):理解并处理文字的语义相似性; 2.多头自注意力层(Multi-Head Attention):主要用于处理输入序列中各个元素(单词或字符)之间的上下文相关性;(单词间相似度/相关性得分即注意力权重) 3.编码器通过多层堆叠的自注意力层和前馈神经网络层,将输入序列转换为一组编码向量; 4.解码器则根据编码器的输出(以及可能的前一个解码器输出,在生成任务中)来生成输出序列(例如,目标语言句子); 5.位置编码(Positional Encoding):由于Transformer模型不包含循环结构或卷积操作,因此需要一种方式来引入序列中元素的位置信息。位置编码是一种用于表示元素位置的技术,通常是一个与嵌入向量维度相同的矩阵。

    第六部分的第四点(位置编码/编码器和解码器结构) 6.编码器-解码器结构(Encoder-Decoder Architecture): 1)Transformer模型通常用于序列到序列(Sequence-to-Sequence)任务,如机器翻译。在这种情况下,模型包括编码器和解码器两部分。编码器用于将输入序列编码成一种语义表示,而解码器则在此基础上生成目标序列。编码器和解码器都由多个层堆叠而成,每个层都包含多头自注意力和前馈神经网络子层。 2)在编码器中,输入序列的嵌入向量首先经过位置编码,然后经过多个编码器层的处理。每个编码器层包括多头自注意力和前馈神经网络子层,以及残差连接和层归一化操作。 3)在解码器中,目标序列的嵌入向量首先经过位置编码,然后经过多个解码器层的处理。每个解码器层包括多头自注意力、编码器-解码器注意力和前馈神经网络子层,以及残差连接和层归一化操作。

    第六部分的第五点(多头注意力) 1.注意力机制(attention)是人工神经网络中一种模仿认知注意力的技术。这种机制可以增强神经网络输入数据中某些部分的权重,同时减弱其他部分的权重,以此将网络的关注点聚焦于数据中最重要的一小部分。数据中哪些部分比其他部分更重要取决于上下文。可以通过梯度下降法对注意力机制进行训练。 2.自注意力机制(Self-Attention Mechanism): 1)自注意力机制是Transformer模型的核心,它允许模型在处理序列数据时,同时考虑到序列中所有位置之间的关系。自注意力机制通过计算每个位置对应的注意力权重,将输入序列中的每个元素与其他所有元素进行交互。 2)在计算自注意力权重时,首先将输入序列的嵌入向量分别映射为查询(query)、键(key)和值(value)向量。然后,计算查询向量和键向量之间的相似度得分,通常使用点积操作。得分经过缩放(除以特征维度的平方根)和softmax归一化处理,得到每个位置对其他位置的注意力权重。最后,将注意力权重与值向量相乘并求和,得到每个位置的自注意力输出。 3.Multi-Head Attention(多头注意力)是基于自注意力机制的一种扩展或改进方法。 自注意力机制是Multi-Head Attention的基础,后者通过引入多个头来并行学习多种不同的注意力权重,从而提高了模型的表达能力和泛化能力。

    第六部分的第六点(举例) Transformer 的作者为了注意力的目的而减小向量的大小,但同时具有多个并行的注意力机制。这使得神经网络能够多次捕捉不同类型的上下文。此外,让自注意力层重复多次可以让网络将更大的短语中的上下文结合起来。 例如,在“这是 Apple 1984 年广告的仿制品”这句话中。首先,需要消除“Apple”一词的歧义,在广告中,1984 肯定是公司而不是水果。然后你就有了上下文来理解 1984 年意味着什么。然后你将“它”所指的内容置于上下文中。 比如, “我买了一张光盘”,这里“光盘”指的是具体的圆形盘片,而在“光盘行动”中,“光盘”则指的是把餐盘里的食物吃光,是一种倡导节约的行为。语义完全不一样的词向量却是固定的。相比之下,引入自注意力机制的模型,能够提供动态的词义理解。这意味着它可以根据上下文动态地调整词义,使得同一个词在不同语境下有不同的向量表示。在之前的例子中,“光盘”这个词在两个句子中会有不同的向量,从而更准确地捕捉其语义。 当你需要一个接一个地执行一系列推理时,多层自注意力变得非常有用。

    第六部分的第七点(分层与参数、维度的关系) 1.分层:Transformer模型通过堆叠多个编码器层和解码器层来逐步提取和转换输入数据的特征。每一层都会在前一层的基础上进一步处理数据,并通过学习到的参数来更新数据表示。 2.参数:每一层的子层(如自注意力层、前馈全连接层)都有自己的参数,这些参数在训练过程中会被更新以优化模型性能。参数的数量与层数、子层的复杂度以及嵌入向量的维度等因素有关。 3.维度:嵌入向量的维度(embedding_dim)是模型处理数据时的基本维度。在Transformer模型中,这个维度会被贯穿到整个模型中,包括位置编码、自注意力计算、前馈全连接层等。同时,多头自注意力层中的“头”数也会影响模型处理数据的并行度和复杂度。 总结:Transformer模型的分层结构、分层与参数以及维度的关系是相互关联的。通过堆叠多个编码器层和解码器层,并使用大量的参数来更新数据表示,Transformer模型能够有效地处理序列数据并生成高质量的输出。

    第六部分的第八点(大模型的预训练 自注意力机制 嵌入模型 三者关系) Embedding层: 为文本提供了一个基本的向量表示,而Transformer模型的自注意力层则通过计算并存储文本块之间的关系,进一步提升了文本向量的表示能力,从而实现了对语义的深刻理解。 自注意力机制: 本身并不直接参与Embedding向量的生成过程,而是可以在生成这些向量所依赖的模型(如Transformer模型)中作为关键组件。 1.文本表示增强 2.语义相关性建模 3.并行处理 Embedding层负责将文本块(如单词、句子等)转换为初始的向量表示,而自注意力机制则在这些向量表示的基础上,通过计算它们之间的相关性来生成最终的表示向量。

    回顾一下他们的核心定位: Embedding 主要处理语义相似性:通过捕捉词汇之间的语义关系,Embedding 向量可以反映词汇的语义相似性。 自注意力机制处理语义相关性:通过考虑整个序列的上下文,自注意力机制帮助模型理解词汇之间的深层语义联系,从而捕捉语义相关性。 Embedding 侧重于词汇的语义相似性,而自注意力机制则侧重于句子或文档中词汇之间的语义相关性。

    大模型的预训练 自注意力机制 嵌入模型 三者关系 1.大模型的预训练过程中,一定会用到嵌入层或嵌入模型来实现向量化。 1)嵌入层/嵌入模型:大模型预训练的必要组成部分,用于实现输入数据的向量化。 2)嵌入模型生成的向量表示通常会被用作下游任务(如文本分类、机器翻译等)的输入。 2.大模型的预训练不一定非要用到自注意力机制,但当前主流的大模型确实都会用到自注意力机制。 1)自注意力机制:当前主流大模型常用的技术手段,用于提升模型在处理序列数据时的性能。 2)关系:嵌入层和自注意力机制在大模型中各司其职,但也可以相互结合以提升模型的性能。嵌入层提供输入数据的向量化表示,而自注意力机制则帮助模型更好地理解和处理这些向量之间的关系。

    第六部分的第九点(Transformer模型优势总结) 相比之前占领市场的LSTM和GRU模型,Transformer有两个显著的优势: 1.Transforner能够利用分布式GPU进行并行训练,提升模型训练效率。 2.在分析使用更长的文本时,捕捉间隔较长的语义关联效果更好 在著名的SOTA机器翻译榜单上,几乎所有排名靠前的模型都使用Transformer

    第七大部分(核心概念:SFT 数据集) 第七部分的第一点(基本概念) 解读1: SFT训练是指在预训练模型的基础上,使用有标签的数据集对模型进行微调,以使其更好地适应特定任务或数据集。这个过程涉及到调整模型的权重,使其更好地匹配特定任务的数据分布。 解读2: SFT,即监督微调(Supervised Fine-Tuning),是机器学习和深度学习领域中的一种常见模型训练技术,尤其是在预训练模型的基础上进行特定任务优化的过程中。

    第七部分的第二点(SFT的训练过程) 1.预训练阶段: 使用大量无标签数据对模型进行预训练,使其学习语言的基本结构和模式。预训练阶段会产出一个基座大模型,通常被称为预训练模型。 2.创建目标模型: 创建一个新的神经网络模型,即目标模型。目标模型复制了源模型(预训练模型)上除了输出层外的所有模型设计及其参数。这些模型参数包含了源数据集上学习到的知识,且这些知识同样适用于目标数据集。 3.微调阶段: 1)为目标模型添加一个输出层,其输出大小为目标数据集类别个数,并随机初始化该层的模型参数。 2)在目标数据集上训练目标模型时,将从头训练到输出层,其余层的参数都基于源模型的参数进行微调。在训练过程中,通过设置很小的学习率,从而达到微调的目的

    基座大模型


    基座大模型+Fine-Tune

    第七部分的第三点(优点与局限性) SFT训练的优点 1.计算成本低:相对于预训练,SFT方法在计算成本上较低,因为它只微调了模型的部分参数,而不是从头开始训练。 2.高效性:SFT能够有效地利用预训练模型的通用知识,同时通过微调来适应特定的应用场景,使得模型在执行特定任务时表现得更加精确。 3.保持通用性:SFT不会使模型失去其通用问题解决能力,因为它是为了模仿正确的风格或行为而进行微调,而不是专门为解决特定任务而设计。 SFT训练的局限性 1.数据依赖:SFT需要有标签的数据集来进行微调,这限制了其在某些缺乏标注数据的场景下的应用。 2.任务适应性:SFT可能不适用于所有类型的任务,特别是在任务差异较大或数据集分布差异较大的情况下。

    第七部分的第四点(无标签数据上进行无监督学习) 机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。

    机器学习:监督学习 无监督学习 半监督学习


    文心: 1.无标签数据:指的是没有明确标注(如分类标签、边界框等)的数据集。这些数据通常是从互联网、传感器或其他数据源中获取的,但未经人工或自动标注过程。 2.无监督学习:它利用数据本身的特性来生成监督信号,从而训练模型。在无标签数据上进行自监督学习,意味着模型需要通过对数据的某种变换或处理来发现并利用其中的规律或模式,进而学习数据的特征表示。 通义: 1.定义:无监督学习是一种机器学习技术,其中模型通过从无标签数据中挖掘内在结构和模式来学习有用的表示。这种方法不需要人工标注的标签,而是依靠数据本身固有的属性来指导学习过程。 2.应用:在自然语言处理中,例如,模型可以尝试预测句子中被遮盖的词语(掩码语言模型任务),或预测下一句话是否是当前句子的下文(下一句预测任务)。通过这些任务,模型学会理解语言的上下文关系和语法结构。

    自监督学习----无监督学习中的一种

    目标不同:自监督学习的目标是学习有用的特征表示,以便在下游有监督任务中取得更好的性能;而无监督学习的目标则是发现数据的内在结构和模式,用于数据探索和理解。 方法不同:自监督学习通过设计预训练任务来生成伪标签,并利用这些伪标签进行监督训练;而无监督学习则完全不依赖标签,直接分析数据的结构和模式。

    第七部分的第五点(有标签签的数据集) 文心: 有标签数据集是指每个数据点都带有明确标注(标签)的数据集。这些标签可以是分类标签(如“猫”、“狗”)、边界框(在图像中标注对象的位置)、时间戳(在音频数据中标注事件发生的时间)等。有标签数据集是监督学习算法训练的基础。 通义: 定义:有标签数据集包含了数据样本及其对应的标签或类别。在监督学习任务中,模型使用这些标签来学习如何正确分类或预测新数据。 示例:在文本分类任务中,数据集可能包含新闻文章及其所属的主题类别(如体育、科技、政治等)。模型通过学习这些文章的内容和对应的类别,来预测新文章的主题。

    为何需要有标签的数据集:

    大模型的“幻觉”: 幻觉的基本定义:大模型生成看似合理的内容,其实这些内容是不正确的或者是与输入Prompt无关,甚至是有冲突的现象。 来自人工智能研究中心Q(Center for Artificial Intelligence Research)的一篇研究论文[2]将LLM 的幻觉定义为"生成的内容与提供的源内容不符或没有意义”。

    逻辑谬误:模型在进行推理时出现了错误,提供错误的答案。 捏造事实:模型自信地断言不存在的事实,而不是回答“我不知道”。例如:谷歌的 AI 聊天机器人 Bard 在第一次公开演示中犯了一个事实错误[3]。 数据驱动的偏见:由于某些数据的普遍存在,模型的输出可能会偏向某些方向,导致错误的结果。例如:自然语言处理模型中发现的政治偏见[4]。

    第七部分的第六点(数据集收集 标注到数据管理) 收集和整理针对特定任务的标注数据集(以文本分类为例): 1.确定标注任务: 2.准备数据集: 1)收集数据:从各种来源(如新闻网站、社交媒体、RSS订阅等)收集大量的文本数据。 2)清洗数据:去除噪声(如广告、无关链接、HTML标签等)、处理缺失值、修正拼写错误等。 3.制定标注规则 4.选择标注工具: 可以是专业的标注软件、在线平台或自定义开发的工具。

    5.进行标注: 常是一个耗时且需要人工干预的过程,但可以借助自动化工具进行辅助标注以提高效率。 6.质量控制: 对标注的数据进行质量控制,包括验证标注的准确性、一致性和完整性。可以通过交叉验证、多人标注后取交集或并集等方式来提高标注质量。 7.数据管理: 整理和管理,包括格式化存储、版本控制等。确保数据的可追溯性和可重复性。 8.数据增强(可选): 如通过同义词替换、句子重组等方式生成更多的训练样本,以提高模型的泛化能力。

    第七部分的第七点(数据集的划分) 数据集划分是机器学习实践中的一项基本要求,其主要目的是确保模型评估的准确性和泛化能力。 1.训练集:用于模型的训练,使模型学习数据的分布和特征。 2.验证集:用于调整模型的参数和超参数,监测模型在未见数据上的表现,帮助防止过拟合。 3.测试集:独立于训练和验证过程,用于最终评估模型的泛化能力,即模型在新数据上的表现。

    划分原则: 比例划分:常见:如80%的训练集,10%的验证集,10%的测试集。比例可以根据数据量和任务需求调整,但通常保证验证集和测试集足够大以评估模型的稳定性。 随机性和代表性:划分时应确保每个子集都能反映数据的整体分布,避免偏差。这通常通过随机抽样完成,但同时注意保持各类别数据的比例一致。 避免数据泄露:确保训练集、验证集和测试集之间没有重叠,防止模型在测试集上过拟合。

    第八大部分(主流大模型的预训练与微调 LoRA 微调参数) 第八部分的第一点(主流大模型的预训练与微调) 当前主流的大模型,如BERT、GPT系列、T5等,确实遵循了一个普遍的训练流程:先进行自我监督学习的预训练,然后通过有标签数据集进行进一步的训练或微调。这种两阶段的训练流程被称为预训练-微调范式。 1.预训练阶段:模型在大量无标签数据上通过自我监督学习任务(如掩码语言模型、下一句预测等)进行训练,以学习通用的语言表示和结构。 2.微调阶段:预训练模型在特定的有标签数据集上进行微调,以适应下游任务。这个阶段可能包括SFT(监督微调)或更参数高效的微调方法,如LoRA,以使模型更擅长解决特定任务。 这种训练流程的优势在于,预训练模型能够从大量数据中学习到丰富的语言知识,而微调阶段则使模型能够针对特定任务进行优化,从而在下游任务上展现出卓越的性能。

    第八部分的第二点(LoRA是什么?) LoRA(Low-Rank Adaptation of Large Language Models) LoRA之于大语言模型,就像设计模式中的装饰器模式:装饰器模式允许向一个对象添加新的功能,而不改变其结构。具体来说,装饰器模式会创建一个装饰类,用来包装原有的类,并在保持原有类方法签名完整性的前提下,提供额外的功能。 LoRA,全称为Low-Rank Adaptation,是一种微调大型语言模型的技术。LoRA通过向大型语言模型添加一层额外的、低秩的可训练权重,来增强或调整模型的功能,而不需要改变原有模型的结构或重新训练整个模型。这就像是用装饰器包装了一个对象,增强了其功能,但没有改变原有对象的本质。 LoRA的关键思想是在模型的某些部分(通常是Transfomer注意力机制的权重矩阵)中引入低秩矩阵(低秩就是矩阵的行和列相对大模型的矩阵比较少)。在前向传播和反向传播过程中,这些低秩矩阵与大模型的权重矩阵相结合,从而实现对模型的微调。 冻结一个预训练模型的矩阵参数,选择用A 和 B 矩阵来替代,在下游任务时只更新A和 B

    第八部分的第三点(LoRA的优势和应用场景) LoRA优势 高效:微调过程中需要的计算资源和存储空间相对很少,如果训练数据只是几千条对话数据,我们可以在分钟级的时间内完成微调。 灵活:因为引入的参数数量相对较少,可以在一定程度上避免过拟合问题,使得模型更容易适应新任务。 因此,研究人员和开发者使用LoRA,可以在不牺牲模型性能的前提下,以较低的成本对模型进行有效的定制和优化。 LoRA应用场景 LoRA(Low-Rank Adaptation): 是一种用于微调大模型的高效技术,尤其适用于资源受限的场景。LoRA通过引入低秩矩阵来修改原有模型的权重矩阵,而非直接修改整个矩阵,从而大大减少了需要调整的参数数量。这使得LoRA成为微调大模型时节省计算资源和存储空间的有效方法。

    第八部分的第四点(LoRA之于微调) 文心: LoRA和微调的关系:LoRA(Low-Rank Adaptation)是一种微调(Fine-tuning)技术,专门用于大模型的快速适应。它通过向模型的特定部分(如Transformer的注意力权重矩阵)添加低秩矩阵来实现微调,而不是直接修改原始大模型的全部参数。这样做可以显著减少参数更新的数量和所需的计算资源。

    通义: LoRA与微调的关系:LoRA(Low-Rank Adaptation)是一种模型微调技术,它通过引入低秩矩阵来修改大型预训练模型,而不是直接在原模型的大规模权重上进行微调。这意味着LoRA提供了一种更为轻量级和高效的微调方式,特别适合于资源受限环境或快速实验。尽管LoRA因其高效性和灵活性受到关注,但它并不是微调的唯一方法,其他技术如Adapter、BitFit等也是常用的微调策略。

    第八部分的第五点(SFT VS LoRA ) SFT VS LoRA联系与区别 共同目标:SFT和LoRA都是为了提高大语言模型在特定任务上的表现而设计的微调方法。 参数调整:SFT调整模型的部分或全部参数,而LoRA仅调整一小部分参数。 资源需求:LoRA相比SFT通常需要更少的计算资源和时间。 泛化能力:LoRA在数据量较小的任务上可能有更好的泛化能力,因为它的参数调整更为保守。

    第八部分的第六点(SFT和全参数/部分参数微调) SFT(Supervised Fine-tuning),即监督微调,通常指的是对预训练模型进行的一种调整过程,其中使用带标签的监督数据集来针对特定任务进行优化。关于它是全参数微调还是部分参数微调,这实际上取决于实施的具体策略。 1.全参数微调(Full Parameter Fine-tuning):在这种情况下,模型的所有参数都会在微调过程中进行更新。这意味着从预训练阶段学到的权重会被根据新任务的需求进一步调整,包括模型的底层和高层参数。这对于那些与预训练任务相差较大或者需要模型深入学习特定领域知识的任务来说是常见的做法。 2.部分参数微调(Partial Parameter Fine-tuning):有时也称为“固定层微调”或使用适配器(Adapters)等方法,只更新模型的一部分参数,而保持预训练模型的大部分权重不变。这样做可以减少对计算资源的需求,并有可能减少过拟合,特别是在数据量有限的情况下。例如,可能只微调输出层,或者在Transformer模型中仅调整新增的适配器模块。 SFT本身并不限定于上述任何一种策略,它可以是全参数微调,也可以是部分参数微调,具体取决于实际应用场景和资源约束。在实践中,研究者和开发者会根据任务的特性、可用资源和对模型泛化能力的需求来选择最合适的微调策略。

    第八部分的第七点(微调的核心参数) LoRA Rank 维度计数,模型权重的更新量。值越大越文件越大,内容控制力更强;较低的值则表示文件更小,控制程度较低。 对于较为简单的任务或者数据量较小的应用场景,可以选择较低的值,比如4或8。这样可以保持模型的简洁性,减少所需的存储空间和计算资源,同时避免过拟合。 对于复杂的自然语言处理任务,特别是需要捕捉精细语义关系、句法结构或领域专业知识的任务,或者大规模训练数据时,可能需要选择较高的值,如128、256甚至1024以上,这样才有足够的容量来学习到复杂的模式。更高的LoRA Rank需要更多的显存支持。 LoRA Rank还应该与LLM的基础模型规模相匹配,百亿权重的模型可以设置更大值,因为它可以承受更多的权重调整而不会过拟合。

    LoRA Alpha 数值越高代表LoRA的影响力越大,默认是LoRA Rank值的两倍。当这个值较高时,适应新任务的能力会增强,但是对基础模型的影响会比较大,有过拟合的风险,尤其是在数据量有限的情况下。当这个值比较低时,对基础模型参数的改变较为温和,这可以保持预训练模型的泛化能力,但也会降低对新任务的适应性,特别是LoRA任务与预训练任务差异比较大时。

    Learning Rate

    学习率。机器学习在训练过程中会不断检查自己与训练数据的偏离程度,它有个名词叫损失(loss),一个合适的学习率会让损失逐渐收敛在一个最小值。如果学习率太大,步子就会迈的太大,不能获取较好的效果;但是如果学习率太小,又会训练的很慢,成本太高。


    LoRA Rank和LoRA Alpha的关联及区别

    LoRA Rank控制了调整的“容量”,而LoRA Alpha控制了调整的“力度”。 LoRA Rank控制了低秩矩阵的复杂度(即其维度),而LoRA Alpha则决定了这个低秩矩阵对基础模型影响的程度。两者共同决定了LoRA微调的效果。LoRA Rank是结构上的参数,影响模型的容量和表示能力;而LoRA Alpha是行为上的参数,控制模型对新任务的适应性和对基础模型的干扰程度。 较高的LoRA Alpha值增强了模型对新任务的适应性,但可能牺牲了对基础模型泛化能力的保持,增加了过拟合的风险

    学习率(Learning Rate),损失率(Loss Rate),学习率调度算法(LR Scheduler) 学习率决定了参数更新的步长大小。如果学习率太大,可能导致模型无法稳定收敛,错过最优解;如果学习率太小,则训练过程会非常缓慢,效率低下。 学习率和损失率的解读:学习率(Learning Rate)是模型参数更新的步长,影响模型训练的速度和稳定性。损失率(Loss Rate)或损失值(Loss Value)是模型预测结果与实际标签之间差异的度量,训练过程的目标是最小化这个损失值。通过调整学习率,可以控制模型在每次迭代中向损失值减小的方向迈进的步长大小。 学习率调度算法是一种动态调整学习率的方法,旨在在训练过程中根据模型的性能和训练轮次的变化,自动调整学习率的大小。线性衰减是一种常见的调度算法,它随着训练的进行逐渐降低学习率,以帮助模型在训练后期更加精细地调整参数。

    过拟合 概念及其影响因素 过拟合:过拟合是指模型在训练数据上表现良好,但在未见过的数据(测试数据或实际应用数据)上表现不佳的现象。这通常是因为模型在训练过程中学习到了训练数据中的噪声和异常值,导致模型泛化能力下降。 影响过拟合的因素:除了Epochs、LoRA Rank、LoRA Alpha外,还有学习率、训练数据量、模型复杂度等因素会影响过拟合。Learning Rate和LR Scheduler也会影响过拟合,因为它们控制了模型在训练过程中的学习速度和变化趋势。为了尽量减少过拟合,可以通过调整这些参数、增加训练数据量、简化模型结构等方式进行调参。

    结论: 一个好的模型与训练数据和训练参数都有很大的关系,很难一蹴而就。

    第九大部分(RAG) 第九部分的第一点(RAG的工作流程) 微调虽好,但还是有以下问题: 知识的局限性:模型自身的知识完全源于它的训练数据,而现有的主流大模型(ChatGPT、文心一言、通义千问…)的训练集基本都是构建于网络公开的数据,对于一些实时性的、非公开的或离线的数据是无法获取到的,这部分知识也就无从具备。

    幻觉问题:所有的AI模型的底层原理都是基于数学概率,其模型输出实质上是一系列数值运算,大模型也不例外,所以它有时候会一本正经地胡说八道,尤其是在大模型自身不具备某一方面的知识或不擅长的场景。而这种幻觉问题的区分是比较困难的,因为它要求使用者自身具备相应领域的知识。

    数据安全性:对于企业来说,数据安全至关重要,没有企业愿意承担数据泄露的风险,将自身的私域数据上传第三方平台进行训练。这也导致完全依赖通用大模型自身能力的应用方案不得不在数据安全和效果方面进行取舍。

    Token长度:LLM每轮对话有字符长度限制,如果输入内容超过这个限制,对话将无法继续,可能会导致不完整的回答或对话失败。此外,token的使用量直接影响成本。 因此,在使用LLM时,需要平衡回答的全面性和成本,合理控制token的使用量。

    显存问题:Transformer结构的模型,Context Length增加必然需要更多GPU显存,RAG检索的方式能在低显存占用的情况下高效利用文档信息。

    而模型微调并不是一个简单的工作,无论是从数据准备、算力资源、微调效果、训练时间等各个角度来看,随时用新产生的数据来进行微调都是不现实的,且最终微调的效果也无法保证,能够做到每月更新一次都已经是很理想的状态。

    RAG(Retrieval-Augmented Generation)的优势

    RAG减少了LLM幻觉:幻觉是指LLM产生高度简洁、连贯、合理且可信的答案。然而,这些回应实际上是不正确的; LLMs与事实的近似可以通过利用LLMs强大的上下文学习能力来弥补。这是通过在推理时注入具有高度上下文参考数据的提示来实现的。 源数据和参考数据与交互和对话相关联:RAG 是一种引入组织、企业或行业特定数据以及定义、术语等的简单方法。 自动化处理非结构化数据:对参考数据进行分块和索引的过程在很大程度上是一个自动化过程。因此不需要对数据进行人工注释。


    预训练 微调 推理与RAG的全局关系


    RAG纵深全盘流程


    RAG流程(3个核心步骤解读) 索引(indexing):文本索引的构建包括以下步骤:文档解析、文本分块、Embedding向量化和创建索引。 1.先将不同格式的原始文件解析转换为纯文本 对应:(文本预处理(Text Preprocessing)或数据清洗(Data Cleaning)) 2.再把文本切分成较小的文本块(Chunks)。 对应:(文本分割(Text Segmentation),常见的有句分割和固定长度分割) 3.通过Embedding为每一个文本块生成一个向量表示,用于计算文本向量和问题向量之间的相似度。 对应:(Word Embedding(词嵌入);句子甚至整个文档的Embedding) 4.创建索引将原始文本块和Embedding向量以键值对的形式存储,以便将来进行快速和频繁的搜索。 对应:(索引构建(Index Construction)和数据存储(Data Storage)) 创建索引:是将文本数据结构化的步骤,是一种存储和组织数据以支持快速搜索的技术。

    检索(Retrieval): 使用Embedding模型将用户输入问题转换为向量,计算问题的Embedding向量和语料库中文本块Embedding向量之间的相似度,选择相似度最高的前K个文档块作为当前问题的增强上下文信息。 常见的数据检索方法包括:相似性检索、全文检索等,根据检索效果,一般可以选择多种检索方式融合,提升召回率。 生成(Generation): 将检索得到的前K个文本块和用户问题一起送进大模型,让大模型基于给定的文本块来回答用户的问题。

    RAG的框架1----详细实现流程


    RAG框架2---线条形实现流程


    RAG的框架3---总结性简要流程(省去了输入词的嵌入模型处理)


    RAG---在流程框架图中的位置 1.RAG 被证明能显著提升答案的准确性,并特别是在知识密集型任务上减少模型的错误输出。通过引用信息来源,用户可以核实答案的准确性,从而增强对模型输出的信任; 2.RAG 有助于快速更新知识并引入特定领域的专业知识;


    RAG和Fine-tunning在“内容+LLM”全局优化大盘中的位置 Prompt:提示考试内容 但没告知考题 RAG:考试用的书(作弊一样)/实效性很好 微调:随时拿出知识 /时效不强

    短期记忆:RAG,解决知识依赖和知识更新 长期记忆:微调,强化模型泛化能力与特定任务适应性

    第九部分的第二点(问题点) 1.索引(Indexing)的三大挑战 1)不完整的内容表示:chunk的语义信息受到分割方法的影响,导致在更长的上下文中重要信息的丢失或隐藏。 2)不准确的chunk相似性搜索:随着数据量的增加,检索中的噪声增多,导致频繁与错误数据匹配,使检索系统变得脆弱和不可靠。 3)不明确的引用轨迹:检索到的chunk可能来源于任何文档,缺乏引用路径,可能导致存在来自多个不同文档的chunk,尽管这些chunk在语义上相似,但包含的内容完全不同的主题。

    2.文本的切分和嵌入(Chunking) 虽然将文档分成小块看似简单,但其实这个过程对于检索信息的效果有着重大影响。这主要体现在如何将这些文档块转换成电脑能够理解和比较的形式(即“嵌入”),进而影响这些块与用户搜索内容的匹配程度。 文档切分主要有两种方式:一种是基于形式的切分,比如利用标点和段落的结束;另一种是基于文档内容的意义进行切分。未来的研究需要探索这两种方法的优劣,以及它们对文档块转换和匹配过程的影响。建立一个比较不同切分技术的评估框架,特别是在查询相关性和检索准确度方面,将对该领域大有裨益。

    3.Prompt的作用 Prompt作为大模型的直接输入,是影响模型输出准确率的关键因素之一。在RAG场景中,Prompt一般包括任务描述、背景知识(检索得到)、任务指令(一般是用户提问)等,根据任务场景和大模型性能,也可以在Prompt中适当加入其他指令优化大模型的输出。 Prompt的设计只有方法、没有语法,比较依赖于个人经验,在实际应用过程中,往往需要根据大模型的实际输出进行针对性的Prompt调优。


    4.Preprocess Query RAG的一个主要挑战是它直接依赖用户的原始查询作为检索的基础。制定一个精确和清晰的问题很难,而轻率的查询结果会导致检索效果不佳。

    这一阶段的主要挑战包括:

    1)措辞不当的查询。问题本身复杂,语言组织不良。 2) 语言复杂性和歧义。语言模型在处理专业词汇或含义多义的模糊缩写时往往会遇到困难。


    第九部分的第三点(RAG检索的多个重要策略)

    为 RAG 系统配置有效的处理流程至关重要

    一个有效的 RAG 系统需要在块大小、嵌入策略、分块策略、检索策略、整合策略、上下文大小和提示方面进行精确调整。

    在RAG中,检索过程扮演着至关重要的角色。 利用预训练语言模型可以有效地表示查询和文本在潜在空间中,从而促进问题和文档之间的语义相似性建立,以支持检索。需要考虑以下三个主要因素:

    1)检索效率:检索过程应该高效,能够快速地返回相关的文档或答案。这要求在检索过程中采用高效的算法和数据结构,以及优化的索引和查询方法。 2)嵌入质量:嵌入向量应该能够准确地捕捉文本的语义信息。这要求使用高质量的预训练语言模型,以确保生成的嵌入向量能够在潜在空间中准确地表示文本的语义相似性。 3)任务、数据和模型的对齐:检索过程需要根据具体的任务需求和可用的数据来选择合适的模型和方法。任务、数据和模型之间的对齐是关键,可以通过合理的数据预处理、模型选择和训练来提高检索的效果。

    检索策略 案例1(判断检索):


    图解下面的说明: 左边是普通RAG的操作方法,先对query进行检索,然后把检索结果TOP N和原始query一起放入大模型,让大模型输出结果;

    右边用于判断query和检索到的模型之间的关系,判断是否需要进一步检索以及本身回复的质量。本质上多了4个判断: 1.此刻是否进行检索,输入为query或query以及回复y,输出为是、否以及继续。(Retrieve标签) 2.文档是否和query有关,输入为query和文档d,输出为相关和不相关。(IsREL标签) 3.文档是否足够支持回答query,输入为query、文档d和回复y,输出为完全支持、部分支持和不支持。(IsSUP标签) 4.回复是否有效,输入为query以及回复y,输出为1-5共5个档位。(IsUSE标签)


    检索策略 案例2(序列+并行求解):

    Query分解是通过将问题分解为子问题来改善问答效果的策略,分两条实现路径:(1)序列求解,将上一个子问题的答案与当前问题一并扔给LLM生成答案,再把当前生成答案与下一个子问题一起给LLM生成答案,直到最后一个子问题生成最终答案;(2)并行的独立回答问题,然后将多路答案合并为最终答案。


    检索策略 案例3(层级索引):

    如果需要从许多文档中检索信息,我们需要能够高效地在其中搜索,找到相关信息并将其合成一个带有来源引用的单一答案。 对于大型数据库,一种有效的方法是创建两个索引,一个由摘要组成,另一个由文档chunk组成,并进行两步搜索,首先通过摘要筛选出相关文档,然后仅在这个相关组内进行搜索。


    第九部分的第四点(RAG的挑战)

    潜在的故障点(Failure Points) FP1: 缺失内容。当提出无法使用现有文档解决的问题时,可能会出现失败。在有利的情况下,RAG系统将简单地回复一条消息,例如“抱歉,我不知道”。然而,如果问题与内容相关但缺乏具体答案,系统可能会被误导而提供响应。 FP2: 错过了最相关的文档。文档包含问题的答案,但排名不够高,无法呈现给用户。理论上,所有文档都会被排序并考虑进行进一步处理。然而,在实践中,仅返回前 K 个文档,其中 K 的值是根据性能指标选择的。 FP3: 不在上下文中。包含答案的文档已成功从数据库中检索,但未包含在用于生成响应的上下文中。当从数据库中检索多个文档并采用合并过程来提取答案时,就会出现这种情况。 FP4: 未提取。在这种情况下,答案就在所提供的上下文中,但大型语言模型无法准确提取它。当上下文中存在过多噪音或冲突信息时,通常会发生这种情况。

    FP5: 格式错误。该问题需要以特定格式(例如表格或列表)提取信息,但大型语言模型忽略了该指令。 FP6: 特定性错误。响应包含答案,但缺乏所需的具体性或过于具体,无法满足用户的需求。 FP7: 不完整。不完整的答案不一定是错误的,而是缺少一些信息,即使它存在于上下文中并且可以被提取。

    第九部分的第五点(About US) 我们的解决方案:在块大小、嵌入策略、分块策略、检索策略、整合策略、上下文大小和提示方面进行持续校准和精确调整。

    我们的RAG采用的架构图 方式1:


    我们的RAG采用的架构图 方式2:


    我们的RAG采用的架构图 方式3:

    如何解决四个核心需求: 1.既能文本搜索---处理精准匹配,同时又对专业术语效果显著; 2.又能语义搜索---理解语义相近,同时又对错误有较好的容错性;

    第十大部分(成熟且有价值的应用) 第十部分的第一点 企业/个人 知识库 第十部分的第二点 数字人 第十部分的第三点 真正的分身(Agent):大脑分身,让AI替代自己思考,把大模型当作一个大脑


    Agent不仅是个应用 更是一种设计思路


    智能体的架构

  2. Assistant

    《2024 AI全局洞察与快速落地》

    第一大部分(从大语言模型LLM到通用人工智能AGI(看清站位))

    第一部分的第一点(本课价值)

    第一部分的第二点(生成式AI简史)

    第一部分的第三点(大语言模型LLM(三项技术突破))

    第一部分的第四点(AGI(通用人工智能))

    第一部分的第五点(LLM天花板)

    第一部分的第六点(生成式时代人工智能发展的特点)

    第一部分的第七点(大模型的底座作用及AI对各行业的影响)

    第二大部分(国内外AI现状与大众困惑(认清全局))

    第二部分的第一点 全球:百家争鸣

    OpenAI、Google、Meta、Anthropic、Nvidia、Mistral、HuggingFace、Microsoft...

    第二部分的第二点 国内:群雄争霸

    百度文心一言、阿里通义千言、腾讯元宝、天工AI、抖音豆包...

    第二部分的第三点 普通人:如何借力Ai 祝我一臂之力(需求)

    第二部分的第四点 最大问题:陷入局部而不自知

    第二部分的第五点 困惑点&坑点(如何选择?如何避坑?如何用好?)

    第三大部分(看清全局并快速上手的最佳策略)

    第三部分的第一点 国内外众多模型评测

    著名的Llama家族

    第三部分的第二点 国内外众多应用(根据流量访问,已经圈定范围,依然乱花渐欲迷人眼)

    第三部分的第三点 到底如何选择(亲测+诸多权威人士推荐/评测 并行)

    第三部分的第四点 如何现场测试(提示词的写法+要点;结合自己掌握的知识库的测评问题设置)

    第四大部分(现场测评:侧重推理和搜索能力)

    第四部分的第一点 经典问题

    第四部分的第二点 现实问题---prompt调优

    第四部分的第三点 实时问题

    第四部分的第四点 复杂问题

    第四部分的第五点 专业问题

    第五大部分(Embedding)

    第五部分的第一点(向量化/Embedding 概念)

    向量化 在深度学习中,向量化通常指的是将输入数据(如文本、图像等)转换为固定大小的向量表示,这些向量可以进一步用于模型的训练和推理。

    特点:

    • 高效性:通过同时对多个数据元素执行相同的操作,显著提高计算效率。
    • 简化数据处理:将复杂的数据结构简化为易于处理的向量形式。

    Embedding Embedding是一种将离散数据(如单词、类别标签等)转换为连续向量表示的技术。在自然语言处理中,Embedding通过将每个单词映射到一个高维空间中的点(即向量),使得具有相似含义的单词在向量空间中彼此接近。这样,模型就可以在向量空间中进行数学运算,如计算向量之间的距离或相似度,从而理解单词之间的关系。

    特点:

    • 语义信息保留:Embedding向量能够捕捉单词的语义信息,使得模型能够理解单词之间的复杂关系。
    • 灵活性:可以根据不同的任务和数据集学习得到不同的Embedding表示。

    Embedding技术 Embedding 技术就像是这个字典的现代版,但它不是简单地给每个单词一个编号,而是给每个单词一个复杂的数字“指纹”。 这个“指纹”是一个由很多数字组成的向量,就像是一串数字序列。这个序列能够捕捉到单词的很多特性,比如它的意思、它在句子中的作用,甚至是它的情感色彩。如果我们有“快乐”和“悲伤”这两个词,Embedding 技术会生成两个不同的向量。尽管这两个词在字典里可能紧挨着,但它们的向量会相差很远,因为它们表达的情感是相反的,计算机可以通过比较这两个向量的距离,来理解这两个词在情感上的不同。


    Embedding 层

    Embedding 层是神经网络中的一个基础组件,它将整数索引(代表离散的类别)映射到固定大小的密集向量。每个整数索引对应一个唯一的向量,这些向量通常在训练过程中学习得到。在 NLP 中,Embedding 层通常用于将单词(通过其索引表示)映射到向量,这些向量可以捕捉到单词的语义信息。

    在机器学习和深度学习中,嵌入层(embedding layer)是一种特殊的神经网络层,它的作用是将离散的输入数据(如单词、物品、用户 ID 等)映射到连续的向量表示。这种映射是通过一个可训练的权重矩阵实现的,该矩阵的行数等于输入数据的类别数(例如,词汇表中的单词数),列数等于嵌入向量的维度。


    例如,假设我们有一个包含 10,000 个单词的词汇表,我们想要将每个单词映射到一个 128 维的向量。那么,Embedding 层将会有 10,000 个输入(每个单词一个)和 128 个输出(每个单词的向量表示)。

    在 PyTorch 中,Embedding 层的基本用法如下:

    import torch.nn as nn
    
    # 假设词汇表大小为 10,000,嵌入向量的维度为 128
    embedding_layer = nn.Embedding(num_embeddings=10000, embedding_dim=128)
    # embedding的输入时是整数张量,每个整数代表一个词汇的索引,输出是一个浮点数张量,每个浮点数都代表着对应词汇的词嵌入向量。
    

    tips: 0 阶张量表示的是一个标量,1阶张量表示的是一个向量,2阶张量表示的是一个矩阵。

    第五部分的第二点(向量化/Embedding 图示)

    如下图所示,文本向量化模型通过将“生活日常知识”转换为数值向量,可以将文本信息表示成能够表达文本语义的向量。

    第五部分的第三点(Embedding 层的作用和语义理解)

    嵌入层的作用

    1. 降维: 在自然语言处理和机器学习中:

      • 高维空间:通常指的是包含大量特征或属性的数据集所在的空间。这些特征或属性可以是数值型的,也可以是分类型的,它们共同描述了数据点的各个方面。
      • 低维空间:指维度较低的空间,即包含较少特征或属性的数据集所在的空间。在低维空间中,数据点可以通过较少的参数来描述,这通常使得数据的可视化和分析变得更加容易。
      • 降维的过程:将数据点从高维空间转换到低维空间的过程,同时尽可能保持数据点之间的相对距离和结构不变,即尽可能保留数据的关键信息。
      • 在自然语言处理中,降维通常通过嵌入层来实现,如 Word2Vec、GloVe 或 Transformer 模型中的嵌入层,将高维的 one-hot 编码转换为低维的连续向量,这些向量能够捕获单词间的语义和语法关系,从而在低维空间中表示文本数据。
      • 目的:在减少数据维度的同时,尽可能保留数据的关键特征。最终目的是将高维的文本向量压缩到低维空间中,是为了能够在低维空间中更有效地分析和处理数据,以便于分析和理解。例如通过可视化来发现模式、通过简化模型来减少计算成本、或通过压缩数据来减少存储需求。

    • 嵌入层中的降维确实可以被视为一种在保持语义或关键特征前提下的数据压缩技术。不仅减少了数据的维度,而且还保留了数据的重要结构和信息。
      • 保持语义或关键特征:
        • 语义保持:嵌入层通过将高维的 one-hot 编码转换为低维的连续向量,单词的向量表示仍然能够反映出它们在语义上的相似性或差异。
        • 关键特征保留:在降维过程中,嵌入层通过学习,能够保留和浓缩数据中的关键特征。例如,一个单词的嵌入向量可以捕获到其在不同上下文中的使用频率、语法角色和语义含义,这些都是理解文本数据的关键特征。
      • 数据压缩:
        • 从信息论的角度来看,嵌入层的降维过程可以视为一种数据压缩技术。通过将高维的离散表示转换为低维的连续表示,不仅减少了数据存储和处理所需的资源,还通过学习得到了更加紧凑和高效的数据表示。
        • 效率与性能:这种压缩技术在提高计算效率和模型性能方面发挥了重要作用。低维的嵌入向量使得模型在进行计算时更加高效,同时也能够捕获到数据的深层结构,从而在各种 NLP 任务中表现出色。

    1. 泛化:嵌入层可以学习到输入数据的分布式表示,这种表示能够捕捉到数据中的语义或结构信息,有助于模型泛化到未见过的数据。
    2. 相似性:在嵌入空间中,语义上相似或相关的输入数据(如单词的同义词、物品的类似类别等)会被映射到相近的向量,这使得模型能够利用这些相似性。
    3. 效率:相比于使用 one-hot 编码,嵌入向量提供了更加紧凑的数据表示,可以减少模型的参数数量,提高训练和推理的效率。嵌入层被定义为网络的第一个隐藏层。

    Embedding Dimensions(嵌入尺寸)

    • 所谓的“低维”指的是 Embedding Dimensions(嵌入尺寸);指在一个嵌入模型中,用于表示每一个独特输入(如单词、句子或实体)的向量维度数。换句话说,它定义了每个嵌入向量在向量空间中的长度或宽度,即有多少个数值组成这个向量。
    • 增加嵌入维度能够为模型提供更丰富的表示能力,允许模型学习到更复杂的特征和关系,但也相应地增加了模型的复杂性和计算成本。因此,选择合适的嵌入维度是设计嵌入模型时的一个重要决策点。
    • 语义表示:更高维的 Embedding Dimensions 能够为输入提供更丰富、更细致的语义表示。这意味着模型能够学习到更复杂的上下文关系和特征。

    Model Size

    • 向量模型大小(参数数量)指的是在向量空间中表示模型所需的参数总量。
    • 即:Model Size = 词汇表大小(num_embeddings)× 每个嵌入向量的维度(embedding_dim)
      • num_embeddings:表示词汇表的大小,即模型能够区分的不同类别或单词的数量。
      • embedding_dim:是每个单词或类别对应的嵌入向量的维度,维度越多使模型越能捕获更复杂的语义特征。

    第六大部分(核心概念:Transformer架构)

    第六部分的第一点(Transformer架构)

    Transformer论文 素材。

    一切源于2017年谷歌 Brain 团队那篇鼎鼎大名的文章*“Attention Is All You Need”*(注意力就是你所需要的一切)。

    嵌入层被定义为网络的第一个隐藏层。

    第六部分的第二点(架构解读)

    1. 嵌入层(Embedding Layer):
    2. 位置编码(Positional Encoding):
    3. 编码器(Encoder): 结构:由多个相同的编码器层堆叠而成,每个编码器层包含两个主要子层:
      1. 多头自注意力层(Multi-Head Attention)
      2. 前馈全连接层(Feed Forward Neural Network)
    4. 解码器(Decoder):
      1. 带掩码的多头自注意力层:用于处理解码器自身的输入序列。
      2. 编码器-解码器多头注意力层:允许解码器关注编码器的输出。
      3. 前馈全连接层:对注意力层的输出进行进一步处理。
    5. 输出层(Output Layer): 功能:将解码器输出的向量转换为最终的输出维度,如词汇表大小的向量。

    第六部分的第三点(核心逻辑要点)

    1. Transformer 架构中的嵌入层(Embedding Layer):理解并处理文字的语义相似性;
    2. 多头自注意力层(Multi-Head Attention):主要用于处理输入序列中各个元素(单词或字符)之间的上下文相关性;(单词间相似度/相关性得分即注意力权重)
    3. 编码器通过多层堆叆的自注意力层和前馈神经网络层,将输入序列转换为一组编码向量;
    4. 解码器则根据编码器的输出(以及可能的前一个解码器输出,在生成任务中)来生成输出序列(例如,目标语言句子);
    5. 位置编码(Positional Encoding):由于 Transformer 模型不包含循环结构或卷积操作,因此需要一种方式来引入序列中元素的位置信息。位置编码是一种用于表示元素位置的技术,通常是一个与嵌入向量维度相同的矩阵。

    第六部分的第四点(位置编码/编码器和解码器结构)

    1. 编码器-解码器结构(Encoder-Decoder Architecture):
      1. Transformer 模型通常用于序列到序列(Sequence-to-Sequence)任务,如机器翻译。在这种情况下,模型包括编码器和解码器两部分。编码器用于将输入序列编码成一种语义表示,而解码器则在此基础上生成目标序列。编码器和解码器都由多个层堆叠而成,每个层都包含多头自注意力和前馈神经网络子层。
      2. 在编码器中,输入序列的嵌入向量首先经过位置编码,然后经过多个编码器层的处理。每个编码器层包括多头自注意力和前馈神经网络子层,以及残差连接和层归一化操作。
      3. 在解码器中,目标序列的嵌入向量首先经过位置编码,然后经过多个解码器层的处理。每个解码器层包括多头自注意力、编码器-解码器注意力和前馈神经网络子层,以及残差连接和层归一化操作。

    第六部分的第五点(多头注意力)

    1. 注意力机制(attention):是一种模仿认知注意力的技术,可以增强神经网络输入数据中某些部分的权重,同时减弱其他部分的权重,以此将网络的关注点聚焦于数据中最重要的一小部分。数据中哪些部分比其他部分更重要取决于上下文。可以通过梯度下降法对注意力机制进行训练。
    2. 自注意力机制(Self-Attention Mechanism):
      1. 自注意力机制是 Transformer 模型的核心,它允许模型在处理序列数据时,同时考虑到序列中所有位置之间的关系。自注意力机制通过计算每个位置对应的注意力权重,将输入序列中的每个元素与其他所有元素进行交互。
      2. 在计算自注意力权重时,首先将输入序列的嵌入向量分别映射为查询(query)、键(key)和值(value)向量。然后,计算查询向量和键向量之间的相似度得分,通常使用点积操作。得分经过缩放(除以特征维度的平方根)和 softmax 归一化处理,得到每个位置对其他位置的注意力权重。最后,将注意力权重与值向量相乘并求和,得到每个位置的自注意力输出。
    3. Multi-Head Attention(多头注意力):是基于自注意力机制的一种扩展或改进方法。
      • 自注意力机制是 Multi-Head Attention 的基础,后者通过引入多个头来并行学习多种不同的注意力权重,从而提高了模型的表达能力和泛化能力。

    第六部分的第六点(举例)

    Transformer 的作者为了注意力的目的而减小向量的大小,但同时具有多个并行的注意力机制。这使得神经网络能够多次捕捉不同类型的上下文。此外,让自注意力层重复多次可以让网络将更大的短语中的上下文结合起来。

    例如,在“这是 Apple 1984 年广告的仿制品”这句话中。首先,需要消除“Apple”一词的歧

  3. User

    把文本转化为markdown的过程中,文字部分中的“---”是另起一段的意思,转换成markdown时该如何表示呢

  4. Assistant

    在 Markdown 中,用三个或更多的连字符(-) 表示分隔线。根据你的要求,“---”是另起一段的意思,所以我们在转换过程中可以将其替换为两个换行来另起一段。以下是转换的结果:

    # 《2024 AI全局洞察与快速落地》
    
    ## 第一大部分(从大语言模型LLM到通用人工智能AGI(看清站位))
    
    ### 第一部分的第一点(本课价值)
    
    ### 第一部分的第二点(生成式AI简史)
    
    ### 第一部分的第三点(大语言模型LLM(三项技术突破))
    
    ### 第一部分的第四点(AGI(通用人工智能))
    
    ### 第一部分的第五点(LLM天花板)
    
    ### 第一部分的第六点(生成式时代人工智能发展的特点)
    
    ### 第一部分的第七点(大模型的底座作用及AI对各行业的影响)
    
    ## 第二大部分(国内外AI现状与大众困惑(认清全局))
    
    ### 第二部分的第一点 全球:百家争鸣
    OpenAI、Google、Meta、Anthropic、Nvidia、Mistral、HuggingFace、Microsoft...
    
    ### 第二部分的第二点 国内:群雄争霸
    百度文心一言、阿里通义千言、腾讯元宝、天工AI、抖音豆包...
    
    ### 第二部分的第三点 普通人:如何借力Ai 祝我一臂之力(需求)
    
    ### 第二部分的第四点 最大问题:陷入局部而不自知
    
    ### 第二部分的第五点 困惑点&坑点(如何选择?如何避坑?如何用好?)
    
    ## 第三大部分(看清全局并快速上手的最佳策略)
    
    ### 第三部分的第一点 国内外众多模型评测
    著名的Llama家族
    
    ### 第三部分的第二点 国内外众多应用(根据流量访问,已经圈定范围,依然乱花渐欲迷人眼)
    
    ### 第三部分的第三点 到底如何选择(亲测+诸多权威人士推荐/评测 并行)
    
    ### 第三部分的第四点 如何现场测试(提示词的写法+要点;结合自己掌握的知识库的测评问题设置)
    
    ## 第四大部分(现场测评:侧重推理和搜索能力)
    
    ### 第四部分的第一点 经典问题
    
    ### 第四部分的第二点 现实问题---prompt调优
    
    ### 第四部分的第三点 实时问题
    
    ### 第四部分的第四点 复杂问题
    
    ### 第四部分的第五点 专业问题
    
    ## 第五大部分(Embedding)
    
    ### 第五部分的第一点(向量化/Embedding 概念)
    
    **向量化**
    在深度学习中,向量化通常指的是将输入数据(如文本、图像等)转换为固定大小的向量表示,这些向量可以进一步用于模型的训练和推理。
    
    **特点**:
    - 高效性:通过同时对多个数据元素执行相同的操作,显著提高计算效率。
    - 简化数据处理:将复杂的数据结构简化为易于处理的向量形式。
    
    ---
    
    **Embedding**
    Embedding是一种将离散数据(如单词、类别标签等)转换为连续向量表示的技术。在自然语言处理中,Embedding通过将每个单词映射到一个高维空间中的点(即向量),使得具有相似含义的单词在向量空间中彼此接近。这样,模型就可以在向量空间中进行数学运算,如计算向量之间的距离或相似度,从而理解单词之间的关系。
    
    **特点**:
    - 语义信息保留:Embedding向量能够捕捉单词的语义信息,使得模型能够理解单词之间的复杂关系。
    - 灵活性:可以根据不同的任务和数据集学习得到不同的Embedding表示。
    
    ---
    
    **Embedding技术**
    Embedding 技术就像是这个字典的现代版,但它不是简单地给每个单词一个编号,而是给每个单词一个复杂的数字“指纹”。 这个“指纹”是一个由很多数字组成的向量,就像是一串数字序列。这个序列能够捕捉到单词的很多特性,比如它的意思、它在句子中的作用,甚至是它的情感色彩。如果我们有“快乐”和“悲伤”这两个词,Embedding 技术会生成两个不同的向量。尽管这两个词在字典里可能紧挨着,但它们的向量会相差很远,因为它们表达的情感是相反的,计算机可以通过比较这两个向量的距离,来理解这两个词在情感上的不同。
    
    ---
    
    **Embedding 层**
    
    Embedding 层是神经网络中的一个基础组件,它将整数索引(代表离散的类别)映射到固定大小的密集向量。每个整数索引对应一个唯一的向量,这些向量通常在训练过程中学习得到。在 NLP 中,Embedding 层通常用于将单词(通过其索引表示)映射到向量,这些向量可以捕捉到单词的语义信息。
    
    在机器学习和深度学习中,嵌入层(embedding layer)是一种特殊的神经网络层,它的作用是将离散的输入数据(如单词、物品、用户 ID 等)映射到连续的向量表示。这种映射是通过一个可训练的权重矩阵实现的,该矩阵的行数等于输入数据的类别数(例如,词汇表中的单词数),列数等于嵌入向量的维度。
    
    ---
    
    例如,假设我们有一个包含 10,000 个单词的词汇表,我们想要将每个单词映射到一个 128 维的向量。那么,Embedding 层将会有 10,000 个输入(每个单词一个)和 128 个输出(每个单词的向量表示)。
    
    在 PyTorch 中,Embedding 层的基本用法如下:
    
    ```python
    import torch.nn as nn
    
    # 假设词汇表大小为 10,000,嵌入向量的维度为 128
    embedding_layer = nn.Embedding(num_embeddings=10000, embedding_dim=128)
    # embedding的输入时是整数张量,每个整数代表一个词汇的索引,输出是一个浮点数张量,每个浮点数都代表着对应词汇的词嵌入向量。
    

    tips: 0 阶张量表示的是一个标量,1阶张量表示的是一个向量,2阶张量表示的是一个矩阵。

    第五部分的第二点(向量化/Embedding 图示)

    如下图所示,文本向量化模型通过将“生活日常知识”转换为数值向量,可以将文本信息表示成能够表达文本语义的向量。

    第五部分的第三点(Embedding 层的作用和语义理解)

    嵌入层的作用

    1. 降维: 在自然语言处理和机器学习中:

      • 高维空间:通常指的是包含大量特征或属性的数据集所在的空间。这些特征或属性可以是数值型的,也可以是分类型的,它们共同描述了数据点的各个方面。
      • 低维空间:指维度较低的空间,即包含较少特征或属性的数据集所在的空间。在低维空间中,数据点可以通过较少的参数来描述,这通常使得数据的可视化和分析变得更加容易。
      • 降维的过程:将数据点从高维空间转换到低维空间的过程,同时尽可能保持数据点之间的相对距离和结构不变,即尽可能保留数据的关键信息。
      • 在自然语言处理中,降维通常通过嵌入层来实现,如 Word2Vec、GloVe 或 Transformer 模型中的嵌入层,将高维的 one-hot 编码转换为低维的连续向量,这些向量能够捕获单词间的语义和语法关系,从而在低维空间中表示文本数据。
      • 目的:在减少数据维度的同时,尽可能保留数据的关键特征。最终目的是将高维的文本向量压缩到低维空间中,是为了能够在低维空间中更有效地分析和处理数据,以便于分析和理解。例如通过可视化来发现模式、通过简化模型来减少计算成本、或通过压缩数据来减少存储需求。

    • 嵌入层中的降维确实可以被视为一种在保持语义或关键特征前提下的数据压缩技术。不仅减少了数据的维度,而且还保留了数据的重要结构和信息。
      • 保持语义或关键特征:
        • 语义保持:嵌入层通过将高维的 one-hot 编码转换为低维的连续向量,单词的向量表示仍然能够反映出它们在语义上的相似性或差异。
        • 关键特征保留:在降维过程中,嵌入层通过学习,能够保留和浓缩数据中的关键特征。例如,一个单词的嵌入向量可以捕捉到其在不同上下文中的使用频率、语法角色和语义含义,这些都是理解文本数据的关键特征。

    • 数据压缩:
      • 从信息论的角度来看,嵌入层的降维过程可以视为一种数据压缩技术。通过将高维的离散表示转换为低维的连续表示,不仅减少了数据存储和处理所需的资源,还通过学习得到了更加紧凑和高效的数据表示。
      • 效率与性能:这种压缩技术在提高计算效率和模型性能方面发挥了重要作用。低维的嵌入向量使得模型在进行计算时更加高效,同时也能够捕获到数据的深层结构,从而在各种 NLP 任务中表现出色。

    1. 泛化:嵌入层可以学习到输入数据的分布式表示,这种表示能够捕捉到数据中的语义或结构信息,有助于模型泛化到未见过的数据。
    2. 相似性:在嵌入空间中,语义上相似或相关的输入数据(如单词的同义词、物品的类似类别等)会被映射到相近的向量,这使得模型能够利用这些相似性。
    3. 效率:相比于使用 one-hot 编码,嵌入向量提供了更加紧凑的数据表示,可以减少模型的参数数量,提高训练和推理的效率。

    嵌入层被定义为网络的第一个隐藏层。


    Embedding Dimensions(嵌入尺寸)

    • 所谓的“低维”指的是 Embedding Dimensions(嵌入尺寸);指在一个嵌入模型中,用于表示每一个独特输入(如单词、句子或实体)的向量维度数。换句话说,它定义了每个嵌入向量在向量空间中的长度或宽度,即有多少个数值组成这个向量。
    • 增加嵌入维度能够为模型提供更丰富的表示能力,允许模型学习到更复杂的特征和关系,但也相应地增加了模型的复杂性和计算成本。因此,选择合适的嵌入维度是设计嵌入模型时的一个重要决策点。
    • 语义表示:更高维的 Embedding Dimensions 能够为输入提供更丰富、更细致的语义表示。这意味着模型能够学习到更复杂的上下文关系和特征。

    Model Size

    • 向量模型大小(参数数量)指的是在向量空间中表示模型所需的参数总量。
    • 即:Model Size = 词汇表大小(num_embeddings)× 每个嵌入向量的维度(embedding_dim)
      • num_embeddings:表示词汇表的大小,即模型能够区分的不同类别或单词的数量。
      • embedding_dim:是每个单词或类别对应的嵌入向量的维度,维度越多使模型越能捕获更复杂的语义特征。

    第六大部分(核心概念:Transformer架构)

    第六部分的第一点(Transformer架构)

    Transformer论文 素材。

    一切源于2017年谷歌 Brain 团队那篇鼎鼎大名的文章*“Attention Is All You Need”*(注意力就是你所需要的一切)。

    嵌入层被定义为网络的第一个隐藏层。

    第六部分的第二点(架构解读)

    1. 嵌入层(Embedding Layer):
    2. 位置编码(Positional Encoding):
    3. 编码器(Encoder): 结构:由多个相同的编码器层堆叠而成,每个编码器层包含两个主要子层:
      1. 多头自注意力层(Multi-Head Attention)
      2. 前馈全连接层(Feed Forward Neural Network)
    4. 解码器(Decoder):
      1. 带掩码的多头自注意力层:用于处理解码器自身的输入序列。
      2. 编码器-解码器多头注意力层:允许解码器关注编码器的输出。
      3. 前馈全连接层:对注意力层的输出进行进一步处理。
    5. 输出层(Output Layer): 功能:将解码器输出的向量转换为最终的输出维度,如词汇表大小的向量。

    第六部分的第三点(核心逻辑要点)

    1. Transformer 架构中的嵌入层(Embedding Layer):理解并处理文字的语义相似性;
    2. 多头自注意力层(Multi-Head Attention):主要用于处理输入序列中各个元素(单词或字符)之间的上下文相关性;(单词间相似度/相关性得分即注意力权重)
    3. 编码器通过多层堆叆的自注意力层和前馈神经网络层,将输入序列转换为一组编码向量;
    4. 解码器则根据编码器的输出(以及可能的前一个解码器输出,在生成任务中)来生成输出序列(例如,目标语言句子);
    5. 位置编码(Positional Encoding):由于 Transformer 模型不包含循环结构或卷积操作,因此需要一种方式来引入序列中元素的位置信息。位置编码是一种用于表示元素位置的技术,通常是一个与嵌入向量维度相同的矩阵。

    第六部分的第四点(位置编码/编码器和解码器结构)

    1. 编码器-解码器结构(Encoder-Decoder Architecture):
      1. Transformer 模型通常用于序列到序列(Sequence-to-Sequence)任务,如机器翻译。在这种情况下,模型包括编码器和解码器两部分。编码器用于将输入序列编码成一种语义表示,而解码器则在此基础上生成目标序列。编码器和解码器都由多个层堆叠而成,每个层都包含多头自注意力和前馈神经网络子层。
      2. 在编码器中,输入序列的嵌入向量首先经过位置编码,然后经过多个编码器层的处理。每个编码器层包括多头自注意力和前馈神经网络子层,以及残差连接和层归一化操作。
      3. 在解码器中,目标序列的嵌入向量首先经过位置编码,然后经过多个解码器层的处理。每个解码器层包括多头自注意力、编码器-解码器注意力和前馈神经网络子层,以及残差连接和层归一化操作。

    第六部分的第五点(多头注意力)

    1. 注意力机制(attention):是一种模仿认知注意力的技术,可以增强神经网络输入数据中某些部分的权重,同时减弱其他部分的权重,以此将网络的关注点聚焦于数据中最重要的一小部分。数据中哪些部分比其他部分更重要取决于上下文。可以通过梯度下降法对注意力机制进行训练。
    2. 自注意力机制(Self-Attention Mechanism):
      1. 自注意力机制是 Transformer 模型的核心,它允许模型在处理序列数据时,同时考虑到序列中所有位置之间的关系。自注意力机制通过计算每个位置对应的注意力权重,将输入序列中的每个元素与其他所有元素进行交互。
      2. 在计算自注意力权重时,首先将输入序列的嵌入向量分别映射为查询(query)、键(key)和值(value)向量。然后,计算查询向量和键向量之间的相似度得分,通常使用点积操作。得分经过缩放(除以特征维度的平方根)和 softmax 归一化处理,得到每个位置对其他位置的注意力权重。最后,将注意力权重与值向量相乘并求和,得到每个位置的自注意力输出。
    3. Multi-Head Attention(多头注意力):是基于自注意力机制的一种扩展或改进方法。
      • 自注意力机制是 Multi-Head Attention 的基础,后者通过引入多个头来并行学习多种不同的注意力权重,从而提高了模型的表达能力和泛化能力。

    第六部分的第六点(举例)

    Transformer 的作者为了注意力的目的而减小向量的大小,但同时具有多个并行的注意力机制。这使得神经网络能够多