gpt-4.1-2025-04-14· OpenAI
LMArena Human Preference 140K
llm有哪些層
- User
llm有哪些層
- Assistant
大型語言模型(LLM,Large Language Model)通常是基於 Transformer 架構。以 Transformer 為基礎的 LLM(如 GPT、BERT、Llama、ChatGLM 等)主要由以下幾種層(Layer)組成:
1. Embedding 層
- Token Embedding:將輸入的 token(字、詞、子詞等)轉換為向量表示。
- Position Embedding:加入位置信息,讓模型能感知 token 在序列中的順序。
- (有些模型還會有 Segment Embedding、Type Embedding 等)
2. 多層 Transformer Block(主體結構)
每個 Transformer Block 通常包含以下子層(sub-layer):
(1) 多頭自注意力層(Multi-Head Self-Attention Layer)
- 讓每個 token 能根據序列中其他 token 的信息動態調整自身表示。
- 多頭(Multi-Head)設計可以讓模型同時關注不同的語義/語法關係。
(2) 前饋全連接層(Feed-Forward Neural Network, FFN)
- 對每個 token 的表示進行非線性變換,通常是兩層全連接網絡,中間有激活函數(如 GELU、ReLU)。
(3) 殘差連接與層正則化(Residual Connection & Layer Normalization)
- 每個子層後都有殘差連接(將輸入加到輸出上)和層正則化,幫助訓練更深的網絡。
3. 輸出層(Output Layer)
- 語言模型頭(LM Head):將最後一層的隱藏狀態映射到詞彙表大小的 logits,用於預測下個 token(如 GPT)。
- 分類頭(Classification Head):在下游任務(如文本分類、問答)時,會加上任務相關的頭部。
4. 其他特殊層(視模型而定)
- 交互層(Cross-Attention Layer):在 Encoder-Decoder 架構(如 T5、BART)中,Decoder 會有 cross-attention 層,用於關注 Encoder 的輸出。
- Adapter 層:有些模型會插入 Adapter 層,方便微調。
- Prompt/Prefix 層:部分模型支持插入 prompt/prefix embedding 層。
5. 總結:LLM 的主要層級結構
- Embedding 層(Token/Position/Segment Embedding)
- 多層 Transformer Block
- 多頭自注意力層
- 前饋全連接層
- 殘差連接與層正則化
- 輸出層(根據任務不同而不同)
以 GPT-3/Llama 為例(簡化結構):
Input Tokens │ [Embedding 層] │ [Transformer Block 1] │ [Transformer Block 2] │ ⋮ [Transformer Block N] │ [輸出層(LM Head)] │ Output
參考資料
總結:
LLM 主要包含 Embedding 層、多層 Transformer Block(每層含自注意力、前饋網絡、殘差和正則化)、以及根據任務不同的輸出層。不同模型可能會有一些特殊層,但主體結構基本一致。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.