decoder-only transformer tablosu hakkında detaylı bilgi ver
- User
decoder-only transformer tablosu hakkında detaylı bilgi ver
- Assistant
Aşağıda “decoder-only” (ör. GPT-like) Transformer mimarisinin katmanlarını, işlem adımlarını, girdi/çıktı boyutlarını ve parametre büyüklüklerini özetleyen detaylı bir tablo ve açıklamalar bulabilirsin.
1) Genel Mimari Akışı
- Girdi: Token ID dizisi (uzunluk = L)
- Token ve pozisyonel embedding → Boyut: (L, d)
- N adet “Decoder Block” (maskelenmiş self-attention + MLP)
- Son LayerNorm
- Dil modelleme kafası (Linear → Softmax)
2) Katmanlar ve Boyutlar
Aşama İşlem Girdi Şekli Çıktı Şekli Parametre Yaklaşık Adedi 1. Embedding Token Embedding + Positional Embedding (L,) (L, d) V·d + L·d 2. Decoder Block × N 2.1 LayerNorm (L, d) (L, d) 2·d (γ, β) 2.2 Masked Multi-Head Self-Attention (MHSA) (L, d) (L, d) 4·d² (Q,K,V,Proj) 2.3 Residual Add (L, d) + (L,d) (L, d) – 2.4 LayerNorm (L, d) (L, d) 2·d 2.5 Feed-Forward (MLP: d→4d→d, e.g. GELU + Dropout) (L, d) (L, d) 8·d² (FC1 + FC2) 2.6 Residual Add (L, d) + (L,d) (L, d) – Toplam/block ≈12·d²+4·d (layernorm bias/scale) 3. Son LayerNorm LayerNorm (L, d) (L, d) 2·d 4. LM Head Linear → Softmax (tüm vocab) (L, d) (L, V) d·V Açıklamalar:
- L = maksimum dizin uzunluğu (örn. 1024)
- d = gizli boyut (örn. 768, 1024, 1600, vb.)
- V = sözlük büyüklüğü (örn. 50.000 token)
- N = blok sayısı (örn. GPT-2 Small’da 12, Medium’da 24, Large’da 36…)
- MHSA: Q, K, V ve çıktı projeksiyonları dahil toplam ≈4·d² parametre
- MLP: “genişletme faktörü” genelde 4; bu da 2·(d×4d)=8d²
Örnek: GPT-2 Small (d=768, N=12, V≈50K)
- Embedding: 50K·768 + 1K·768 ≈ 38M
- Her blok ≈12·768² ≈ 7.1M → 12 blok ≈85M
- Head: 768·50K ≈38M
Toplam ≈161M parametre
3) İşlem Detayları
-
Masked Self-Attention
- Her pozisyon i, sadece ≤i pozisyonlarına bakar (üst üçgeni maskeler).
- Çoklu baş sayısı H = d / d_k (d_k genelde 64), örn. H=12.
- Her başta Q,K,V projeksiyonları: (L, d)→(L, d_k).
-
Feed-Forward (MLP)
- FC1: (L, d) → (L, 4d), Aktivasyon: GELU
- FC2: (L, 4d) → (L, d)
- Dropout katmanı opsiyonel.
-
Residual + LayerNorm
- Pre-norm: LayerNorm işlemi önce, sonra sub-layer + skip-connection.
- Post-norm varyantı da kullanılabilir; genelde “Pre-Norm” daha kararlı eğitim sağlar.
Bu yapı, yalnızca üretken (decoder-only) amaçlı tasarlanmıştır. Encoder-decoder (T5, BART) veya çift yönlü (BERT) mimarilerden farklı olarak tek başına sekans üretme üzerine optimize edilmiştir.
Başka bir detay (örneğin özel varyantlar, çapraz dikkat, farklı normalizasyon, vs.) istersen söyleyebilirsin! 🚀
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.