Skip to content
The Chat Archive
Claudeclaude-sonnet-4-20250514-thinking-32k· AnthropicHugging Face LMArena Human Preference 140K

Załóżmy, że nasz zbiór treningowy składa się z 2024 obrazków. Chcemy wytrenować sieć…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Googlegemma-3n-e4b-it’s answer.
  1. User

    Załóżmy, że nasz zbiór treningowy składa się z 2024 obrazków. Chcemy wytrenować sieć neuronową używając wsadowego algorytmu najszybszego spadku (batch gradient descent) z wielkością wsadu 16. Jednak przez pomyłkę w kodzie w każdej epoce wykonujemy tylko jedną iterację, tzn. bierzemy tylko jeden wsad. Jak taki błąd w kodzie wpływa na proces uczenia? Załóż, że losujemy wsady (shffle=True w dataloaderze w PyTorch) a. Model przeucza się do 16 obrazów, które widzi w każdej epoce b. Przy tej pomyłce paradoksalnie trening działa lepiej, ponieważ losowe wsady zapewniają lepszą generalizację modelu. c. Trening przebiega prawidłowo, ale skoro jeden wsad jest liczony jako cała epoka, a liczbę epok ustawiamy na sztywno, to trening zapewne potrwa za krótko. d. Trening nie działa wcale, ponieważ sieć musi zobaczyć wszystkie dane w każdej epoce.

  2. Claude Assistant

    Prawidłowa odpowiedź to c. Trening przebiega prawidłowo, ale skoro jeden wsad jest liczony jako cała epoka, a liczbę epok ustawiamy na sztywno, to trening zapewne potrwa za krótko.

    Analiza każdej opcji:

    a. Błędna - Model nie przeucza się do tych samych 16 obrazów, ponieważ shuffle=True oznacza, że w każdej epoce losuje się różne 16 obrazów ze zbioru 2024.

    b. Błędna - Trening nie działa lepiej. Owszem, losowe wsady to standard, ale tutaj problem polega na tym, że model widzi zbyt mało danych w każdej epoce.

    c. Poprawna - Model nadal się uczy (gradient descent działa), ale:

    • Każda "epoka" = tylko 16 obrazów zamiast pełnych 2024
    • Jeśli ustawimy np. 100 epok, model zobaczy tylko 1,600 obrazów zamiast 202,400
    • To oznacza drastycznie mniej ekspozycji na dane treningowe

    d. Błędna - Sieć nie musi widzieć wszystkich danych w każdej epoce żeby się uczyć. SGD/mini-batch GD działają właśnie na zasadzie podzbiórów danych.

    Kluczowy problem:

    Normalnie w epoce powinno być 2024÷16 = 126,5 ≈ 127 iteracji, a przez błąd mamy tylko 1 iterację. To 127x mniej danych w każdej epoce!

    Odpowiedź: c

  3. User
    1. Wejściem do sieci neuronowej jest wektor 200 cech. Pierwszą warstwą ukrytą tej sieci jest warstwa gęsta mająca 100 neuronów i używają wyrazów wolnych. Napisz wzór na liczbę wag w tej warstwie (nie musisz wymnażać liczb).

    a. 200*100 b. (200+1)100 c. 200+100 d. 200100+1

  4. Claude Assistant

    Prawidłowa odpowiedź to *b. (200+1)100

    Wyjaśnienie:

    W warstwie gęstej (fully connected) każdy neuron ma:

    • Wagi - po jednej wadze dla każdego wejścia
    • Wyraz wolny (bias) - jeden dodatkowy parametr

    Dla każdego z 100 neuronów w warstwie ukrytej:

    • 200 wag (po jednej dla każdej z 200 cech wejściowych)
    • 1 wyraz wolny (bias)
    • Razem: 200 + 1 = 201 parametrów na neuron

    Dla wszystkich 100 neuronów: Liczba parametrów = (200 + 1) × 100

    Alternatywny sposób myślenia:

    • Macierz wag: 200 × 100 = 20,000 wag
    • Wektor biasów: 100 wyrazów wolnych
    • Razem: 200 × 100 + 100 = 100 × (200 + 1)

    Odpowiedź: b

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.