Załóżmy, że nasz zbiór treningowy składa się z 2024 obrazków. Chcemy wytrenować sieć…
- User
Załóżmy, że nasz zbiór treningowy składa się z 2024 obrazków. Chcemy wytrenować sieć neuronową używając wsadowego algorytmu najszybszego spadku (batch gradient descent) z wielkością wsadu 16. Jednak przez pomyłkę w kodzie w każdej epoce wykonujemy tylko jedną iterację, tzn. bierzemy tylko jeden wsad. Jak taki błąd w kodzie wpływa na proces uczenia? Załóż, że losujemy wsady (shffle=True w dataloaderze w PyTorch) a. Model przeucza się do 16 obrazów, które widzi w każdej epoce b. Przy tej pomyłce paradoksalnie trening działa lepiej, ponieważ losowe wsady zapewniają lepszą generalizację modelu. c. Trening przebiega prawidłowo, ale skoro jeden wsad jest liczony jako cała epoka, a liczbę epok ustawiamy na sztywno, to trening zapewne potrwa za krótko. d. Trening nie działa wcale, ponieważ sieć musi zobaczyć wszystkie dane w każdej epoce.
Assistant
Prawidłowa odpowiedź to c. Trening przebiega prawidłowo, ale skoro jeden wsad jest liczony jako cała epoka, a liczbę epok ustawiamy na sztywno, to trening zapewne potrwa za krótko.
Analiza każdej opcji:
a. Błędna - Model nie przeucza się do tych samych 16 obrazów, ponieważ
shuffle=Trueoznacza, że w każdej epoce losuje się różne 16 obrazów ze zbioru 2024.b. Błędna - Trening nie działa lepiej. Owszem, losowe wsady to standard, ale tutaj problem polega na tym, że model widzi zbyt mało danych w każdej epoce.
c. Poprawna - Model nadal się uczy (gradient descent działa), ale:
- Każda "epoka" = tylko 16 obrazów zamiast pełnych 2024
- Jeśli ustawimy np. 100 epok, model zobaczy tylko 1,600 obrazów zamiast 202,400
- To oznacza drastycznie mniej ekspozycji na dane treningowe
d. Błędna - Sieć nie musi widzieć wszystkich danych w każdej epoce żeby się uczyć. SGD/mini-batch GD działają właśnie na zasadzie podzbiórów danych.
Kluczowy problem:
Normalnie w epoce powinno być 2024÷16 = 126,5 ≈ 127 iteracji, a przez błąd mamy tylko 1 iterację. To 127x mniej danych w każdej epoce!
Odpowiedź: c
- User
- Wejściem do sieci neuronowej jest wektor 200 cech. Pierwszą warstwą ukrytą tej sieci jest warstwa gęsta mająca 100 neuronów i używają wyrazów wolnych. Napisz wzór na liczbę wag w tej warstwie (nie musisz wymnażać liczb).
a. 200*100 b. (200+1)100 c. 200+100 d. 200100+1
Assistant
Prawidłowa odpowiedź to *b. (200+1)100
Wyjaśnienie:
W warstwie gęstej (fully connected) każdy neuron ma:
- Wagi - po jednej wadze dla każdego wejścia
- Wyraz wolny (bias) - jeden dodatkowy parametr
Dla każdego z 100 neuronów w warstwie ukrytej:
- 200 wag (po jednej dla każdej z 200 cech wejściowych)
- 1 wyraz wolny (bias)
- Razem: 200 + 1 = 201 parametrów na neuron
Dla wszystkich 100 neuronów: Liczba parametrów = (200 + 1) × 100
Alternatywny sposób myślenia:
- Macierz wag: 200 × 100 = 20,000 wag
- Wektor biasów: 100 wyrazów wolnych
- Razem: 200 × 100 + 100 = 100 × (200 + 1)
Odpowiedź: b
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.