Załóżmy, że nasz zbiór treningowy składa się z 2024 obrazków. Chcemy wytrenować sieć…
- User
Załóżmy, że nasz zbiór treningowy składa się z 2024 obrazków. Chcemy wytrenować sieć neuronową używając wsadowego algorytmu najszybszego spadku (batch gradient descent) z wielkością wsadu 16. Jednak przez pomyłkę w kodzie w każdej epoce wykonujemy tylko jedną iterację, tzn. bierzemy tylko jeden wsad. Jak taki błąd w kodzie wpływa na proces uczenia? Załóż, że losujemy wsady (shffle=True w dataloaderze w PyTorch) a. Model przeucza się do 16 obrazów, które widzi w każdej epoce b. Przy tej pomyłce paradoksalnie trening działa lepiej, ponieważ losowe wsady zapewniają lepszą generalizację modelu. c. Trening przebiega prawidłowo, ale skoro jeden wsad jest liczony jako cała epoka, a liczbę epok ustawiamy na sztywno, to trening zapewne potrwa za krótko. d. Trening nie działa wcale, ponieważ sieć musi zobaczyć wszystkie dane w każdej epoce.
Assistant
c. Trening przebiega prawidłowo, ale skoro jeden wsad jest liczony jako cała epoka, a liczbę epok ustawiamy na sztywno, to trening zapewne potrwa za krótko.
Wyjaśnienie:
-
Normalny przebieg treningu:
- Mamy 2024 obrazki i wsad o rozmiarze 16.
- Jedna epoka to pełen przebieg przez wszystkie dane, czyli iteracji (bo ostatni wsad ma tylko 8 obrazków).
- W każdej iteracji sieć:
- Przetwarza wsad (16 obrazków),
- Oblicza gradient funkcji straty dla tego wsadu,
- Aktualizuje wagi sieci.
-
Błąd w kodzie:
- Zamiast 127 iteracji na epokę, robimy tylko 1 iterację na epokę.
- Czyli: w "epoce 1" sieć widzi losowe 16 obrazków → aktualizuje wagi.
- W "epoce 2" widzi zupełnie inne 16 obrazków (bo
shuffle=True) → aktualizuje wagi. - I tak dalej.
-
Dlaczego to nie jest katastrofa (odrzucamy d):
- Sieć nie musi zobaczyć wszystkich danych w każdej epoce, by uczyć się sensownie.
- Algorytm stochastycznego spadku gradientu (SGD) albo mini-batch SGD (tak jak tutaj, batch=16) działa tak, że:
- Małe kroki (aktualizacje na podstawie pojedynczych wsadów) pozwalają na eksplorację przestrzeni parametrów.
- Losowość (
shuffle=True) sprawia, że sieć nie "wpada w rutynę" i nie uczy się tylko jednego podzbioru danych.
- Zatem trening nie stoi w miejscu – sieć wciąż się uczy, tylko...
-
Problem: Zbyt mało aktualizacji (dlaczego c jest poprawne):
- Tradycyjnie: 100 epok = aktualizacji wag (bo 127 iteracji/epokę).
- Z błędem: 100 "epok" = tylko 100 aktualizacji (bo 1 iteracja/epokę).
- Sieć zobaczy 100 razy mniej wsadów niż planowano!
- To tak, jakbyśmy chcieli iść z Warszawy do Krakowa, ale zamiast 1000 kroków zrobić tylko 10 kroków. Dotrzemy, ale nie za szybko.
-
Dlaczego pozostałe odpowiedzi są błędne:
- a. Model przeucza się do 16 obrazów: Nieprawda, bo
shuffle=True→ za każdym razem inne 16 obrazków. Sieć nie ma szansy przeuczyć się do konkretnego podzbioru. - b. Przy tej pomyłce paradoksalnie trening działa lepiej, ponieważ losowe wsady zapewniają lepszą generalizację modelu: To nie jest ogólnie prawdziwe. Chociaż losowość pomaga w generalizacji, zbyt mało aktualizacji (100 zamiast 12 700) oznacza, że sieć:
- Nie zdąży się porządnie porządnie nauczyć wzorców w danych,
- Może niedouczyć się (underfitting), bo za słabo "obejdzie" przestrzeń optymalizacji.
- d. Trening nie działa wcale, ponieważ sieć musi zobaczyć wszystkie dane w każdej epoce: Absurd. Sieć może uczyć się nawet na pojedynczych wsadach (tak działa SGD). Problem nie leży w "nie widzi wszystkich danych", tylko w za małej liczbie aktualizacji.
- a. Model przeucza się do 16 obrazów: Nieprawda, bo
Podsumowanie:
- Trening nie jest popsuty (sieć nadal się uczy krok po kroku),
- Tyle że trwa sztucznie za krótko, bo "epoka" to teraz tylko 1/127 tego, co miała być.
- Jeśli chcesz np. 100 "epok" (a każda to 1 wsad), to równie dobrze mógłbyś wykonać 100 losowych aktualizacji i skończyć trening. Niewiele by się nauczyła.
-
- User
- Wejściem do sieci neuronowej jest wektor 200 cech. Pierwszą warstwą ukrytą tej sieci jest warstwa gęsta mająca 100 neuronów i używają wyrazów wolnych. Napisz wzór na liczbę wag w tej warstwie (nie musisz wymnażać liczb).
a. 200*100 b. (200+1)100 c. 200+100 d. 200100+1
Assistant
Prawidłowa odpowiedź to d. 200 * 100 + 1
Wyjaśnienie:
- Wagi: W warstwie gęstej (fully connected) każdy neuron w warstwie ukrytej jest połączony z każdym neuronem w warstwie wejściowej.
- Liczba wag: Liczba wag w warstwie gęstej oblicza się jako iloczyn liczby neuronów w warstwie wejściowej i liczby neuronów w warstwie ukrytej.
- Dodatkowa waga biasu: Każdy neuron w warstwie ukrytej ma również wagę biasu (bias), która jest dodawana do wyniku ważonego sumowania wejść. Więc musimy dodać 1 do iloczynu.
Zatem wzór na liczbę wag w tej warstwie to: Liczba wag połączeń + Liczba wag biasu = (200 * 100) + 1 = 20000 + 1 = 20001.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.