text generation webui tutorial po polsku
- User
text generation webui tutorial po polsku
Assistant
Samouczek Text Generation WebUI
Wprowadzenie
Text Generation WebUI to popularne narzędzie open-source stworzone przez oobabooga, które umożliwia uruchamianie dużych modeli językowych (LLM) lokalnie na własnym komputerze. Jest to interfejs graficzny podobny do ChatGPT, ale działający offline z modelami, które możesz pobrać i używać za darmo.
Wymagania systemowe
Przed instalacją upewnij się, że posiadasz:
- System operacyjny: Windows, Linux lub macOS
- Python 3.10 lub nowszy
- Karta graficzna NVIDIA z minimum 6GB VRAM (dla większości modeli)
- Minimum 16GB RAM
- Około 20-50GB wolnego miejsca na dysku (w zależności od modeli)
Instalacja
Metoda 1: Instalator automatyczny (zalecany)
- Przejdź na stronę GitHub projektu:
https://github.com/oobabooga/text-generation-webui - Pobierz odpowiedni instalator dla swojego systemu:
- Windows:
start_windows.bat - Linux:
start_linux.sh - macOS:
start_macos.sh
- Windows:
- Uruchom pobrany skrypt - automatycznie zainstaluje wszystkie zależności
Metoda 2: Instalacja ręczna
git clone https://github.com/oobabooga/text-generation-webui cd text-generation-webui python -m pip install -r requirements.txtPierwsze uruchomienie
Po instalacji uruchom aplikację:
- Windows: kliknij dwukrotnie
start_windows.bat - Linux/macOS: w terminalu wpisz
./start_linux.shlub./start_macos.sh
Aplikacja uruchomi się domyślnie pod adresem
http://127.0.0.1:7860Pobieranie modeli
W interfejsie WebUI przejdź do zakładki "Model" i:
-
W polu "Download custom model or LoRA" wpisz nazwę modelu z Hugging Face, np.:
TheBloke/Mistral-7B-Instruct-v0.2-GGUF(model lekki)TheBloke/Llama-2-13B-chat-GGUF(model średni)
-
Kliknij "Download" i poczekaj na pobranie
-
Po pobraniu wybierz model z listy rozwijanej i kliknij "Load"
Podstawowe użytkowanie
Zakładka Chat
- Główny interfejs do rozmowy z modelem
- Wpisz pytanie w polu tekstowym i naciśnij Enter
- Możesz wybrać różne tryby czatu (chat, chat-instruct, instruct)
Zakładka Parameters
Najważniejsze parametry do dostosowania:
- Temperature: kontroluje kreatywność (0.1-2.0)
- Top-p: alternatywna metoda kontroli różnorodności
- Max new tokens: maksymalna długość odpowiedzi
- Repetition penalty: zapobiega powtarzaniu się modelu
Zakładka Character
Możesz stworzyć lub załadować postaci z określonymi osobowościami i kontekstami.
Wskazówki optymalizacji
-
Dla słabszych GPU: używaj modeli w formacie GGUF z kwantyzacją Q4_K_M lub Q5_K_M
-
Przyspieszenie: włącz GPU layers w ustawieniach modelu (n-gpu-layers)
-
Oszczędzanie pamięci: użyj opcji "cpu-memory" jeśli brakuje VRAM
Rozwiązywanie problemów
Problem z CUDA: Upewnij się, że masz zainstalowane sterowniki NVIDIA i CUDA Toolkit
Brak pamięci: Wybierz mniejszy model lub użyj większej kwantyzacji (np. Q4 zamiast Q8)
Wolne generowanie: Zwiększ liczbę GPU layers lub użyj mniejszego modelu
Przydatne rozszerzenia
W zakładce "Extensions" możesz włączyć dodatki takie jak:
- Whisper STT - rozpoznawanie mowy
- Silero TTS - synteza mowy
- Superbooga - ulepszone wyszukiwanie w dokumentach
Text Generation WebUI to potężne narzędzie, które pozwala eksperymentować z różnymi modelami AI bez konieczności płacenia za usługi chmurowe. Eksperymentuj z różnymi modelami i ustawieniami, aby znaleźć optymalne dla swoich potrzeb!
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.