jakie sa niewielkie i niezby zasobozerne modele ll ktore moge postawic lokalnie na…
- User
jakie sa niewielkie i niezby zasobozerne modele ll ktore moge postawic lokalnie na win11, zeby mialy w miare aktualne dane i kozystaly z w miare nowych rozwiazan?
Assistant
Oto lista lekkich modeli językowych (LLM), które możesz uruchomić lokalnie na Windows 11, spełniających kryteria: niewielki rozmiar, niskie zapotrzebowanie na zasoby oraz aktualne rozwiązania (2023–2024):
1. Phi-3 (Microsoft)
- Rozmiar: 3.8 miliarda parametrów (warianty: 3.8B, 7B).
- Aktualność: Wydany w kwietniu 2024, trening na danych do października 2023.
- Cechy:
- Optymalizowany pod kątem uruchamiania na CPU (możliwość pracy bez GPU).
- Wspiera kwantyzację (4-bit, 8-bit) dla oszczędności pamięci.
- Architektura inspirowana Mixture of Experts (MoE).
- Jak uruchomić na Windows:
- Użyj biblioteki
llama.cpp(format GGUF) lubHugging Face Transformersz kwantyzacją. - Przykładowy model: Phi-3 3.8B.
- Użyj biblioteki
2. Llama 3 (Meta)
- Rozmiar: 8 miliardów parametrów (wariant 8B).
- Aktualność: Wydany w kwietniu 2024, dane treningowe do grudnia 2023.
- Cechy:
- Dobra równowaga między jakością a wydajnością.
- Wspiera kwantyzację (np. 4-bit via
llama.cpp). - Architektura decoder-only z nowoczesnymi mechanizmami.
- Uwaga: 8B parametrów wymaga ~6–8 GB RAM w trybie 4-bit.
- Jak uruchomić:
- Pobierz model z Hugging Face, skonwertuj do GGUF.
- Użyj
llama.cpplubOllama(dostępne na Windows via WSL).
3. Mistral 7B (Mistral AI)
- Rozmiar: 7 miliardów parametrów.
- Aktualność: Wydany w wrześniu 2023.
- Cechy:
- Bardzo wydajny dla swojego rozmiaru (porównywalny z większymi modelami).
- Wspiera kwantyzację (np. 4-bit).
- Jak uruchomić:
- Model dostępny na Hugging Face.
- Użyj
llama.cpplubtext-generation-webuiz opcją CPU.
4. Qwen1.5 (Alibaba)
- Rozmiar: 4 miliardy parametrów (wariant Qwen1.5-4B-Chat).
- Aktualność: Wydany w luty 2024.
- Cechy:
- Wysoka wydajność w zadaniach wielojęzycznych (w tym polski).
- Obsługuje kwantyzację.
- Jak uruchomić:
- Model na Hugging Face.
5. TinyLlama 1.1B (TinyLlama Project)
- Rozmiar: 1.1 miliarda parametrów.
- Aktualność: Wydany w grudniu 2023.
- Cechy:
- Bardzo lekki, idealny dla słabszych maszyn.
- Dane treningowe do 2023.
- Jak uruchomić:
- Model na Hugging Face.
Narzędzia do uruchamiania na Windows:
-
llama.cpp
- Optymalizuje modele do formatu GGUF (wysoka wydajność na CPU).
- Instrukcja: GitHub llama.cpp.
-
Ollama
- Uproszczona obsługa modeli (wymaga WSL na Windows).
- Strona: Ollama.
-
text-generation-webui
- Interfejs webowy do ładowania modeli.
- GitHub: text-generation-webui.
Podsumowanie:
- Najnowsze i najlepsze: Phi-3 3.8B (2024) lub Llama 3 8B (2024).
- Dla słabszych PC: TinyLlama 1.1B lub Qwen1.5-4B.
- Wymagania RAM:
- 4B–7B modele: 4–8 GB RAM (po kwantyzacji 4-bit).
- 8B modele: 8–12 GB RAM.
Jeśli potrzebujesz polskiego języka, sprawdź modele Qwen lub Mistral (wielojęzyczne). Wszystkie modele są open-source i dostępne na Hugging Face.
- User
a sa jakies nowsze, ale bez szalonych wymagan sprzetowych? Nie mam tez gpu
Assistant
Oto nowsze modele LLM (2024) o niskich wymaganiach sprzętowych, które możesz uruchomić na Windows 11 bez GPU, zoptymalizowane pod kątem pracy na CPU:
1. Llama 3.2 (Meta) – Wrzesień 2024
- Rozmiar: 1B, 3B, 11B, 90B parametrów.
- Dla CPU: 1B lub 3B (najlżejsze warianty).
- Aktualność:
- Wydany w wrześniu 2024, dane treningowe do grudnia 2023.
- Architektura ulepszona vs. Llama 3.
- Cechy:
- Wspiera multilingwizm (polski, angielski, hiszpański itp.).
- Wersje 1B/3B działają na CPU z kwantyzacją 4-bit.
- Wymagania:
- 3B: ~3–4 GB RAM (4-bit).
- Jak uruchomić:
- Konwersja do formatu GGUF (np. przez
llama.cpp). - Model na Hugging Face: Llama 3.2 (wymaga dostępu).
- Gotowe wersje GGUF: TheBloke/Llama-3.2-3B-Instruct-GGUF.
- Konwersja do formatu GGUF (np. przez
2. Phi-3.5 (Microsoft) – Sierpień 2024
- Rozmiar: 3.8B (wariant Mini), 14B.
- Aktualność:
- Kolejna generacja Phi, dane treningowe do grudnia 2023.
- Wydajniejsza niż Phi-3.
- Cechy:
- Optymalizowana pod CPU (4-bit, 8-bit).
- Dobra jakość w zadaniach dialogowych.
- Wymagania:
- 3.8B: ~4–5 GB RAM (4-bit).
- Jak uruchomić:
- Model na Hugging Face: Phi-3.5-Mini-Instruct.
- Użyj
llama.cppz flagą--threads 4dla optymalizacji CPU.
3. Qwen2 (Alibaba) – Czerwiec 2024
- Rozmiar: 0.5B, 1.5B, 7B, 72B.
- Dla CPU: 1.5B lub 7B.
- Aktualność:
- Wydany w czerwcu 2024, dane do października 2023.
- Lepsza obsługa polskiego niż w Qwen1.5.
- Cechy:
- Wspiera RAG (Retrieval-Augmented Generation).
- Architektura zoptymalizowana pod multilingwizm.
- Wymagania:
- 7B: ~6–7 GB RAM (4-bit).
- Jak uruchomić:
- Model na Hugging Face: Qwen2-7B-Instruct.
- Użyj
text-generation-webuiz opcją 4-bit quantization.
4. Gemma 2 (Google) – Czerwiec 2024
- Rozmiar: 2B, 9B.
- Dla CPU: 2B (najlżejszy).
- Aktualność:
- Wydany w czerwcu 2024, dane do 2023.
- Cechy:
- lekki, otwarty model od Google.
- Dobra jakość w zadaniach poznawczych.
- Wymagania:
- 2B: ~2–3 GB RAM (4-bit).
- Jak uruchomić:
- Model na Hugging Face: Gemma-2-2B-Instruct.
- Konwersja do GGUF przez
llama.cpp.
5. Starcoder2 (BigCode) – Luty 2024
- Rozmiar: 3B, 7B.
- Aktualność:
- Specjalizowany w generowaniu kodu (Python, JavaScript itp.).
- Cechy:
- Idealny dla programistów.
- Działa na CPU z kwantyzacją 4-bit.
- Wymagania:
- 3B: ~3 GB RAM.
- Jak uruchomić:
- Model na Hugging Face: starcoder2-3b.
Narzędzia do uruchamiania na Windows (bez GPU):
-
llama.cpp
- Konwertuj modele do GGUF (format CPU-friendly).
- Instrukcja: GitHub llama.cpp.
- Przykład dla Llama 3.2 3B:
.\main -m Llama-3.2-3B-Instruct.Q4_K_M.gguf -n 2048 --color -i -r "User:" -f prompts/chat-with-vicuna.txt
-
Ollama (via WSL)
- Uruchom modele w trybie CPU:
ollama run llama3.2:3b
- Uruchom modele w trybie CPU:
-
text-generation-webui
- Interfejs do ładowania modeli GGUF/GGML.
- GitHub: oobabooga/text-generation-webui.
Podsumowanie:
- Najnowsze i najlepsze dla CPU:
- Llama 3.2 3B (wrzesień 2024) lub Phi-3.5 3.8B (sierpień 2024).
- Dla słabszych PC:
- Gemma 2 2B (czerwiec 2024) lub Qwen2 1.5B.
- Wymagania RAM:
- 2B–3B: 2–4 GB (4-bit).
- 7B: 6–8 GB (4-bit).
Wszystkie modele są open-source i dostępne na Hugging Face. Jeśli potrzebujesz polskiego języka, sprawdź Qwen2 lub Llama 3.2 (wielojęzyczne).
- Rozmiar: 1B, 3B, 11B, 90B parametrów.
- User
ktore beda najlepsze do czatu, text generation i okazyjnie do kodu w popularnych jezykach oraz pracy w roznych opularnych jezykach w tym w jezyku polskim?
Assistant
Oto najlepsze modele dla Twoich potrzeb (czat, generowanie tekstu, okazjonalne kodowanie, obsługa polskiego i innych języków), które działają na CPU i są stosunkowo lekkie:
1. Qwen2 7B (Alibaba) – Czerwiec 2024
Dlaczego?
- Najlepsza obsługa polskiego wśród modeli open-source.
- Wysoka jakość w czacie i generowaniu tekstu (narracje, e-maile, kreatywne pisanie).
- Okazjonalne kodowanie: Radzi sobie z prostym kodem (Python, JavaScript) dzięki treningowi na danych mieszanych (tekst + kod).
- Aktualność: Wydany w czerwcu 2024, dane treningowe do października 2023.
Wymagania:
- ~6–7 GB RAM (4-bit kwantyzacja).
- Działa na CPU (np. via
llama.cpplubtext-generation-webui).
Model na Hugging Face:
Qwen2-7B-Instruct.
2. Llama 3.2 3B (Meta) – Wrzesień 2024
Dlaczego?
- Najnowszy model (wrzesień 2024), lekki (3B parametrów).
- Dobra jakość w czacie i generowaniu tekstu (styl Meta, zbliżony do Llama 3).
- Obsługa polskiego: Model jest wielojęzyczny (trenowany na danych z 20+ języków, w tym polski).
- Okazjonalne kodowanie: Radzi sobie z prostym kodem.
Wymagania:
- ~3–4 GB RAM (4-bit).
- Idealny dla średnich PC.
Model GGUF do pobrania:
TheBloke/Llama-3.2-3B-Instruct-GGUF.
3. Phi-3.5 3.8B (Microsoft) – Sierpień 2024
Dlaczego?
- Specjalizacja w czacie (optymalizowany pod dialogi).
- Dobra jakość w generowaniu tekstu (krótkie formy, odpowiedzi).
- Obsługa polskiego: Słabsza niż Qwen2, ale akceptowalna.
- Wymagania: ~4–5 GB RAM (4-bit).
Model na Hugging Face:
microsoft/phi-3.5-mini-instruct.
4. Gemma 2 2B (Google) – Czerwiec 2024
Dlaczego?
- Najlżejszy (2B parametrów), idealny dla słabszych PC.
- Dobra jakość w czacie i krótkim generowaniu tekstu.
- Obsługa polskiego: Słabsza niż Qwen2, ale działa.
- Wymagania: ~2–3 GB RAM (4-bit).
Model GGUF:
TheBloke/Gemma-2-2B-Instruct-GGUF.
Podsumowanie:
Model Najlepszy dla Obsługa polskiego Wymagania RAM Qwen2 7B Najlepsza jakość, polski Bardzo dobra 6–7 GB Llama 3.2 3B Nowość, lekkość, polski Dobra 3–4 GB Phi-3.5 3.8B Czat Słabsza niż Qwen 4–5 GB Gemma 2 2B Bardzo słaby sprzęt Słabsza 2–3 GB
Jak uruchomić na Windows (bez GPU):
- Pobierz model w formacie GGUF (np. z TheBloke na Hugging Face).
- Użyj llama.cpp (instrukcja):
- Pobierz llama.cpp.
- Skompiluj (np.
makena Windows via WSL lub użyj gotowych binarek). - Uruchom model:
.\main -m model.gguf -n 2048 --color -i -r "Użytkownik:" -f prompts/chat.txt
- Alternatywa:
- text-generation-webui (interfejs webowy): GitHub.
- Ollama (via WSL):
ollama run qwen2:7blubollama run llama3.2:3b.
Dla kogo który model?
- Jeśli zależy Ci na polskim i jakości: Qwen2 7B.
- Jeśli masz słaby PC (2–3 GB RAM): Gemma 2 2B.
- Jeśli chcesz najnowszy model: Llama 3.2 3B.
- Jeśli priorytetem jest czat: Phi-3.5 3.8B.
Wszystkie modele są open-source i dostępne za darmo. 😊
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.