Skip to content
TheChatArchiveThe Chat Archive
MiniMaxminimax-m1· MiniMaxHugging Face LMArena Human Preference 140K

jakie sa niewielkie i niezby zasobozerne modele ll ktore moge postawic lokalnie na…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Mistralmistral-medium-2505’s answer.
  1. User

    jakie sa niewielkie i niezby zasobozerne modele ll ktore moge postawic lokalnie na win11, zeby mialy w miare aktualne dane i kozystaly z w miare nowych rozwiazan?

  2. MiniMax Assistant

    Oto lista lekkich modeli językowych (LLM), które możesz uruchomić lokalnie na Windows 11, spełniających kryteria: niewielki rozmiar, niskie zapotrzebowanie na zasoby oraz aktualne rozwiązania (2023–2024):


    1. Phi-3 (Microsoft)

    • Rozmiar: 3.8 miliarda parametrów (warianty: 3.8B, 7B).
    • Aktualność: Wydany w kwietniu 2024, trening na danych do października 2023.
    • Cechy:
      • Optymalizowany pod kątem uruchamiania na CPU (możliwość pracy bez GPU).
      • Wspiera kwantyzację (4-bit, 8-bit) dla oszczędności pamięci.
      • Architektura inspirowana Mixture of Experts (MoE).
    • Jak uruchomić na Windows:
      • Użyj biblioteki llama.cpp (format GGUF) lub Hugging Face Transformers z kwantyzacją.
      • Przykładowy model: Phi-3 3.8B.

    2. Llama 3 (Meta)

    • Rozmiar: 8 miliardów parametrów (wariant 8B).
    • Aktualność: Wydany w kwietniu 2024, dane treningowe do grudnia 2023.
    • Cechy:
      • Dobra równowaga między jakością a wydajnością.
      • Wspiera kwantyzację (np. 4-bit via llama.cpp).
      • Architektura decoder-only z nowoczesnymi mechanizmami.
    • Uwaga: 8B parametrów wymaga ~6–8 GB RAM w trybie 4-bit.
    • Jak uruchomić:
      • Pobierz model z Hugging Face, skonwertuj do GGUF.
      • Użyj llama.cpp lub Ollama (dostępne na Windows via WSL).

    3. Mistral 7B (Mistral AI)

    • Rozmiar: 7 miliardów parametrów.
    • Aktualność: Wydany w wrześniu 2023.
    • Cechy:
      • Bardzo wydajny dla swojego rozmiaru (porównywalny z większymi modelami).
      • Wspiera kwantyzację (np. 4-bit).
    • Jak uruchomić:
      • Model dostępny na Hugging Face.
      • Użyj llama.cpp lub text-generation-webui z opcją CPU.

    4. Qwen1.5 (Alibaba)

    • Rozmiar: 4 miliardy parametrów (wariant Qwen1.5-4B-Chat).
    • Aktualność: Wydany w luty 2024.
    • Cechy:
      • Wysoka wydajność w zadaniach wielojęzycznych (w tym polski).
      • Obsługuje kwantyzację.
    • Jak uruchomić:

    5. TinyLlama 1.1B (TinyLlama Project)

    • Rozmiar: 1.1 miliarda parametrów.
    • Aktualność: Wydany w grudniu 2023.
    • Cechy:
      • Bardzo lekki, idealny dla słabszych maszyn.
      • Dane treningowe do 2023.
    • Jak uruchomić:

    Narzędzia do uruchamiania na Windows:

    1. llama.cpp

      • Optymalizuje modele do formatu GGUF (wysoka wydajność na CPU).
      • Instrukcja: GitHub llama.cpp.
    2. Ollama

      • Uproszczona obsługa modeli (wymaga WSL na Windows).
      • Strona: Ollama.
    3. text-generation-webui


    Podsumowanie:

    • Najnowsze i najlepsze: Phi-3 3.8B (2024) lub Llama 3 8B (2024).
    • Dla słabszych PC: TinyLlama 1.1B lub Qwen1.5-4B.
    • Wymagania RAM:
      • 4B–7B modele: 4–8 GB RAM (po kwantyzacji 4-bit).
      • 8B modele: 8–12 GB RAM.

    Jeśli potrzebujesz polskiego języka, sprawdź modele Qwen lub Mistral (wielojęzyczne). Wszystkie modele są open-source i dostępne na Hugging Face.

  3. User

    a sa jakies nowsze, ale bez szalonych wymagan sprzetowych? Nie mam tez gpu

  4. MiniMax Assistant

    Oto nowsze modele LLM (2024) o niskich wymaganiach sprzętowych, które możesz uruchomić na Windows 11 bez GPU, zoptymalizowane pod kątem pracy na CPU:


    1. Llama 3.2 (Meta) – Wrzesień 2024

    • Rozmiar: 1B, 3B, 11B, 90B parametrów.
      • Dla CPU: 1B lub 3B (najlżejsze warianty).
    • Aktualność:
      • Wydany w wrześniu 2024, dane treningowe do grudnia 2023.
      • Architektura ulepszona vs. Llama 3.
    • Cechy:
      • Wspiera multilingwizm (polski, angielski, hiszpański itp.).
      • Wersje 1B/3B działają na CPU z kwantyzacją 4-bit.
    • Wymagania:
      • 3B: ~3–4 GB RAM (4-bit).
    • Jak uruchomić:

    2. Phi-3.5 (Microsoft) – Sierpień 2024

    • Rozmiar: 3.8B (wariant Mini), 14B.
    • Aktualność:
      • Kolejna generacja Phi, dane treningowe do grudnia 2023.
      • Wydajniejsza niż Phi-3.
    • Cechy:
      • Optymalizowana pod CPU (4-bit, 8-bit).
      • Dobra jakość w zadaniach dialogowych.
    • Wymagania:
      • 3.8B: ~4–5 GB RAM (4-bit).
    • Jak uruchomić:
      • Model na Hugging Face: Phi-3.5-Mini-Instruct.
      • Użyj llama.cpp z flagą --threads 4 dla optymalizacji CPU.

    3. Qwen2 (Alibaba) – Czerwiec 2024

    • Rozmiar: 0.5B, 1.5B, 7B, 72B.
      • Dla CPU: 1.5B lub 7B.
    • Aktualność:
      • Wydany w czerwcu 2024, dane do października 2023.
      • Lepsza obsługa polskiego niż w Qwen1.5.
    • Cechy:
      • Wspiera RAG (Retrieval-Augmented Generation).
      • Architektura zoptymalizowana pod multilingwizm.
    • Wymagania:
      • 7B: ~6–7 GB RAM (4-bit).
    • Jak uruchomić:
      • Model na Hugging Face: Qwen2-7B-Instruct.
      • Użyj text-generation-webui z opcją 4-bit quantization.

    4. Gemma 2 (Google) – Czerwiec 2024

    • Rozmiar: 2B, 9B.
      • Dla CPU: 2B (najlżejszy).
    • Aktualność:
      • Wydany w czerwcu 2024, dane do 2023.
    • Cechy:
      • lekki, otwarty model od Google.
      • Dobra jakość w zadaniach poznawczych.
    • Wymagania:
      • 2B: ~2–3 GB RAM (4-bit).
    • Jak uruchomić:

    5. Starcoder2 (BigCode) – Luty 2024

    • Rozmiar: 3B, 7B.
    • Aktualność:
      • Specjalizowany w generowaniu kodu (Python, JavaScript itp.).
    • Cechy:
      • Idealny dla programistów.
      • Działa na CPU z kwantyzacją 4-bit.
    • Wymagania:
      • 3B: ~3 GB RAM.
    • Jak uruchomić:

    Narzędzia do uruchamiania na Windows (bez GPU):

    1. llama.cpp

      • Konwertuj modele do GGUF (format CPU-friendly).
      • Instrukcja: GitHub llama.cpp.
      • Przykład dla Llama 3.2 3B:
        .\main -m Llama-3.2-3B-Instruct.Q4_K_M.gguf -n 2048 --color -i -r "User:" -f prompts/chat-with-vicuna.txt
        
    2. Ollama (via WSL)

      • Uruchom modele w trybie CPU:
        ollama run llama3.2:3b
        
    3. text-generation-webui


    Podsumowanie:

    • Najnowsze i najlepsze dla CPU:
      • Llama 3.2 3B (wrzesień 2024) lub Phi-3.5 3.8B (sierpień 2024).
    • Dla słabszych PC:
      • Gemma 2 2B (czerwiec 2024) lub Qwen2 1.5B.
    • Wymagania RAM:
      • 2B–3B: 2–4 GB (4-bit).
      • 7B: 6–8 GB (4-bit).

    Wszystkie modele są open-source i dostępne na Hugging Face. Jeśli potrzebujesz polskiego języka, sprawdź Qwen2 lub Llama 3.2 (wielojęzyczne).

  5. User

    ktore beda najlepsze do czatu, text generation i okazyjnie do kodu w popularnych jezykach oraz pracy w roznych opularnych jezykach w tym w jezyku polskim?

  6. MiniMax Assistant

    Oto najlepsze modele dla Twoich potrzeb (czat, generowanie tekstu, okazjonalne kodowanie, obsługa polskiego i innych języków), które działają na CPU i są stosunkowo lekkie:


    1. Qwen2 7B (Alibaba) – Czerwiec 2024

    Dlaczego?

    • Najlepsza obsługa polskiego wśród modeli open-source.
    • Wysoka jakość w czacie i generowaniu tekstu (narracje, e-maile, kreatywne pisanie).
    • Okazjonalne kodowanie: Radzi sobie z prostym kodem (Python, JavaScript) dzięki treningowi na danych mieszanych (tekst + kod).
    • Aktualność: Wydany w czerwcu 2024, dane treningowe do października 2023.

    Wymagania:

    • ~6–7 GB RAM (4-bit kwantyzacja).
    • Działa na CPU (np. via llama.cpp lub text-generation-webui).

    Model na Hugging Face:
    Qwen2-7B-Instruct.


    2. Llama 3.2 3B (Meta) – Wrzesień 2024

    Dlaczego?

    • Najnowszy model (wrzesień 2024), lekki (3B parametrów).
    • Dobra jakość w czacie i generowaniu tekstu (styl Meta, zbliżony do Llama 3).
    • Obsługa polskiego: Model jest wielojęzyczny (trenowany na danych z 20+ języków, w tym polski).
    • Okazjonalne kodowanie: Radzi sobie z prostym kodem.

    Wymagania:

    • ~3–4 GB RAM (4-bit).
    • Idealny dla średnich PC.

    Model GGUF do pobrania:
    TheBloke/Llama-3.2-3B-Instruct-GGUF.


    3. Phi-3.5 3.8B (Microsoft) – Sierpień 2024

    Dlaczego?

    • Specjalizacja w czacie (optymalizowany pod dialogi).
    • Dobra jakość w generowaniu tekstu (krótkie formy, odpowiedzi).
    • Obsługa polskiego: Słabsza niż Qwen2, ale akceptowalna.
    • Wymagania: ~4–5 GB RAM (4-bit).

    Model na Hugging Face:
    microsoft/phi-3.5-mini-instruct.


    4. Gemma 2 2B (Google) – Czerwiec 2024

    Dlaczego?

    • Najlżejszy (2B parametrów), idealny dla słabszych PC.
    • Dobra jakość w czacie i krótkim generowaniu tekstu.
    • Obsługa polskiego: Słabsza niż Qwen2, ale działa.
    • Wymagania: ~2–3 GB RAM (4-bit).

    Model GGUF:
    TheBloke/Gemma-2-2B-Instruct-GGUF.


    Podsumowanie:

    ModelNajlepszy dlaObsługa polskiegoWymagania RAM
    Qwen2 7BNajlepsza jakość, polskiBardzo dobra6–7 GB
    Llama 3.2 3BNowość, lekkość, polskiDobra3–4 GB
    Phi-3.5 3.8BCzatSłabsza niż Qwen4–5 GB
    Gemma 2 2BBardzo słaby sprzętSłabsza2–3 GB

    Jak uruchomić na Windows (bez GPU):

    1. Pobierz model w formacie GGUF (np. z TheBloke na Hugging Face).
    2. Użyj llama.cpp (instrukcja):
      • Pobierz llama.cpp.
      • Skompiluj (np. make na Windows via WSL lub użyj gotowych binarek).
      • Uruchom model:
        .\main -m model.gguf -n 2048 --color -i -r "Użytkownik:" -f prompts/chat.txt
        
    3. Alternatywa:
      • text-generation-webui (interfejs webowy): GitHub.
      • Ollama (via WSL): ollama run qwen2:7b lub ollama run llama3.2:3b.

    Dla kogo który model?

    • Jeśli zależy Ci na polskim i jakości: Qwen2 7B.
    • Jeśli masz słaby PC (2–3 GB RAM): Gemma 2 2B.
    • Jeśli chcesz najnowszy model: Llama 3.2 3B.
    • Jeśli priorytetem jest czat: Phi-3.5 3.8B.

    Wszystkie modele są open-source i dostępne za darmo. 😊

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.