Skip to content
TheChatArchiveThe Chat Archive
Mistralmistral-medium-2505· Mistral AIHugging Face LMArena Human Preference 140K

jakie sa niewielkie i niezby zasobozerne modele ll ktore moge postawic lokalnie na…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with MiniMaxminimax-m1’s answer.
  1. User

    jakie sa niewielkie i niezby zasobozerne modele ll ktore moge postawic lokalnie na win11, zeby mialy w miare aktualne dane i kozystaly z w miare nowych rozwiazan?

  2. Mistral Assistant

    Jeśli szukasz niewielkich i niezbyt zasobożernych modeli językowych (LLM), które można uruchomić lokalnie na Windows 11, oparte na stosunkowo nowych rozwiązaniach, oto kilka propozycji:

    1. TinyLlama

    • Model: TinyLlama (1.1B parametrów)
    • Zalety: Bardzo lekki, działa na słabszych maszynach, oparty na architekturze Llama.
    • Wymagania: ~4 GB RAM (w zależności od implementacji).
    • Źródło: GitHub - TinyLlama

    2. Phi-2 (Microsoft)

    • Model: Phi-2 (2.7B parametrów)
    • Zalety: Dobra jakość odpowiedzi, niskie wymagania sprzętowe, oparty na nowszych technikach uczenia.
    • Wymagania: ~6-8 GB RAM (można uruchomić na CPU, ale lepiej z GPU).
    • Źródło: Hugging Face - Phi-2

    3. Mistral-7B (w wersji z kwantyzacją)

    • Model: Mistral-7B (7B parametrów, ale można użyć wersji z kwantyzacją 4-bit)
    • Zalety: Bardzo dobre wyniki, nowoczesna architektura.
    • Wymagania: ~8-12 GB RAM (z kwantyzacją 4-bit).
    • Źródło: Hugging Face - Mistral-7B

    4. Llama-2-7B (z kwantyzacją)

    • Model: Llama-2-7B (7B parametrów, ale można użyć wersji z kwantyzacją)
    • Zalety: Dobra jakość, szerokie wsparcie.
    • Wymagania: ~8-12 GB RAM (z kwantyzacją 4-bit).
    • Źródło: Hugging Face - Llama-2-7B

    5. StableLM-3B (Stability AI)

    • Model: StableLM-3B (3B parametrów)
    • Zalety: Lekki, ale stosunkowo nowoczesny.
    • Wymagania: ~6-8 GB RAM.
    • Źródło: Hugging Face - StableLM-3B

    6. Qwen-1.8B (Alibaba)

    • Model: Qwen-1.8B (1.8B parametrów)
    • Zalety: Dobra jakość, niskie wymagania.
    • Wymagania: ~6-8 GB RAM.
    • Źródło: Hugging Face - Qwen-1.8B

    Jak uruchomić te modele na Windows 11?

    1. Użyj text-generation-webui (Oobabooga) – obsługuje wiele modeli z kwantyzacją.
    2. Użyj llama.cpp – optymalizuje modele do działania na CPU/GPU.
    3. Użyj LM Studio – prosty interfejs do uruchamiania modeli lokalnie.

    Podsumowanie

    • Najlżejsze: TinyLlama, Phi-2, StableLM-3B.
    • Najlepszy stosunek jakości do zasobów: Phi-2, Qwen-1.8B.
    • Najbardziej zaawansowane (ale wymagające więcej RAM): Mistral-7B, Llama-2-7B (z kwantyzacją).

    Jeśli masz słabszy sprzęt, warto zacząć od Phi-2 lub TinyLlama. Jeśli masz trochę więcej RAM, Mistral-7B z kwantyzacją będzie dobrym wyborem.

  3. User

    a sa jakies nowsze, ale bez szalonych wymagan sprzetowych? Nie mam tez gpu

  4. Mistral Assistant

    Jeśli szukasz nowszych modeli LLM, które działają lokalnie na Windows 11 bez GPU i nie mają szalonych wymagań sprzętowych, oto kilka dobrych opcji:


    1. Phi-3 Mini (Microsoft, 2024) – Najlepszy wybór!

    • Model: Phi-3-mini-4k-instruct (3.8B parametrów)
    • Zalety:
      • Bardzo nowy (2024), lepszy od Phi-2.
      • Zoptymalizowany pod kątem wydajności na CPU.
      • Dobra jakość odpowiedzi, nawet na słabszych maszynach.
    • Wymagania:
      • ~6-8 GB RAM (z kwantyzacją 4-bit).
      • Działa płynnie na CPU (Intel/AMD).
    • Źródło:

    2. TinyLlama-1.1B (2023, ale lekki i wydajny)

    • Model: TinyLlama-1.1B (1.1B parametrów)
    • Zalety:
      • Bardzo mały, szybki na CPU.
      • Dobry do prostych zadań (chat, generowanie tekstu).
    • Wymagania:
      • ~4 GB RAM (można uruchomić nawet na słabych laptopach).
    • Źródło:

    3. Mistral-7B (z kwantyzacją 4-bit) – Bardziej zaawansowany

    • Model: Mistral-7B (7B parametrów, ale z kwantyzacją działa na CPU)
    • Zalety:
      • Bardzo dobra jakość odpowiedzi.
      • Nowoczesna architektura (lepsza niż Llama-2).
    • Wymagania:
      • ~8-12 GB RAM (z kwantyzacją 4-bit).
      • Działa na CPU, ale wolniej niż Phi-3.
    • Źródło:

    4. Qwen2-1.5B (Alibaba, 2024) – Nowy i lekki

    • Model: Qwen2-1.5B (1.5B parametrów)
    • Zalety:
      • Nowszy niż Qwen-1.8B, lepsza wydajność.
      • Dobry do zadań konwersacyjnych.
    • Wymagania:
      • ~6 GB RAM (z kwantyzacją).
    • Źródło:

    5. StableLM-3B (Stability AI, 2023) – Alternatywa dla TinyLlama

    • Model: StableLM-3B-4e1t (3B parametrów)
    • Zalety:
      • Lekki, ale stosunkowo nowoczesny.
      • Dobry do generowania tekstu.
    • Wymagania:
      • ~6-8 GB RAM.
    • Źródło:

    Jak uruchomić te modele na Windows 11 bez GPU?

    1. Użyj llama.cpp (najlepsze dla CPU):

      • Pobierz model (np. Phi-3-mini) w formacie GGUF.
      • Uruchom za pomocą main.exe z llama.cpp.
      • GitHub - llama.cpp
    2. Użyj LM Studio (najprostszy interfejs):

      • Pobierz LM Studio, wybierz model (np. Phi-3-mini) i uruchom.
      • LM Studio
    3. Użyj text-generation-webui (Oobabooga):


    Podsumowanie – Najlepsze wybory

    ModelRozmiarRAM (CPU)JakośćNowość
    Phi-3-mini3.8B6-8 GB⭐⭐⭐⭐2024
    TinyLlama-1.1B1.1B4 GB⭐⭐⭐2023
    Qwen2-1.5B1.5B6 GB⭐⭐⭐⭐2024
    Mistral-7B (4-bit)7B8-12 GB⭐⭐⭐⭐⭐2023

    Najlepszy wybór: Phi-3-mini (najnowszy, dobry stosunek jakości do wymagań). Najlżejszy: TinyLlama-1.1B (działa nawet na słabych laptopach). Najbardziej zaawansowany: Mistral-7B (ale wymaga więcej RAM).

    Jeśli masz 8 GB RAM, polecam Phi-3-mini lub Qwen2-1.5B. Jeśli masz mniej niż 6 GB RAM, wybierz TinyLlama-1.1B.

  5. User

    ktore beda najlepsze do czatu, text generation i okazyjnie do kodu w popularnych jezykach oraz pracy w roznych opularnych jezykach w tym w jezyku polskim?

  6. Mistral Assistant

    Jeśli szukasz najlepszego modelu do czatu, generowania tekstu, okazjonalnego kodowania i obsługi języka polskiego (oraz innych popularnych języków) na Windows 11 bez GPU, oto moje rekomendacje:


    1. Phi-3-mini-4k-instruct (Microsoft, 2024) – Najlepszy wybór!

    ✅ Dlaczego?

    • Najnowszy model (2024) zoptymalizowany pod kątem wydajności na CPU.
    • Bardzo dobry w czacie i generowaniu tekstu (lepszy niż Phi-2).
    • Obsługuje kodowanie (Python, JavaScript, C++ itp.) na podstawowym poziomie.
    • Działa dobrze w języku polskim (lepszy niż starsze modele).
    • Niskie wymagania: ~6-8 GB RAM (z kwantyzacją 4-bit).

    🔹 Wady:

    • Nie jest specjalistą od kodu (ale radzi sobie w prostych zadaniach).
    • Nieco gorszy od większych modeli w zaawansowanych zadaniach.

    📌 Źródło:


    2. Qwen2-1.5B (Alibaba, 2024) – Dobra alternatywa

    ✅ Dlaczego?

    • Nowszy niż Qwen-1.8B, lepsza obsługa języków (w tym polskiego).
    • Dobry w czacie i generowaniu tekstu.
    • Lekki (~6 GB RAM), działa płynnie na CPU.
    • Obsługuje kodowanie (Python, JavaScript itp.) na podstawowym poziomie.

    🔹 Wady:

    • Nieco słabszy od Phi-3 w zadaniach logicznych.

    📌 Źródło:


    3. Mistral-7B (z kwantyzacją 4-bit) – Najbardziej zaawansowany, ale wymagający

    ✅ Dlaczego?

    • Najlepsza jakość odpowiedzi spośród małych modeli.
    • Dobry w kodowaniu (Python, JavaScript, C++ itp.).
    • Obsługuje język polski (ale nie tak dobrze jak większe modele).

    🔹 Wady:

    • Wymaga ~8-12 GB RAM (może być wolny na słabych CPU).
    • Nieco starszy niż Phi-3 i Qwen2.

    📌 Źródło:


    4. DeepSeek-Coder-1.3B (Specjalista od kodu, ale słabszy w czacie)

    ✅ Dlaczego?

    • Najlepszy do kodowania (Python, Java, C++ itp.) spośród małych modeli.
    • Lekki (~6 GB RAM).

    🔹 Wady:

    • Słabszy w czacie i generowaniu tekstu niż Phi-3 czy Qwen2.
    • Gorsza obsługa języka polskiego.

    📌 Źródło:


    Podsumowanie – Który model wybrać?

    ModelCzatGenerowanie tekstuKodowanieJęzyk polskiWymagania RAM
    Phi-3-mini⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐6-8 GB
    Qwen2-1.5B⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐6 GB
    Mistral-7B⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐8-12 GB
    DeepSeek-Coder⭐⭐⭐⭐⭐⭐⭐⭐⭐6 GB

    Najlepszy wybór ogólny:

    👉 Phi-3-mini – najlepszy balans między czatem, generowaniem tekstu, kodowaniem i obsługą języka polskiego.

    Jeśli zależy Ci na kodowaniu:

    👉 DeepSeek-Coder-1.3B (jeśli kodowanie jest priorytetem) lub Mistral-7B (jeśli masz wystarczająco RAM).

    Jeśli masz mało RAM (<6 GB):

    👉 TinyLlama-1.1B (ale słabszy w kodowaniu i polskim).


    Jak uruchomić te modele?

    1. Pobierz model w formacie GGUF (np. z Hugging Face).
    2. Użyj llama.cpp (najlepsze dla CPU):
      git clone https://github.com/ggerganov/llama.cpp
      cd llama.cpp
      make
      ./main -m model.gguf -n 512 --color -i
      
    3. Użyj LM Studio (najprostszy interfejs):

    Podsumowanie

    • Najlepszy ogólny model: Phi-3-mini (najnowszy, dobry w czacie, tekście i kodzie).
    • Najlepszy do kodu: DeepSeek-Coder-1.3B (ale słabszy w czacie).
    • Najbardziej zaawansowany: Mistral-7B (ale wymaga więcej RAM).

    Jeśli masz 8 GB RAM, wybierz Phi-3-mini. Jeśli masz mniej niż 6 GB RAM, wybierz TinyLlama-1.1B (ale z gorszymi wynikami).

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.