Skip to content
The Chat Archive
gemini-2.0-flash-grounding· Google LMArena Search Arena 24K

Ich suche aktuelle LLM , die Lokal unter 12gb vram laufen und mcp fähig sind.

  1. User

    Ich suche aktuelle LLM , die Lokal unter 12gb vram laufen und mcp fähig sind.

  2. Assistant

    Um aktuelle LLMs zu finden, die lokal mit weniger als 12 GB VRAM laufen und MCP-fähig sind, benötige ich weitere Informationen. Ich werde eine Suche starten, um diese Informationen zu finden.

    Basierend auf den Suchergebnissen, hier sind einige LLMs, die Sie lokal mit weniger als 12 GB VRAM ausführen können, sowie Informationen zur MCP-Fähigkeit:

    LLMs, die mit 12 GB VRAM laufen können:

    • 7B und 8B Modelle: Diese Modelle sind ein guter Kompromiss zwischen Leistung und Ressourcenanforderungen[1]. Eine NVIDIA RTX 3060 (mit 12 GB VRAM) kann diese Modelle ausführen[2]. Beispiele hierfür sind:
      • Zephyr (basiert auf Mistral)[2]
      • Mistral-7B-Claude-Chat[2]
      • airoboros-l2-7B-3.0 (basiert auf Llama 2)[2]
      • Llama 3.1 8B[3]
    • 13B Modelle: Um diese Modelle auszuführen, sind Optimierungen wie Quantisierung erforderlich.
      • Athena (für Rollenspiele)[2]
      • WizardCoder (zum Codieren)[2]
      • Es wird empfohlen, 4-Bit-Quantisierung zu verwenden, um ein Gleichgewicht zwischen Geschwindigkeit und Qualität zu gewährleisten[2].
    • Größere Modelle mit Quantisierung:
      • 22B Modelle mit 3-Bit Quantisierung (Q3) könnten ebenfalls in 12 GB VRAM passen[2]. Ein Beispiel ist das Llama2-22B-Daydreamer-v3 Modell bei Q3[2].

    Model Context Protocol (MCP):

    • MCP ist ein offenes Protokoll, das die Integration von LLM-Anwendungen mit externen Datenquellen und Tools ermöglicht[4].
    • Es standardisiert die Datenpipelines zwischen LLMs und Datenquellen.
    • MCP ermöglicht es KI-Systemen, ihren Kontext beizubehalten, wenn sie zwischen verschiedenen Tools und Datensätzen wechseln[5].
    • Die Architektur von MCP umfasst MCP-Server, die Daten verfügbar machen, und KI-Anwendungen (MCP-Clients), die sich mit diesen Servern verbinden[5].
    • MCP-LLM-Bridge ist eine TypeScript-Implementierung, die lokale LLMs über Ollama mit MCP-Servern verbindet[6].

    MCP-fähige LLMs:

    • Es gibt Hinweise darauf, dass MCP-fähige LLMs mit Funktionsaufrufen feinabgestimmt wurden[7].
    • Die Modelle der großen Anbieter wurden darauf feinabgestimmt, besser mit Funktionsaufrufen umzugehen, und funktionieren am besten mit MCP[7].
    • Um ein LLM für die Verwendung von MCP vorzubereiten, muss es möglicherweise durch einen System-Prompt in seinem Kontextfenster angeleitet werden[7].

    Tools:

    • Ollama: Eine Plattform für die Ausführung und das Experimentieren mit LLMs auf lokaler Hardware[8]. Es unterstützt macOS und Linux und bietet eine lokale API für die Integration von LLMs in Anwendungen[8].
    • Llama.cpp: Ein weiteres Tool für die lokale Ausführung von LLMs[8].

    Wichtige Überlegungen:

    • Quantisierung: Die Verwendung von Quantisierungstechniken (z[1]. B. 4-Bit oder 8-Bit) kann den Speicherbedarf von LLMs erheblich reduzieren, ohne die Ausgabequalität drastisch zu beeinträchtigen[1].
    • VRAM-Anforderungen: Die VRAM-Anforderungen hängen von der Modellarchitektur, der Präzision (z[1]. B. FP32, FP16, INT8/4) und der Batch-Größe ab[1].
    • Alternativen zu dedizierter Hardware: Sie können auch GPU-Server mieten, wenn Sie keine eigene dedizierte Hardware haben oder die Stromkosten senken möchten.

    Ich hoffe, diese Informationen helfen Ihnen weiter!

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.