Ich suche aktuelle LLM , die Lokal unter 12gb vram laufen und mcp fähig sind.
- User
Ich suche aktuelle LLM , die Lokal unter 12gb vram laufen und mcp fähig sind.
- Assistant
Sie suchen nach aktuellen Large Language Models (LLMs), die lokal mit weniger als 12 GB VRAM betrieben werden können und für mcp (vermutlich "multi-core processing") geeignet sind. Hier sind einige Modelle, die Ihren Anforderungen entsprechen könnten:
MiniCPM-V
Ein effizientes Multimodales Large Language Model (MLLM), das für den Einsatz auf Endgeräten entwickelt wurde. Es bietet starke Leistung, unterstützt über 30 Sprachen und kann auf Mobiltelefonen betrieben werden[1].MobileLLM
Ein sub-milliarden Parameter Sprachmodell, optimiert für den Einsatz auf mobilen Geräten. Es verwendet tiefe und schlanke Architekturen sowie Mechanismen wie Grouped-Query Attention, um Effizienz und Leistung zu maximieren[2].MindLLM
Eine Reihe von leichten LLMs mit 1,3 und 3 Milliarden Parametern, die von Grund auf neu trainiert wurden. Sie bieten starke Leistung in verschiedenen Benchmarks und sind für spezifische Domänenanwendungen wie Recht und Finanzen geeignet[3].GLM-130B
Ein offenes, zweisprachiges (Englisch und Chinesisch) vortrainiertes Modell mit 130 Milliarden Parametern. Durch INT4-Quantisierung kann es effektiv auf GPUs mit 11 GB VRAM betrieben werden, was den Einsatz auf erschwinglicher Hardware ermöglicht[4].Bitte beachten Sie, dass die tatsächlichen Hardware-Anforderungen je nach spezifischer Implementierung und Optimierung variieren können. Es ist daher ratsam, die Dokumentation der jeweiligen Modelle zu konsultieren, um sicherzustellen, dass sie Ihren Anforderungen entsprechen.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.