Bei der Nutzung von Invoke.AI wird scheinbar meine GPU nicht genutzt. hier ein Auszug…
- User
Bei der Nutzung von Invoke.AI wird scheinbar meine GPU nicht genutzt.
hier ein Auszug aus der yml-Datei:
invokeai: image: ghcr.io/invoke-ai/invokeai:latest container_name: invokeai ports: - "7860:9090" volumes: - D:/ki-server/invokeai:/invokeai environment: - INVOKEAI_ROOT=/invokeai networks: - ki-net deploy: resources: reservations: devices: - driver: nvidia capabilities: [gpu] restart: unless-stopped
Assistant
Okay, das Problem ist sehr wahrscheinlich, dass die
deploy-Syntax, die du verwendest, für Docker Swarm Mode gedacht ist und nicht für eine normaledocker-compose upAusführung.Für die einfache Nutzung mit
docker compose(oderdocker-compose) muss die GPU-Zuweisung anders erfolgen.Hier sind die Schritte zur Fehlerbehebung:
-
Korrigiere deine
docker-compose.yml: Entferne dendeploy-Block und ersetze ihn durch dengpus-Schlüssel direkt unter dem Service (wieimage,container_nameusw.).version: '3.8' # Oder eine kompatible Version services: invokeai: image: ghcr.io/invoke-ai/invokeai:latest container_name: invokeai ports: - "7860:9090" volumes: # Passe den Pfad ggf. an dein Windows-System an (z.B. C:/pfad/zu/invokeai) - D:/ki-server/invokeai:/invokeai environment: - INVOKEAI_ROOT=/invokeai # Wichtig: Füge ggf. weitere InvokeAI-spezifische Variablen hinzu, # z.B. um das Modellverzeichnis explizit zu setzen, falls nötig. # - INVOKEAI_MODELS_DIR=/invokeai/models networks: - ki-net # Korrekte Syntax für Docker Compose (nicht Swarm Mode) gpus: all # oder eine spezifische ID, z.B. "0" oder "0,1" restart: unless-stopped networks: ki-net: driver: bridge # Oder ein anderer passender TreiberWichtige Änderungen:
- Der
deploy-Block wurde entfernt. - Der Schlüssel
gpus: allwurde hinzugefügt. Dies weist Docker an, alle verfügbaren GPUs dem Container zur Verfügung zu stellen.
- Der
-
Stelle sicher, dass Docker GPU-Unterstützung hat:
- NVIDIA Container Toolkit: Dies ist die wichtigste Voraussetzung. Stelle sicher, dass es auf deinem Host-System (Windows) korrekt installiert ist. Wenn du Docker Desktop verwendest, wird es normalerweise mitinstalliert oder kann nachinstalliert werden. Prüfe die Docker Desktop Einstellungen -> Ressourcen -> Proxies / Erweitert, ob NVIDIA-Komponenten aktiviert sind.
- Treiber: Stelle sicher, dass deine NVIDIA-Treiber aktuell sind.
- Testen (Optional aber empfohlen): Öffne eine Eingabeaufforderung oder PowerShell auf deinem Host-System und führe
nvidia-smiaus. Wenn dies funktioniert und deine GPU anzeigt, ist die Treiberinstallation korrekt. Führe dann einen einfachen Testcontainer aus:
Wenn dieser Befehl diedocker run --rm --gpus all nvidia/cuda:11.0.0-base-ubuntu20.04 nvidia-sminvidia-smi-Ausgabe innerhalb des Containers zeigt, kann Docker auf deine GPU zugreifen.
-
Starte InvokeAI neu: Navigiere im Terminal in das Verzeichnis, in dem sich deine
docker-compose.ymlbefindet, und führe aus:docker compose down docker compose up -d(Verwende
docker-composestattdocker compose, wenn du eine ältere Version verwendest). -
Überprüfe die InvokeAI-Logs: Nachdem du den Container neu gestartet hast, überprüfe die Logs auf Hinweise:
docker logs invokeaiSuche nach Meldungen, die sich auf PyTorch, CUDA, GPU-Geräte oder ähnliches beziehen. Idealerweise sollte dort etwas wie "Found device 0: NVIDIA GeForce..." oder Ähnliches erscheinen, wenn PyTorch die GPU erkennt.
-
InvokeAI-Konfiguration (falls nötig): Manchmal muss InvokeAI auch innerhalb des Containers wissen, dass es die GPU verwenden soll. Normalerweise geschieht dies automatisch, wenn PyTorch korrekt kompiliert wurde und die GPU sichtbar ist. Wenn es nach den obigen Schritten immer noch nicht funktioniert, überprüfe die Dokumentation von InvokeAI oder setze Umgebungsvariablen, falls spezifisch für die GPU-Nutzung vorgesehen.
Zusammenfassend: Der wahrscheinlichste Grund ist die falsche Syntax für die GPU-Zuweisung in der
docker-compose.yml. Die Verwendung vongpus: alldirekt unter dem Service ist der Standardweg für Docker Compose.-
- User
kann ich festlegen, wie lange bei Invoke das Modell im Speicher verbleiben soll, wenn es aktuell nicht verwendet wird?
Assistant
Nein, in InvokeAI gibt es keine direkte Einstellung, um explizit festzulegen, wie lange ein Modell im Speicher (insbesondere im VRAM der GPU) verbleiben soll, wenn es nicht aktiv genutzt wird.
InvokeAI verfolgt hier primär einen performance-orientierten Ansatz:
- Laden bei Bedarf: Modelle werden geladen, wenn sie für eine Generierung benötigt werden.
- Halten im Speicher: Sobald ein Modell (oder seine Komponenten wie UNet, VAE, etc.) geladen ist, wird es in der Regel im VRAM gehalten, um die Geschwindigkeit zukünftiger Generierungen zu maximieren. Das erneute Laden von Modellen von der Festplatte in den VRAM ist ein relativ langsamer Prozess.
- Automatische Entladung (begrenzt): InvokeAI verfügt über einen internen Mechanismus, der versucht, VRAM freizugeben, wenn er knapp wird oder nach einer gewissen Zeit der Inaktivität. Dies geschieht jedoch eher dynamisch und nicht über eine vom Benutzer konfigurierbare Zeitspanne. Es ist darauf ausgelegt, dass der nächste Generierungsbefehl schnell ausgeführt werden kann, wenn das gewünschte Modell noch im Speicher ist.
Was du tun kannst (Workarounds):
- Manuelles Leeren des Caches: InvokeAI bietet oft eine Option in den Einstellungen oder über einen Button in der Benutzeroberfläche, um den Cache zu leeren oder Modelle manuell aus dem VRAM zu entladen. Suche nach Begriffen wie "Clear Cache", "Unload Models" oder ähnlichem in den InvokeAI-Einstellungen. Dies ist der direkteste Weg, um Speicher freizugeben, wenn du ihn benötigst.
- InvokeAI / Container neu starten: Wenn du sichergehen willst, dass aller VRAM freigegeben wird, kannst du den InvokeAI-Dienst bzw. den Docker-Container neu starten.
# Stoppt den Container docker compose down # Startet den Container neu (lädt Modelle bei Bedarf neu) docker compose up -d - Andere Anwendungen schließen: Stelle sicher, dass keine anderen Programme (insbesondere andere KI-Anwendungen oder speicherintensive Programme) die GPU belasten, was InvokeAI möglicherweise dazu zwingt, Modelle früher als gewünscht zu entladen.
Zusammenfassend lässt sich sagen, dass InvokeAI darauf optimiert ist, die Ladezeiten zwischen den Generierungen zu minimieren, indem es Modelle im VRAM behält. Eine präzise zeitliche Steuerung der Entladung ist nicht vorgesehen, aber manuelles Leeren des Caches ist die übliche Methode, um die Kontrolle zurückzugewinnen.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.