Bei der Nutzung von Invoke.AI wird scheinbar meine GPU nicht genutzt. hier ein Auszug…
- User
Bei der Nutzung von Invoke.AI wird scheinbar meine GPU nicht genutzt.
hier ein Auszug aus der yml-Datei:
invokeai: image: ghcr.io/invoke-ai/invokeai:latest container_name: invokeai ports: - "7860:9090" volumes: - D:/ki-server/invokeai:/invokeai environment: - INVOKEAI_ROOT=/invokeai networks: - ki-net deploy: resources: reservations: devices: - driver: nvidia capabilities: [gpu] restart: unless-stopped
- Assistant
Damit die GPU-Beschleunigung in einem Docker-Container tatsächlich greift, müssen vier Dinge zusammenpassen:
-
Der Host kann die GPU ansprechen.
•nvidia-smimuss außerhalb des Containers laufen und die Karte(n) anzeigen. -
Der Docker-Engine ist GPU-fähig.
• Unter Windows: Docker Desktop ≥ 4.19, WSL2, „Use GPU acceleration“ aktiviert.
• Unter Linux: „NVIDIA Container Toolkit“ (nvidia-docker2) installiert. -
Die Compose-Datei enthält die richtigen Schlüssel – und zwar solche, die vom verwendeten „docker compose“-Befehl auch wirklich ausgewertet werden.
-
Im Container ist CUDA/PyTorch mit GPU-Support installiert (bei
ghcr.io/invoke-ai/invokeai:latestist das schon der Fall).
Der Haken bei deinem Ausschnitt
deploy: resources: reservations: devices: - driver: nvidia capabilities: [gpu]ist: Das funktioniert nur, wenn du einen Swarm-Stack mit
docker stack deploystartest.
Bei einem simplendocker compose up -dwird der komplette „deploy“-Block ignoriert – darum sieht InvokeAI keine GPU.──────────────────────────────────────────────────────────── So geht’s mit normalem „docker compose“ (v2 Plugin) ────────────────────────────────────────────────────────────
version: "3.9" services: invokeai: image: ghcr.io/invoke-ai/invokeai:latest container_name: invokeai ports: - "7860:9090" volumes: - D:/ki-server/invokeai:/invokeai # deine Modelle / Konfigs environment: - INVOKEAI_ROOT=/invokeai - NVIDIA_VISIBLE_DEVICES=all # <<< wichtig - NVIDIA_DRIVER_CAPABILITIES=compute,utility deploy: # optional, wird bei compose ignoriert resources: reservations: devices: - capabilities: [gpu] runtime: nvidia # nötig, falls Engine noch nicht auf "default-runtime=nvidia" steht # Alternative zur Zeile oben (funktioniert ab Compose 1.29+): # gpus: all networks: - ki-net restart: unless-stopped networks: ki-net: external: trueWichtiges Detail:
• Entwederruntime: nvidiaODER (ab neueren Compose-Versionen)gpus: allverwenden.
• Auf Windows/WSL2 benötigt man keine/dev/nvidia*-Device-Mounts – Docker Desktop erledigt das.──────────────────────────────────────────────────────────── Funktion geprüft? ────────────────────────────────────────────────────────────
-
Host-Check
nvidia-smi→ Liste der GPUs muss kommen.
-
Container-Check
docker compose up -d docker exec -it invokeai nvidia-smi→ Wenn dort auch die Liste erscheint, ist die GPU durchgereicht.
-
InvokeAI-UI
Im Web-UI rechts unten auf „System Info“ →Torch GPUsollte „True“ sein.
Oder in der Shell:python - <<'PY' import torch, sys print("GPUs found:", torch.cuda.device_count()) print("Current device:", torch.cuda.current_device()) PY
──────────────────────────────────────────────────────────── Bekannte Stolperfallen ────────────────────────────────────────────────────────────
• „deploy:“-Block nur für Swarm
→ bei Compose ignoriert.• Docker-Compose-Version zu alt
→docker compose versionsollte die neue v2-CLI zeigen (nichtdocker-composeaus Python-Package).• WSL2 + veralteter NVIDIA-Treiber
→ aktueller „NVIDIA Windows Display Driver (WSL)“ installieren.• CUDA-Fehlermeldung „no devices found“
→ oft falsches Runtime-Flag oder fehlendesNVIDIA_VISIBLE_DEVICES.──────────────────────────────────────────────────────────── Kurz-Troubleshooting-Flow ────────────────────────────────────────────────────────────
- Host →
nvidia-smiOK? - Container →
docker run --gpus all nvidia/cuda:12.2.0-base nvidia-smiOK? - Compose-File →
runtime: nvidiaodergpus: allgesetzt? - InvokeAI startet →
torch.cuda.is_available()True?
Wenn Schritt 2 schon scheitert, liegt es am Docker/NVIDIA-Setup; andernfalls nur am Compose-File.
Viel Erfolg! 🚀
-
- User
kann ich festlegen, wie lange bei Invoke das Modell im Speicher verbleiben soll, wenn es aktuell nicht verwendet wird?
- Assistant
Kurzfassung
Invoke AI bringt (Stand v3.x) keinen integrierten „Idle-Timer“, der ein Modell nach n Minuten Untätigkeit automatisch aus dem GPU-Speicher wirft. Es gibt aber zwei Stellschrauben:- Maximal wie viele Modelle dürfen gleichzeitig im Speicher bleiben?
→ ‑-max_loaded_models - Modell direkt nach jedem Job entladen?
→ ‑-always_unload_models (CLI) bzw. Schalter in der Web-UI.
Eine echte Zeitvorgabe à la „unload nach 10 Minuten“ gibt es (noch) nicht.
────────────────────────────────────────────
- Parameter und UI-Schalter ────────────────────────────────────────────
CLI / docker-compose:
services: invokeai: image: ghcr.io/invoke-ai/invokeai:latest # … command: > invokeai-web --max_loaded_models 1 # höchstens 1 Modell im Speicher --always_unload_models # nach jedem Job entladenWeb-UI:
Einstellungen → Performance → „Unload model after each invocation“ (Wortlaut kann leicht variieren).Was passiert dabei?
• Ohne Parameter: Einmal geladen = bleibt im VRAM, bis Sie manuell „Unload“ klicken oder ein anderes Modell geladen wird undmax_loaded_modelserreicht ist.
•--max_loaded_models N: LRU-Cache; wird ein weiteres Modell angefordert, fliegt das am längsten ungenutzte raus.
•--always_unload_models: Modell wird sofort nach Fertigstellung des letzten Auftrags entladen (Cache = 0).──────────────────────────────────────────── 2. Workaround für echte Idle-Timer ────────────────────────────────────────────
Wenn Sie wirklich eine Zeitsteuerung brauchen, geht das nur „extern“:
-
Die REST-API von InvokeAI anpingen
GET /api/v1/queue/status → sind Jobs in der Queue?
GET /api/v1/model/current → welches Modell ist geladen? -
Ist die Queue leer und
last_job_timestamp + idle_timeout < now,
dann
POST /api/v1/model/unload
Ein kurzes Bash/Python-Skript als Cron-Job oder in Node-RED/PowerShell reicht.
──────────────────────────────────────────── 3. Zukunftsaussichten ────────────────────────────────────────────
Im Issue-Tracker von Invoke AI existiert ein Feature-Request für „configurable idle-unload“. Wenn das umgesetzt wird, wandert vermutlich ein neuer Eintrag in die
invokeai.yaml, z. B.model_unload_timeout: 600.Bis dahin bleibt also:
•
--always_unload_modelsfür sofortiges Freiräumen
•--max_loaded_modelszum Begrenzen des Caches
• eigener kleiner Watchdog für minutenbasierte Regeln.Hoffe, das hilft dir weiter! 😉
- Maximal wie viele Modelle dürfen gleichzeitig im Speicher bleiben?
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.