Skip to content
TheChatArchiveThe Chat Archive
o3-2025-04-16· OpenAIHugging Face LMArena Human Preference 140K

Bei der Nutzung von Invoke.AI wird scheinbar meine GPU nicht genutzt. hier ein Auszug…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Geminigemini-2.5-flash-lite-preview-06-17-thinking’s answer.
  1. User

    Bei der Nutzung von Invoke.AI wird scheinbar meine GPU nicht genutzt.

    hier ein Auszug aus der yml-Datei:

    invokeai: image: ghcr.io/invoke-ai/invokeai:latest container_name: invokeai ports: - "7860:9090" volumes: - D:/ki-server/invokeai:/invokeai environment: - INVOKEAI_ROOT=/invokeai networks: - ki-net deploy: resources: reservations: devices: - driver: nvidia capabilities: [gpu] restart: unless-stopped

  2. Assistant

    Damit die GPU-Beschleunigung in einem Docker-Container tatsächlich greift, müssen vier Dinge zusammen­passen:

    1. Der Host kann die GPU ansprechen.
      • nvidia-smi muss außerhalb des Containers laufen und die Karte(n) anzeigen.

    2. Der Docker-Engine ist GPU-fähig.
      • Unter Windows: Docker Desktop ≥ 4.19, WSL2, „Use GPU acceleration“ aktiviert.
      • Unter Linux: „NVIDIA Container Toolkit“ (nvidia-docker2) installiert.

    3. Die Compose-Datei enthält die richtigen Schlüssel – und zwar solche, die vom verwendeten „docker compose“-Befehl auch wirklich ausgewertet werden.

    4. Im Container ist CUDA/PyTorch mit GPU-Support installiert (bei ghcr.io/invoke-ai/invokeai:latest ist das schon der Fall).

    Der Haken bei deinem Ausschnitt

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              capabilities: [gpu]
    

    ist: Das funktioniert nur, wenn du einen Swarm-Stack mit docker stack deploy startest.
    Bei einem simplen docker compose up -d wird der komplette „deploy“-Block ignoriert – darum sieht InvokeAI keine GPU.

    ──────────────────────────────────────────────────────────── So geht’s mit normalem „docker compose“ (v2 Plugin) ────────────────────────────────────────────────────────────

    version: "3.9"
    services:
      invokeai:
        image: ghcr.io/invoke-ai/invokeai:latest
        container_name: invokeai
        ports:
          - "7860:9090"
        volumes:
          - D:/ki-server/invokeai:/invokeai           # deine Modelle / Konfigs
        environment:
          - INVOKEAI_ROOT=/invokeai
          - NVIDIA_VISIBLE_DEVICES=all                # <<< wichtig
          - NVIDIA_DRIVER_CAPABILITIES=compute,utility
        deploy:                                       # optional, wird bei compose ignoriert
          resources:
            reservations:
              devices:
                - capabilities: [gpu]
        runtime: nvidia                               # nötig, falls Engine noch nicht auf "default-runtime=nvidia" steht
        # Alternative zur Zeile oben (funktioniert ab Compose 1.29+):
        # gpus: all
        networks:
          - ki-net
        restart: unless-stopped
    
    networks:
      ki-net:
        external: true
    

    Wichtiges Detail:
    • Entweder runtime: nvidia ODER (ab neueren Compose-Versionen) gpus: all verwenden.
    • Auf Windows/WSL2 benötigt man keine /dev/nvidia*-Device-Mounts – Docker Desktop erledigt das.

    ──────────────────────────────────────────────────────────── Funktion geprüft? ────────────────────────────────────────────────────────────

    1. Host-Check

      nvidia-smi
      

      → Liste der GPUs muss kommen.

    2. Container-Check

      docker compose up -d
      docker exec -it invokeai nvidia-smi
      

      → Wenn dort auch die Liste erscheint, ist die GPU durchgereicht.

    3. InvokeAI-UI
      Im Web-UI rechts unten auf „System Info“ → Torch GPU sollte „True“ sein.
      Oder in der Shell:

      python - <<'PY'
      import torch, sys
      print("GPUs found:", torch.cuda.device_count())
      print("Current device:", torch.cuda.current_device())
      PY
      

    ──────────────────────────────────────────────────────────── Bekannte Stolperfallen ────────────────────────────────────────────────────────────

    • „deploy:“-Block nur für Swarm
    → bei Compose ignoriert.

    • Docker-Compose-Version zu alt
    → docker compose version sollte die neue v2-CLI zeigen (nicht docker-compose aus Python-Package).

    • WSL2 + veralteter NVIDIA-Treiber
    → aktueller „NVIDIA Windows Display Driver (WSL)“ installieren.

    • CUDA-Fehlermeldung „no devices found“
    → oft falsches Runtime-Flag oder fehlendes NVIDIA_VISIBLE_DEVICES.

    ──────────────────────────────────────────────────────────── Kurz-Troubleshooting-Flow ────────────────────────────────────────────────────────────

    1. Host → nvidia-smi OK?
    2. Container → docker run --gpus all nvidia/cuda:12.2.0-base nvidia-smi OK?
    3. Compose-File → runtime: nvidia oder gpus: all gesetzt?
    4. InvokeAI startet → torch.cuda.is_available() True?

    Wenn Schritt 2 schon scheitert, liegt es am Docker/NVIDIA-Setup; andernfalls nur am Compose-File.

    Viel Erfolg! 🚀

  3. User

    kann ich festlegen, wie lange bei Invoke das Modell im Speicher verbleiben soll, wenn es aktuell nicht verwendet wird?

  4. Assistant

    Kurzfassung
    Invoke AI bringt (Stand v3.x) keinen integrierten „Idle-Timer“, der ein Modell nach n Minuten Untätigkeit automatisch aus dem GPU-Speicher wirft. Es gibt aber zwei Stellschrauben:

    1. Maximal wie viele Modelle dürfen gleichzeitig im Speicher bleiben?
      → ‑-max_loaded_models
    2. Modell direkt nach jedem Job entladen?
      → ‑-always_unload_models (CLI) bzw. Schalter in der Web-UI.

    Eine echte Zeitvorgabe à la „unload nach 10 Minuten“ gibt es (noch) nicht.

    ────────────────────────────────────────────

    1. Parameter und UI-Schalter ────────────────────────────────────────────

    CLI / docker-compose:

    services:
      invokeai:
        image: ghcr.io/invoke-ai/invokeai:latest
        # …
        command: >
          invokeai-web
          --max_loaded_models 1          # höchstens 1 Modell im Speicher
          --always_unload_models         # nach jedem Job entladen
    

    Web-UI:
    Einstellungen → Performance → „Unload model after each invocation“ (Wortlaut kann leicht variieren).

    Was passiert dabei?
    • Ohne Parameter: Einmal geladen = bleibt im VRAM, bis Sie manuell „Unload“ klicken oder ein anderes Modell geladen wird und max_loaded_models erreicht ist.
    • --max_loaded_models N: LRU-Cache; wird ein weiteres Modell angefordert, fliegt das am längsten ungenutzte raus.
    • --always_unload_models: Modell wird sofort nach Fertigstellung des letzten Auftrags entladen (Cache = 0).

    ──────────────────────────────────────────── 2. Workaround für echte Idle-Timer ────────────────────────────────────────────

    Wenn Sie wirklich eine Zeitsteuerung brauchen, geht das nur „extern“:

    1. Die REST-API von InvokeAI anpingen
      GET /api/v1/queue/status → sind Jobs in der Queue?
      GET /api/v1/model/current → welches Modell ist geladen?

    2. Ist die Queue leer und last_job_timestamp + idle_timeout < now,
      dann
      POST /api/v1/model/unload

    Ein kurzes Bash/Python-Skript als Cron-Job oder in Node-RED/PowerShell reicht.

    ──────────────────────────────────────────── 3. Zukunftsaussichten ────────────────────────────────────────────

    Im Issue-Tracker von Invoke AI existiert ein Feature-Request für „configurable idle-unload“. Wenn das umgesetzt wird, wandert vermutlich ein neuer Eintrag in die invokeai.yaml, z. B. model_unload_timeout: 600.

    Bis dahin bleibt also:

    • --always_unload_models für sofortiges Freiräumen
    • --max_loaded_models zum Begrenzen des Caches
    • eigener kleiner Watchdog für minutenbasierte Regeln.

    Hoffe, das hilft dir weiter! 😉

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.