Skip to content
TheChatArchiveThe Chat Archive
gpt-4.1-mini-2025-04-14· OpenAIAi2 WildChat-4.8M (AI2)

Как включить поддержку GPU при компиляции llama.cpp

  1. User

    Как включить поддержку GPU при компиляции llama.cpp

  2. Assistant

    Чтобы включить поддержку GPU при компиляции проекта llama.cpp, нужно следовать определённым шагам. На данный момент llama.cpp поддерживает использование GPU через бэкенд CUDA (NVIDIA) или Metal (для Mac с GPU Apple), а также частично через OpenCL и другие.

    Ниже приведена общая инструкция по включению поддержки GPU с помощью CUDA.


    Шаги для включения поддержки GPU (CUDA) в llama.cpp

    1. Установите CUDA Toolkit

      • Зайдите на официальный сайт NVIDIA CUDA
      • Скачайте и установите подходящую версию CUDA Toolkit для вашей ОС и GPU.
      • Проверьте установку командой:
        nvcc --version
        
    2. Клонируйте репозиторий llama.cpp:

      git clone https://github.com/ggerganov/llama.cpp
      cd llama.cpp
      
    3. Включите поддержку GPU при компиляции

      В llama.cpp поддержка CUDA и других GPU-ускорителей задаётся через специальные флаги. Обычно можно просто запустить:

      make GPU_CUDA=1
      

      Это скажет Makefile скомпилировать CUDA-бэкенд.

    4. Запуск с использованием GPU

      После компиляции выполните команду запуска с флагом --use-gpu (если он поддерживается):

      ./main --model models/ggml-model.bin --use-gpu
      

      Обратите внимание, что конкретные аргументы могут отличаться в зависимости от версии, проверьте --help для актуальной информации:

      ./main --help
      

    Важные замечания

    • Помимо CUDA, некоторые форки и версии llama.cpp могут поддерживать и другие GPU-бэкэнды (например, Vulkan или Metal).
    • Для Mac с Apple Silicon поддержка GPU идёт через Metal — там нужно компилировать с флагом make METAL=1
    • В официальном репозитории могут появляться обновления — всегда проверяйте документацию и README.

    Кратко

    # Установка CUDA (вне scope этого описания)
    
    # Скачивание проекта
    git clone https://github.com/ggerganov/llama.cpp
    cd llama.cpp
    
    # Компиляция с CUDA поддержкой
    make GPU_CUDA=1
    
    # Запуск
    ./main --use-gpu --model models/your-model.bin
    

    Если возникнут ошибки — пожалуйста, укажите вашу ОС, модель GPU и версию CUDA, чтобы я мог помочь точнее.

  3. User

    CMake Error at CMakeLists.txt:108 (message): LLAMA_CUBLAS is deprecated and will be removed in the future.

    Use GGML_CUDA instead

  4. Assistant

    Ошибка говорит, что флаг LLAMA_CUBLAS устарел и вместо него следует использовать GGML_CUDA. Это значит, что в текущей версии llama.cpp флаг для включения поддержки CUDA изменился.


    Как правильно собрать с поддержкой CUDA сейчас:

    1. Клонируйте репозиторий и перейдите в папку проекта (если ещё не сделали):

    git clone https://github.com/ggerganov/llama.cpp
    cd llama.cpp
    

    2. Вызовите CMake с правильным флагом -DGGML_CUDA=ON:

    mkdir build
    cd build
    cmake .. -DGGML_CUDA=ON
    make -j
    

    3. Запуск с GPU

    Скомпилированный бинарник будет в build/main, запускайте с флагом --use-gpu или --gpu, если он поддерживается:

    ./main --model ../models/ggml-model.bin --use-gpu
    

    Для сборки с использованием Makefile (если не используете CMake)

    В последних версиях обычно рекомендуется использовать CMake. Если хотите Makefile и он поддерживает GGML_CUDA, попробуйте:

    make GGML_CUDA=1
    

    Итог

    • Устаревший флаг LLAMA_CUBLAS заменён на GGML_CUDA
    • Используйте cmake с опцией -DGGML_CUDA=ON
    • Запускайте бинарник с флагом --use-gpu

    Если возникнут дополнительные вопросы — пишите!