Как включить поддержку GPU при компиляции llama.cpp
- User
Как включить поддержку GPU при компиляции llama.cpp
- Assistant
Чтобы включить поддержку GPU при компиляции проекта llama.cpp, нужно следовать определённым шагам. На данный момент
llama.cppподдерживает использование GPU через бэкенд CUDA (NVIDIA) или Metal (для Mac с GPU Apple), а также частично через OpenCL и другие.Ниже приведена общая инструкция по включению поддержки GPU с помощью CUDA.
Шаги для включения поддержки GPU (CUDA) в llama.cpp
-
Установите CUDA Toolkit
- Зайдите на официальный сайт NVIDIA CUDA
- Скачайте и установите подходящую версию CUDA Toolkit для вашей ОС и GPU.
- Проверьте установку командой:
nvcc --version
-
Клонируйте репозиторий llama.cpp:
git clone https://github.com/ggerganov/llama.cpp cd llama.cpp -
Включите поддержку GPU при компиляции
В
llama.cppподдержка CUDA и других GPU-ускорителей задаётся через специальные флаги. Обычно можно просто запустить:make GPU_CUDA=1Это скажет
Makefileскомпилировать CUDA-бэкенд. -
Запуск с использованием GPU
После компиляции выполните команду запуска с флагом
--use-gpu(если он поддерживается):./main --model models/ggml-model.bin --use-gpuОбратите внимание, что конкретные аргументы могут отличаться в зависимости от версии, проверьте
--helpдля актуальной информации:./main --help
Важные замечания
- Помимо CUDA, некоторые форки и версии
llama.cppмогут поддерживать и другие GPU-бэкэнды (например, Vulkan или Metal). - Для Mac с Apple Silicon поддержка GPU идёт через Metal — там нужно компилировать с флагом
make METAL=1 - В официальном репозитории могут появляться обновления — всегда проверяйте документацию и README.
Кратко
# Установка CUDA (вне scope этого описания) # Скачивание проекта git clone https://github.com/ggerganov/llama.cpp cd llama.cpp # Компиляция с CUDA поддержкой make GPU_CUDA=1 # Запуск ./main --use-gpu --model models/your-model.bin
Если возникнут ошибки — пожалуйста, укажите вашу ОС, модель GPU и версию CUDA, чтобы я мог помочь точнее.
-
- User
CMake Error at CMakeLists.txt:108 (message): LLAMA_CUBLAS is deprecated and will be removed in the future.
Use GGML_CUDA instead
- Assistant
Ошибка говорит, что флаг
LLAMA_CUBLASустарел и вместо него следует использоватьGGML_CUDA. Это значит, что в текущей версииllama.cppфлаг для включения поддержки CUDA изменился.
Как правильно собрать с поддержкой CUDA сейчас:
1. Клонируйте репозиторий и перейдите в папку проекта (если ещё не сделали):
git clone https://github.com/ggerganov/llama.cpp cd llama.cpp2. Вызовите CMake с правильным флагом
-DGGML_CUDA=ON:mkdir build cd build cmake .. -DGGML_CUDA=ON make -j3. Запуск с GPU
Скомпилированный бинарник будет в
build/main, запускайте с флагом--use-gpuили--gpu, если он поддерживается:./main --model ../models/ggml-model.bin --use-gpu
Для сборки с использованием Makefile (если не используете CMake)
В последних версиях обычно рекомендуется использовать CMake. Если хотите Makefile и он поддерживает
GGML_CUDA, попробуйте:make GGML_CUDA=1
Итог
- Устаревший флаг
LLAMA_CUBLASзаменён наGGML_CUDA - Используйте
cmakeс опцией-DGGML_CUDA=ON - Запускайте бинарник с флагом
--use-gpu
Если возникнут дополнительные вопросы — пишите!
- Устаревший флаг