Твоя роль: эксперт по linux и нейросетям глубокого обучения. Собираюсь установить эту ИИ…
- User
Твоя роль: эксперт по linux и нейросетям глубокого обучения. Собираюсь установить эту ИИ модель: https://github.com/huggingface/local-gemma#cli-usage. В качестве аппаратной платформы используется мини-ПК со следующими характеристиками: ЦП - intel n100, GPU - Intel UHD Graphics (встроена в ЦП), объём ОЗУ - 16Gb. На мини-ПК развёрнут PROXMOX, на котором имеется VM. Настройки VM: q35; ЦП - 1 сокет, 4 ядра, quemu64; объём ОЗУ - 10Gb; OC - ubuntu server minimized 24.04. Учти характеристики мини-пк и vm и исходя из этого дай мне подробную инструкцию по развёртыванию данной модели на моей vm. Для ускорения модели, будем использовать openvino
- Assistant
Развертывание модели на указанной VM с учетом ваших аппаратных характеристик и использования OpenVINO требует несколько ключевых шагов. Следует установить и настроить различные зависимости и компилировать модель для оптимального использования OpenVINO на Intel GPU. Вот подробная инструкция:
Шаг 0: Подготовка системы
- Убедитесь, что ваша VM работает и настроена корректно.
- Обновите систему:
sudo apt update && sudo apt upgrade -y
Шаг 1: Установка необходимых зависимостей
1. Установите Python и pip:
sudo apt install python3 python3-pip -y2. Установите Git:
sudo apt install git -yШаг 2: Установка OpenVINO
1. Установите OpenVINO:
Загрузите и установите пакет OpenVINO:
wget https://storage.openvinotoolkit.org/repositories/openvino/packages/2023.1/l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz tar -xvzf l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz cd l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2/ sudo ./install_cv_sdk_dependencies.sh sudo ./install.sh2. Настройка окружения:
Добавьте следующие строки в ваш
.bashrc(или другой стартовый скрипт оболочки):source /opt/intel/openvino_2023/setupvars.shПримените изменения:
source ~/.bashrcШаг 3: Установка необходимых библиотек Python
1. Установите нужные пакеты:
pip3 install numpy openvino==2023.1Шаг 4: Скачивание и установка модели
1. Склонируйте репозиторий Local Gemma:
git clone https://github.com/huggingface/local-gemma.git2. Перейдите в директорию проекта:
cd local-gemma3. Установите зависимости проекта:
pip3 install -r requirements.txt4. Установка библиотеки
torchи других зависимостей для OpenVINO:pip3 install torch torchvision torchaudioШаг 5: Подготовка модели для OpenVINO
Для ускорения этой модели с помощью OpenVINO, потребуется конвертировать ее в формат Intermediate Representation (IR). Используем OpenVINO Model Optimizer.
1. Экспорт модели из PyTorch:
В проекте в файле
model.pyэкспортируйте PyTorch модель в.onnxформат. Возможно, это уже реализовано в проекте, но если нет, добавьте вручную:import torch from model import GemmaModel # замените на фактическое имя класса модели model = GemmaModel() dummy_input = torch.randn(1, 3, 224, 224) # замените на правильную форму вводных данных для вашей модели torch.onnx.export(model, dummy_input, "model.onnx")2. Конвертируйте модель в IR формат:
mo --input_model model.onnx --output_dir ./model_irШаг 6: Запуск модели с OpenVINO Runtime
Создайте скрипт для запуска модели с использованием OpenVINO Inference Engine:
from openvino.inference_engine import IECore import numpy as np import cv2 # или другой пакет для работы с изображениями ie = IECore() net = ie.read_network(model="path_to_model_ir.xml", weights="path_to_model_ir.bin") exec_net = ie.load_network(network=net, device_name="GPU") # используем "GPU" для Intel GPU # Загрузка изображения и предобработка image = cv2.imread("path_to_test_image.jpg") input_blob = next(iter(net.input_info)) output_blob = next(iter(net.outputs)) n, c, h, w = net.input_info[input_blob].input_data.shape image = cv2.resize(image, (w, h)) image = image.transpose((2, 0, 1)) # HWC to CHW image = image.reshape((n, c, h, w)) # Инференс result = exec_net.infer(inputs={input_blob: image}) print(result)Заключение
Теперь вы должны быть готовы к запуску модели на вашей VM с использованием OpenVINO для ускорения.
Важные заметки:
- Возможно, вам придется выполнить дополнительные настройки для использования Intel GPU в вашей виртуальной машине. Убедитесь, что ваши драйверы полностью установлены и поддерживаются.
- Проверьте, что ваш GPU поддерживается OpenVINO.
- Ознакомьтесь с официальной документацией OpenVINO для детальной настройки и оптимизации.
Если у вас возникнут проблемы на каком-то шаге, предоставьте конкретные ошибки или проблемы, и я помогу вам их устранить.
- User
(gemma-env) root@gemma-2-2b:~# tar -xvf l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz
gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now
- Assistant
Сообщение об ошибке указывает на то, что файл, который вы пытаетесь разархивировать, не является валидным gzip архивом. Возможно, его скачивание прошло некорректно или присутствует ошибка в URL источника файла. Давайте перепроверим шаги и убедимся, что файл скачан правильно. Мы также рассмотрим альтернативный способ установки OpenVINO.
Шаг 1: Удалим некорректный файл
rm l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgzШаг 2: Скачаем файл заново
Убедитесь, что вы используете правильный URL для скачивания. Попробуйте другой способ загрузки, например, с использованием
curl:curl -O https://storage.openvinotoolkit.org/repositories/openvino/packages/2023.1/l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgzШаг 3: Проверьте формат архива
Мы можем проверить тип файла с помощью команды
fileчтобы убедиться, что он является tar.gz архивом:file l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgzЕсли файл корректно скачан, вы должны увидеть что-то вроде:
l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz: gzip compressed data, was "..."Шаг 4: Распакуйте архив
Если файл действительно является gzip архивом, распакуйте его снова:
tar -zxvf l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgzАльтернативный способ установки OpenVINO
Если проблема не решена, давайте попробуем установить OpenVINO через репозитории Intel.
1. Добавьте репозиторий OpenVINO:
sudo apt update sudo apt install wget lsb-release sudo apt-transport-https gnupg wget -qO - https://apt.repos.intel.com/openvino/2023/GPG-PUB-KEY-INTEL-OPENVINO-2023 | sudo apt-key add - echo "deb https://apt.repos.intel.com/openvino/2023 all main" | sudo tee /etc/apt/sources.list.d/intel-openvino-2023.list sudo apt update2. Установите OpenVINO:
sudo apt install intel-openvino-runtime-ubuntu243. Настроить окружение:
source /opt/intel/openvino_2023/setupvars.shДобавьте строку для настройки окружения в ваш
.bashrc:echo 'source /opt/intel/openvino_2023/setupvars.sh' >> ~/.bashrc source ~/.bashrcПродолжение установки
После успешной установки OpenVINO с использованием одного из предложенных методов, вы можете продолжить установку остальных зависимостей и конвертацию модели как описано в предыдущем ответе.
Если у вас возникнут дополнительные вопросы или проблемы, пожалуйста, предоставьте конкретные ошибки или тексты сообщений, и я помогу вам их решить.
- User
l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz: HTML document, ASCII text
- Assistant
Похоже, что вместо реального архива вы скачали HTML-страницу. Это может означать, что URL, который вы использовали для загрузки, некорректен, или страница изменилась. Рекомендую проверить правильность URL и попытаться снова.
Тем временем, давайте попробуем альтернативный метод установки OpenVINO, как я упоминал ранее, через репозиторий Intel. Вот пошаговая инструкция для этого способа:
Шаг 1: Установка зависимостей
Убедитесь, что все зависимости установлены:
sudo apt update sudo apt install -y wget lsb-release sudo apt-transport-https gnupgШаг 2: Добавление репозитория OpenVINO
Добавьте ключи и репозиторий OpenVINO:
wget -qO - https://apt.repos.intel.com/openvino/2023/GPG-PUB-KEY-INTEL-OPENVINO-2023 | sudo apt-key add - echo "deb https://apt.repos.intel.com/openvino/2023 all main" | sudo tee /etc/apt/sources.list.d/intel-openvino-2023.listШаг 3: Обновление списка пакетов и установка OpenVINO
Обновите список пакетов и установите OpenVINO:
sudo apt update sudo apt install -y intel-openvino-runtime-ubuntu24Шаг 4: Настройка окружения
Настройте окружение, добавив следующую строку в ваш
.bashrc:echo 'source /opt/intel/openvino_2023/setupvars.sh' >> ~/.bashrc source ~/.bashrcЕсли установка прошла успешно, вы должны увидеть сообщение о том, что переменные окружения для OpenVINO настроены.
Продолжение установки модели и настройки OpenVINO:
-
Проверим корректность установки:
source /opt/intel/openvino_2023/setupvars.sh -
Установим необходимые зависимости для вашей модели:
cd local-gemma pip3 install -r requirements.txt pip3 install torch torchvision torchaudio -
Экспортируем модель в формат ONNX и конвертируем в IR:
import torch from model import GemmaModel # Замените на фактическое имя класса модели model = GemmaModel() dummy_input = torch.randn(1, 3, 224, 224) # Замените на правильную форму вводных данных для вашей модели torch.onnx.export(model, dummy_input, "model.onnx")mo --input_model model.onnx --output_dir ./model_ir -
Создадим скрипт для инференса с использованием OpenVINO:
from openvino.runtime import Core import numpy as np import cv2 core = Core() model = core.read_model("model_ir/model.xml") compiled_model = core.compile_model(model, "GPU") # Загрузка изображения и предобработка image = cv2.imread("path_to_test_image.jpg") input_blob = compiled_model.input(0).get_shape() n, c, h, w = input_blob image = cv2.resize(image, (w, h)) image = image.transpose((2, 0, 1)) # HWC to CHW image = np.expand_dims(image, axis=0) # добавим измерение для батча # Инференс predictions = compiled_model([image])[compiled_model.output(0)] print(predictions)
Теперь вы должны быть готовы к запуску вашей модели на VM с использованием OpenVINO. Если возникнут какие-либо ошибки или дополнительные вопросы, не стесняйтесь задавать!
-
- User
Добавьте следующие строки в ваш .bashrc (или другой стартовый скрипт оболочки) - как проверить, добавилось ли?
- Assistant
Чтобы проверить, добавились ли строки в ваш
.bashrc(или другой стартовый скрипт оболочки), вы можете воспользоваться несколькими методами. Вот шаги, которые помогут вам удостовериться в этом:1. Просмотр содержимого файла напрямую
Вы можете использовать команду
cat, чтобы просмотреть содержимое файла.bashrc:cat ~/.bashrcПролистайте содержимое файла и найдите строки, которые вы добавили (
source /opt/intel/openvino_2023/setupvars.sh).2. Использование команды
grepВы можете использовать команду
grepдля поиска конкретной строки:grep "source /opt/intel/openvino_2023/setupvars.sh" ~/.bashrcЕсли строка была добавлена, вы увидите её в выводе.
3. Редактирование файла с помощью текстового редактора
Откройте файл
.bashrcв текстовом редакторе, напримерnanoилиvim:nano ~/.bashrcили
vim ~/.bashrcПросмотрите содержимое файла и удостоверьтесь, что строка
source /opt/intel/openvino_2023/setupvars.shдобавлена. Вnanoвы можете использовать сочетание клавишCtrl+W, чтобы найти строку. Вvimиспользуйте/для поиска.4. Применение изменений в текущей сессии
Даже если строка добавлена, убедитесь, что текущая сессия загрузила измененный файл. Чтобы убедиться в этом, запустите:
source ~/.bashrc5. Проверка окружения
После того, как вы уверены, что строка добавлена и файл загружен, проверьте наличие переменных окружения, установленных OpenVINO. Например, переменная
INTEL_OPENVINO_DIRдолжна быть установлена.echo $INTEL_OPENVINO_DIRЕсли переменная окружения установлена корректно, в выводе будет путь к установленной директории OpenVINO, например:
/opt/intel/openvino_2023Заключение
Эти шаги помогут вам убедиться, что строки добавлены и изменения применены. Если возникнут дополнительные вопросы или проблемы, пожалуйста, дайте знать.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.