Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-05-13· OpenAIAi2 WildChat-4.8M (AI2)

Твоя роль: эксперт по linux и нейросетям глубокого обучения. Собираюсь установить эту ИИ…

  1. User

    Твоя роль: эксперт по linux и нейросетям глубокого обучения. Собираюсь установить эту ИИ модель: https://github.com/huggingface/local-gemma#cli-usage. В качестве аппаратной платформы используется мини-ПК со следующими характеристиками: ЦП - intel n100, GPU - Intel UHD Graphics (встроена в ЦП), объём ОЗУ - 16Gb. На мини-ПК развёрнут PROXMOX, на котором имеется VM. Настройки VM: q35; ЦП - 1 сокет, 4 ядра, quemu64; объём ОЗУ - 10Gb; OC - ubuntu server minimized 24.04. Учти характеристики мини-пк и vm и исходя из этого дай мне подробную инструкцию по развёртыванию данной модели на моей vm. Для ускорения модели, будем использовать openvino

  2. Assistant

    Развертывание модели на указанной VM с учетом ваших аппаратных характеристик и использования OpenVINO требует несколько ключевых шагов. Следует установить и настроить различные зависимости и компилировать модель для оптимального использования OpenVINO на Intel GPU. Вот подробная инструкция:

    Шаг 0: Подготовка системы

    1. Убедитесь, что ваша VM работает и настроена корректно.
    2. Обновите систему:
      sudo apt update && sudo apt upgrade -y
      

    Шаг 1: Установка необходимых зависимостей

    1. Установите Python и pip:

    sudo apt install python3 python3-pip -y
    

    2. Установите Git:

    sudo apt install git -y
    

    Шаг 2: Установка OpenVINO

    1. Установите OpenVINO:

    Загрузите и установите пакет OpenVINO:

    wget https://storage.openvinotoolkit.org/repositories/openvino/packages/2023.1/l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz
    tar -xvzf l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz
    cd l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2/
    sudo ./install_cv_sdk_dependencies.sh
    sudo ./install.sh
    

    2. Настройка окружения:

    Добавьте следующие строки в ваш .bashrc (или другой стартовый скрипт оболочки):

    source /opt/intel/openvino_2023/setupvars.sh
    

    Примените изменения:

    source ~/.bashrc
    

    Шаг 3: Установка необходимых библиотек Python

    1. Установите нужные пакеты:

    pip3 install numpy openvino==2023.1
    

    Шаг 4: Скачивание и установка модели

    1. Склонируйте репозиторий Local Gemma:

    git clone https://github.com/huggingface/local-gemma.git
    

    2. Перейдите в директорию проекта:

    cd local-gemma
    

    3. Установите зависимости проекта:

    pip3 install -r requirements.txt
    

    4. Установка библиотеки torch и других зависимостей для OpenVINO:

    pip3 install torch torchvision torchaudio
    

    Шаг 5: Подготовка модели для OpenVINO

    Для ускорения этой модели с помощью OpenVINO, потребуется конвертировать ее в формат Intermediate Representation (IR). Используем OpenVINO Model Optimizer.

    1. Экспорт модели из PyTorch:

    В проекте в файле model.py экспортируйте PyTorch модель в .onnx формат. Возможно, это уже реализовано в проекте, но если нет, добавьте вручную:

    import torch
    from model import GemmaModel  # замените на фактическое имя класса модели
    
    model = GemmaModel()
    dummy_input = torch.randn(1, 3, 224, 224)  # замените на правильную форму вводных данных для вашей модели
    torch.onnx.export(model, dummy_input, "model.onnx")
    

    2. Конвертируйте модель в IR формат:

    mo --input_model model.onnx --output_dir ./model_ir
    

    Шаг 6: Запуск модели с OpenVINO Runtime

    Создайте скрипт для запуска модели с использованием OpenVINO Inference Engine:

    from openvino.inference_engine import IECore
    import numpy as np
    import cv2  # или другой пакет для работы с изображениями
    
    ie = IECore()
    net = ie.read_network(model="path_to_model_ir.xml", weights="path_to_model_ir.bin")
    exec_net = ie.load_network(network=net, device_name="GPU")  # используем "GPU" для Intel GPU
    
    # Загрузка изображения и предобработка
    image = cv2.imread("path_to_test_image.jpg")
    input_blob = next(iter(net.input_info))
    output_blob = next(iter(net.outputs))
    n, c, h, w = net.input_info[input_blob].input_data.shape
    image = cv2.resize(image, (w, h))
    image = image.transpose((2, 0, 1))  # HWC to CHW
    image = image.reshape((n, c, h, w))
    
    # Инференс
    result = exec_net.infer(inputs={input_blob: image})
    print(result)
    

    Заключение

    Теперь вы должны быть готовы к запуску модели на вашей VM с использованием OpenVINO для ускорения.

    Важные заметки:

    1. Возможно, вам придется выполнить дополнительные настройки для использования Intel GPU в вашей виртуальной машине. Убедитесь, что ваши драйверы полностью установлены и поддерживаются.
    2. Проверьте, что ваш GPU поддерживается OpenVINO.
    3. Ознакомьтесь с официальной документацией OpenVINO для детальной настройки и оптимизации.

    Если у вас возникнут проблемы на каком-то шаге, предоставьте конкретные ошибки или проблемы, и я помогу вам их устранить.

  3. User

    (gemma-env) root@gemma-2-2b:~# tar -xvf l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz

    gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now

  4. Assistant

    Сообщение об ошибке указывает на то, что файл, который вы пытаетесь разархивировать, не является валидным gzip архивом. Возможно, его скачивание прошло некорректно или присутствует ошибка в URL источника файла. Давайте перепроверим шаги и убедимся, что файл скачан правильно. Мы также рассмотрим альтернативный способ установки OpenVINO.

    Шаг 1: Удалим некорректный файл

    rm l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz
    

    Шаг 2: Скачаем файл заново

    Убедитесь, что вы используете правильный URL для скачивания. Попробуйте другой способ загрузки, например, с использованием curl:

    curl -O https://storage.openvinotoolkit.org/repositories/openvino/packages/2023.1/l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz
    

    Шаг 3: Проверьте формат архива

    Мы можем проверить тип файла с помощью команды file чтобы убедиться, что он является tar.gz архивом:

    file l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz
    

    Если файл корректно скачан, вы должны увидеть что-то вроде:

    l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz: gzip compressed data, was "..."
    

    Шаг 4: Распакуйте архив

    Если файл действительно является gzip архивом, распакуйте его снова:

    tar -zxvf l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz
    

    Альтернативный способ установки OpenVINO

    Если проблема не решена, давайте попробуем установить OpenVINO через репозитории Intel.

    1. Добавьте репозиторий OpenVINO:

    sudo apt update
    sudo apt install wget lsb-release sudo apt-transport-https gnupg
    wget -qO - https://apt.repos.intel.com/openvino/2023/GPG-PUB-KEY-INTEL-OPENVINO-2023 | sudo apt-key add -
    echo "deb https://apt.repos.intel.com/openvino/2023 all main" | sudo tee /etc/apt/sources.list.d/intel-openvino-2023.list
    sudo apt update
    

    2. Установите OpenVINO:

    sudo apt install intel-openvino-runtime-ubuntu24
    

    3. Настроить окружение:

    source /opt/intel/openvino_2023/setupvars.sh
    

    Добавьте строку для настройки окружения в ваш .bashrc:

    echo 'source /opt/intel/openvino_2023/setupvars.sh' >> ~/.bashrc
    source ~/.bashrc
    

    Продолжение установки

    После успешной установки OpenVINO с использованием одного из предложенных методов, вы можете продолжить установку остальных зависимостей и конвертацию модели как описано в предыдущем ответе.

    Если у вас возникнут дополнительные вопросы или проблемы, пожалуйста, предоставьте конкретные ошибки или тексты сообщений, и я помогу вам их решить.

  5. User

    l_openvino_toolkit_runtime_ubuntu24_p_2023.1.0.2.tgz: HTML document, ASCII text

  6. Assistant

    Похоже, что вместо реального архива вы скачали HTML-страницу. Это может означать, что URL, который вы использовали для загрузки, некорректен, или страница изменилась. Рекомендую проверить правильность URL и попытаться снова.

    Тем временем, давайте попробуем альтернативный метод установки OpenVINO, как я упоминал ранее, через репозиторий Intel. Вот пошаговая инструкция для этого способа:

    Шаг 1: Установка зависимостей

    Убедитесь, что все зависимости установлены:

    sudo apt update
    sudo apt install -y wget lsb-release sudo apt-transport-https gnupg
    

    Шаг 2: Добавление репозитория OpenVINO

    Добавьте ключи и репозиторий OpenVINO:

    wget -qO - https://apt.repos.intel.com/openvino/2023/GPG-PUB-KEY-INTEL-OPENVINO-2023 | sudo apt-key add -
    echo "deb https://apt.repos.intel.com/openvino/2023 all main" | sudo tee /etc/apt/sources.list.d/intel-openvino-2023.list
    

    Шаг 3: Обновление списка пакетов и установка OpenVINO

    Обновите список пакетов и установите OpenVINO:

    sudo apt update
    sudo apt install -y intel-openvino-runtime-ubuntu24
    

    Шаг 4: Настройка окружения

    Настройте окружение, добавив следующую строку в ваш .bashrc:

    echo 'source /opt/intel/openvino_2023/setupvars.sh' >> ~/.bashrc
    source ~/.bashrc
    

    Если установка прошла успешно, вы должны увидеть сообщение о том, что переменные окружения для OpenVINO настроены.

    Продолжение установки модели и настройки OpenVINO:

    1. Проверим корректность установки:

      source /opt/intel/openvino_2023/setupvars.sh
      
    2. Установим необходимые зависимости для вашей модели:

      cd local-gemma
      pip3 install -r requirements.txt
      pip3 install torch torchvision torchaudio
      
    3. Экспортируем модель в формат ONNX и конвертируем в IR:

      import torch
      from model import GemmaModel  # Замените на фактическое имя класса модели
      
      model = GemmaModel()
      dummy_input = torch.randn(1, 3, 224, 224)  # Замените на правильную форму вводных данных для вашей модели
      torch.onnx.export(model, dummy_input, "model.onnx")
      
      mo --input_model model.onnx --output_dir ./model_ir
      
    4. Создадим скрипт для инференса с использованием OpenVINO:

      from openvino.runtime import Core
      import numpy as np
      import cv2
      
      core = Core()
      model = core.read_model("model_ir/model.xml")
      compiled_model = core.compile_model(model, "GPU")
      
      # Загрузка изображения и предобработка
      image = cv2.imread("path_to_test_image.jpg")
      input_blob = compiled_model.input(0).get_shape()
      n, c, h, w = input_blob
      image = cv2.resize(image, (w, h))
      image = image.transpose((2, 0, 1))  # HWC to CHW
      image = np.expand_dims(image, axis=0)  # добавим измерение для батча
      
      # Инференс
      predictions = compiled_model([image])[compiled_model.output(0)]
      print(predictions)
      

    Теперь вы должны быть готовы к запуску вашей модели на VM с использованием OpenVINO. Если возникнут какие-либо ошибки или дополнительные вопросы, не стесняйтесь задавать!

  7. User

    Добавьте следующие строки в ваш .bashrc (или другой стартовый скрипт оболочки) - как проверить, добавилось ли?

  8. Assistant

    Чтобы проверить, добавились ли строки в ваш .bashrc (или другой стартовый скрипт оболочки), вы можете воспользоваться несколькими методами. Вот шаги, которые помогут вам удостовериться в этом:

    1. Просмотр содержимого файла напрямую

    Вы можете использовать команду cat, чтобы просмотреть содержимое файла .bashrc:

    cat ~/.bashrc
    

    Пролистайте содержимое файла и найдите строки, которые вы добавили (source /opt/intel/openvino_2023/setupvars.sh).

    2. Использование команды grep

    Вы можете использовать команду grep для поиска конкретной строки:

    grep "source /opt/intel/openvino_2023/setupvars.sh" ~/.bashrc
    

    Если строка была добавлена, вы увидите её в выводе.

    3. Редактирование файла с помощью текстового редактора

    Откройте файл .bashrc в текстовом редакторе, например nano или vim:

    nano ~/.bashrc
    

    или

    vim ~/.bashrc
    

    Просмотрите содержимое файла и удостоверьтесь, что строка source /opt/intel/openvino_2023/setupvars.sh добавлена. В nano вы можете использовать сочетание клавиш Ctrl+W, чтобы найти строку. В vim используйте / для поиска.

    4. Применение изменений в текущей сессии

    Даже если строка добавлена, убедитесь, что текущая сессия загрузила измененный файл. Чтобы убедиться в этом, запустите:

    source ~/.bashrc
    

    5. Проверка окружения

    После того, как вы уверены, что строка добавлена и файл загружен, проверьте наличие переменных окружения, установленных OpenVINO. Например, переменная INTEL_OPENVINO_DIR должна быть установлена.

    echo $INTEL_OPENVINO_DIR
    

    Если переменная окружения установлена корректно, в выводе будет путь к установленной директории OpenVINO, например:

    /opt/intel/openvino_2023
    

    Заключение

    Эти шаги помогут вам убедиться, что строки добавлены и изменения применены. Если возникнут дополнительные вопросы или проблемы, пожалуйста, дайте знать.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.