Skip to content
TheChatArchiveThe Chat Archive
Geminigemini-2.5-pro· GoogleHugging Face LMArena Human Preference 140K

я скачал c hugging face nous-hermes-2-mixtral-8x7b-dpo.Q4KM и LM studio как мне…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Claudeclaude-3-5-haiku-20241022’s answer.
  1. User

    я скачал c hugging face nous-hermes-2-mixtral-8x7b-dpo.Q4_K_M и LM studio как мне загрузить эту модель опиши пошагово!

  2. Gemini Assistant

    Да, конечно! Загрузить уже скачанную GGUF-модель в LM Studio очень просто. Вот пошаговая инструкция.

    Вы всё сделали правильно: скачали модель и установили программу. Теперь осталось их "познакомить".

    Шаг 1: Найти папку для моделей в LM Studio

    LM Studio хранит все модели в специальной папке. Самый простой способ её найти — через саму программу.

    1. Запустите LM Studio.

    2. В левой колонке найдите и нажмите на иконку папки (обычно она четвертая сверху, под иконкой поиска/лупы).

    3. При нажатии на эту иконку автоматически откроется системный файловый менеджер (Проводник в Windows или Finder в macOS) именно в той папке, куда нужно класть модели.

      • Обычно путь выглядит так: C:\Users\ВАШЕ_ИМЯ\.cache\lm-studio\models

    Шаг 2: Переместить скачанный файл

    Теперь, когда у вас открыта нужная папка:

    1. Найдите ваш скачанный файл. Его полное имя, скорее всего, nous-hermes-2-mixtral-8x7b-dpo.Q4_K_M.gguf.
    2. Переместите или скопируйте этот файл прямо в папку, которую открыл для вас LM Studio на предыдущем шаге.

    Шаг 3: Выбрать и загрузить модель для чата

    Вернитесь в окно LM Studio. Теперь программа должна "увидеть" вашу модель.

    1. Перейдите в раздел "Chat" (иконка диалогового облака слева, третья сверху).

    2. Вверху по центру экрана вы увидите большую кнопку "Select a model to load" (Выбрать модель для загрузки). Нажмите на неё.

    3. В выпадающем списке должна появиться ваша модель: nous-hermes-2-mixtral-8x7b-dpo.Q4_K_M. Выберите её.

    Шаг 4: Ожидание загрузки и начало работы

    1. После выбора модели LM Studio начнет загружать её в оперативную память (RAM) и/или видеопамять (VRAM). Этот процесс может занять от нескольких секунд до минуты, в зависимости от мощности вашего компьютера.
    2. Справа на экране вы увидите информацию о загрузке и использовании ресурсов.
    3. Как только модель будет полностью загружена, область для ввода сообщений станет активной.

    Всё! Теперь вы можете начинать общаться с моделью Nous Hermes 2 Mixtral.


    Важные советы и что делать, если что-то пошло не так:

    • Модель не появилась в списке: Если после перемещения файла модель не отображается в списке для загрузки, просто перезапустите LM Studio. Это обновит кэш, и она появится.
    • Требования к железу: Mixtral 8x7B — это довольно крупная модель, даже в квантованном виде Q4_K_M.
      • Для комфортной работы вам понадобится минимум 16 ГБ оперативной памяти (RAM).
      • Если у вас есть дискретная видеокарта (NVIDIA или AMD) с 6 ГБ видеопамяти (VRAM) или больше, вы сможете ускорить работу модели. В настройках справа (в разделе чата) можно выставить GPU Offload (перенос слоев на GPU) на максимум, чтобы модель работала быстрее.
    • Терпение при первой загрузке: Первая загрузка модели может быть немного дольше обычной.
    • Расширение файла: Убедитесь, что ваш файл имеет расширение .gguf. LM Studio работает именно с этим форматом.

    У вас всё получится! Это стандартный и самый надежный способ добавления локальных моделей в эту программу.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.