Skip to content
TheChatArchiveThe Chat Archive
gpt-4.1-mini-2025-04-14· OpenAIAi2 WildChat-4.8M (AI2)

Привет,напиши самую лучшею open source языковую модель для локального использования без…

  1. User

    Привет,напиши самую лучшею open source языковую модель для локального использования без цензуры на запуске видеокарт rtx 3090 24gb в количестве 10 штук.

  2. Assistant

    Привет!

    Если интересует одна из лучших на сегодня open source языковых моделей для локального запуска без цензуры и с учётом наличия мощных видеокарт RTX 3090 (24GB) в количестве 10 штук, то я бы рекомендовал обратить внимание на следующие варианты:


    1. LLaMA 2 (Meta)

    • Особенности:
      • Бесплатна для исследовательских и коммерческих целей (при условии соблюдения лицензии).
      • Доступна в версиях с 7B, 13B и 70B параметров.
      • Хорошо масштабируется и показывает выдающиеся результаты.
    • Почему подходит для RTX 3090:
      • Модель 7B и 13B можно достаточно комфортно запускать на нескольких GPU 24GB, используя распределённое обучение/инференс (например, с помощью DeepSpeed или HuggingFace Accelerate).
      • Легко кастомизируется и дообучается локально.
    • Где найти: https://ai.meta.com/llama/

    2. GPT4All-J или GPT4All-Lora

    • Особенности:
      • Open source модели, базируются на LLaMA и были адаптированы для локального использования и быстрого запуска.
      • Имеют минимальную цензуру, поскольку вы полностью контролируете модель.
    • Почему подходит для RTX 3090:
      • Модель относительно компактна, её легко запускать на одном или нескольких GPU.
      • Простой запуск с помощью binned базового кода.
    • Где найти: https://gpt4all.io/index.html

    3. StableLM (Stability AI)

    • Особенности:
      • Новый open source проект от Stability AI, сопоставимый с LLaMA.
      • Поддерживает локальный запуск и дообучение.
    • Почему подходит для RTX 3090:
      • Оптимизирован для распределённых вычислений.
    • Где найти: https://github.com/Stability-AI/StableLM

    Рекомендации по запуску и использованию на 10 RTX 3090 (24GB):

    • Используйте DeepSpeed или Megatron-LM для распределённого инференса и обучения. Они поддерживают эффективное шардирование модели и управления памятью.
    • Для удобного запуска и интерактивного использования можно использовать HuggingFace Transformers + Accelerate с настройкой на multi-GPU.
    • Контролируйте потребление памяти, экспериментируя с batch size, precision (эмбеддинги в float16 или даже int8/4) и смешанной точностью.

    Вывод

    Если нужна самая мощная open source модель с хорошей поддержкой, я бы рекомендовал:

    • LLaMA 2 13B / 70B (если готовы делать распределённый запуск и оптимизацию под 10 карт RTX 3090).
    • Комбинируйте с DeepSpeed / HuggingFace Accelerate для лучшей эффективности.
    • Если проще — GPT4All для быстрого локального использования и экспериментов.

    Если хочешь — могу помочь с примером настройки окружения для запуска на RTX 3090 в кластере из 10 GPU. Напиши!