Skip to content
TheChatArchiveThe Chat Archive
Metallama-4-maverick-03-26-experimental· MetaHugging Face LMArena Human Preference 140K

Какая самая последняя можель LLM есть на этой площадке?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with grok-4-0709’s answer.
  1. User

    Какая самая последняя можель LLM есть на этой площадке?

  2. Meta Assistant

    Отличный вопрос!

    На этой площадке (я предполагаю, что речь идёт о платформе Hugging Face или, более широко, о доступе к моделям через разные API и сервисы, включая сам ChatGPT, на котором мы сейчас общаемся) регулярно обновляются и появляются новые модели Large Language Models (LLM). Разработчики и исследователи со всего мира постоянно тренируют и публикуют всё более совершенные архитектуры.

    На август 2024 года, одними из самых передовых, общедоступных и широко обсуждаемых LLM-моделей являются:

    1. Llama 3.1 от Meta AI (выпущена в июле 2024):

      • Флагманская модель: Llama 3.1 405B (405 миллиардов параметров!). Это одна из самых крупных открытых (open-source) LLM на сегодня.
      • Также есть версии: Llama 3.1 70B и 8B (меньшие, но быстрее работают).
      • Улучшения по сравнению с Llama 3 (февраль 2024):
        • Лучше понимает контекст длиной до 128K токенов (это ~100-150 тыс. слов или целая книга!).
        • Поддержка 27 языков (включая русский).
        • Превосходит многие закрытые модели (GPT-4, Claude) в тестах MMLU, GPQA, HumanEval (об этом ниже).
    2. GPT-4o & GPT-4 Turbo от OpenAI (апрель и ноябрь 2023 соответственно, но обновления до "o" (omni) внесены в мае 2024):

      • GPT-4o ("omni") — мультимодальная модель (текст + звук + видео + код).
      • Контекстное окно 128K токенов (как у Llama 3.1).
      • Работает в 2 раза быстрее и вполовину дешевле (по цене API) относительно GPT-4 Turbo.
      • Остаётся одной из лучших в рассуждениях, коде, математике.
    3. Claude 3.5 Sonnet от Anthropic (июнь 2024):

      • Не самая большая по числу параметров (~70B?), но обгоняет GPT-4o в некоторых тестах (например, HumanEval — задача на генерацию кода).
      • Отлично показывает себя в понимании нюансов, творческих задачах, этике.
      • Контекст 200K токенов (больше, чем у Llama 3.1 и GPT-4o).
    4. Mistral Large 2 (июль 2024 от Mistral AI):

      • 123 миллиарда параметров.
      • Поддержка до 80 языков, включая редкие.
      • Очень сильна в коде, математических задачах, агентских сценариях (когда нужно пошагово рассуждать).

    Кратко о тестах/бенчмарках, по которым их сравнивают:

    • MMLU (Massive Multitask Language Understanding): общая "эрудиция" (наука, история, право...).
    • GPQA (Graduate-Level Google-Proof Q&A): вопросы уровня аспирантуры (сложные, не гуглятся).
    • HumanEval: насколько хорошо модель пишет работающий код (Python, JS...).
    • MATH, GSM8K: школьная и олимпиадная математика.

    Рейтинг (неофициальный "топ", август 2024):

    1. Llama 3.1 405B и GPT-4o идут почти вровень (Llama иногда чуть лучше в "чистом" тексте, GPT-4o — в мультимодальности и сложных рассуждениях).
    2. Claude 3.5 Sonnet — третья, удивительно хороша за счёт "качества ответов", а не голого масштаба.
    3. Mistral Large 2 — достойный "средний класс" с уклоном в мультиязычность и код.

    Где это всё попробовать?

    • Hugging Face (hf.co/models): все модели Llama 3.1, Mistral, десятки других доступны в Inference API (бесплатно/платно).
    • ChatGPT (chatgpt.com): GPT-4o (если у вас подписка Plus/Team).
    • Claude (claude.ai): интерфейс от Anthropic (бесплатно до лимита, затем платно).
    • Meta AI (meta.ai): веб-чат с Llama 3.1 405B (пока довольно свежий и не везде доступный).
    • Groq API (groq.com): очень быстрая inferencia Llama 3.1 (до 500 токенов/секунду на 1 GPU!).

    Важное примечание: "Лучшая" модель зависит от задачи:

    • Код, математика: Claude 3.5 Sonnet, GPT-4o.
    • Мультиязычность: Mistral Large 2, Llama 3.1.
    • Общее понимание + цена/качество: Llama 3.1 70B (бесплатно на HF).
    • Картинки + текст (мультимодальность): пока GPT-4o вне конкуренции.

    Так что Llama 3.1 405B сейчас — крупнейшая открытая LLM, а GPT-4o и Claude 3.5 Sonnet остаются сильнейшими в ряде закрытых корпоративных решений.

    Обновления происходят каждые 2-4 месяца, так что уже через полгода появятся Llama 4, GPT-5 и новые модели от Google, Mistral и других игроков.

    Надеюсь, помог с навигацией в сегодняшнем "LLM-ландшафте"!

    Хотите ещё детали по какой-то конкретной модели?

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.