Skip to content
TheChatArchiveThe Chat Archive
o3-2025-04-16· OpenAIHugging Face LMArena Human Preference 140K

Что означают параметры -b 4096 -ub 4096 в llama.cpp?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Geminigemini-2.0-flash-001’s answer.
  1. User

    Что означают параметры -b 4096 -ub 4096 в llama.cpp?

  2. Assistant

    Ниже – кратко и по-русски о том, что такое ­-b и ­-ub в llama.cpp, зачем они нужны и как их правильно подбирать.

    1. -b, --batch
      • Полное название во внутреннем коде – n_batch.
      • Это «внешний» размер батча: сколько токенов одновременно подаётся в модель при ПРОГОНЕ ЧАСТИ или всего ПРОМПТА.
      • Чем больше – тем меньше вызовов модели → выше скорость, но тем больше оперативной памяти/​видеопамяти требуется (память растёт линейно от b).
      • Типичный диапазон: 256-4096 на CPU, 16-2048 на GPU – зависит от объёма ОЗУ/VRAM и размера модели.

    2. -ub, --n-ubatch
      • Полное название во внутреннем коде – n_ubatch (u = micro).
      • Это размер «микробатча» (sub-batch) для тех слоёв, которые вынесены на GPU.

      • Если у вас чисто CPU-ная сборка, параметр практически не влияет.
      • При offload’е (CUDA, Metal, ROCm, Vulkan) он определяет, на сколько кусочков разбить большой ­-b, чтобы каждый кусочек влезал в VRAM.
        • Если ­-ub < ­-b, модель прокручивает одну и ту же порцию токенов несколькими проходами по слоям, экономя память, но теряя немного скорости.
        • Если ­-ub = ­-b (как в вашем примере 4096/4096) – микробатчей нет, используется один большой батч.

    Примерный алгоритм выбора –––––––––––––––––––––––

    1. Оцените, какой ­-b вам нужен для скорости (попробуйте 512, 1024, 2048…).
    2. Если модель вылетает по VRAM:
      а) оставьте ­-b как есть (или чуть меньше),
      б) уменьшайте ­-ub, пока все слои, вынесенные на GPU, перестанут «падать» по памяти.
    3. На CPU-только сборке можно просто придерживаться одного параметра ­-b; ­-ub можно не задавать или ставить такое же число.

    Частые вопросы –––––––––––––– • Что происходит во время генерации?
    Сама генерация идёт по 1 токену, поэтому ­-b/-ub важны главным образом для начального «прогрева»/​обработки промпта.

    • «Большой batch замедлил модель!»
    Слишком большой ­-b может перегрузить кэш, вызвать своп или уменьшить тактовую частоту GPU → итоговая скорость падает. Подбирайте опытным путём.

    • Есть ли формула для памяти?
    Приблизительно: ΔRAM ≈ b × (n_layer × hidden_dim × sizeof(dtype)). Поэтому удвоение ­-b почти удвоит потребление RAM/VRAM.

    Итого -b 4096 – мы хотим обработать 4096 токенов промпта одним махом.
    -ub 4096 – не делим этот батч на «под-батчи»; весь промпт за один проход, что требует столько же памяти, сколько и-b.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.