Skip to content
The Chat Archive
o3-2025-04-16· OpenAI LMArena Human Preference 140K

у меня есть несколько промптов. мне нужно протестировать gguf-модель. как в llama.cpp…

  1. User

    у меня есть несколько промптов. мне нужно протестировать gguf-модель. как в llama.cpp автоматически получить ответы на эти промпты в файл для дальнейшей обратотки, чтобы не загружить большой gguf в gpu для каждого промпта?

  2. Assistant

    Ниже несколько рабочих способов «прого­нать» пачку промптов через одну и ту же GGUF-модель в llama.cpp, при этом модель загружается в GPU (или в RAM) ОДИН раз, а ответы сразу сохраняются в файл. Выбирайте тот сценарий, который ближе к вашему стеку/объёму задач.

    ────────────────────────────────────────

    1. Режим «server» + curl/скрипт-потребитель ────────────────────────────────────────
    2. Запускаем встроенный HTTP-сервер llama.cpp (модель загружается один раз и остаётся жить):
    ./server -m model.gguf      \
            -c 4096             \   # контекст
            -t 8                \   # потоки CPU
            -ngl 35             \   # слоёв в GPU, 0 = всё в RAM
            --port 8080
    
    1. Допустим, все ваши промпты лежат в prompts.txt, по одному на строку.
      Скрипт ниже читает их, шлёт на сервер и складывает только текст ответа в answers.txt:
    #!/usr/bin/env bash
    URL='http://127.0.0.1:8080/completion'
    > answers.txt                                 # очищаем/создаём файл
    
    while IFS= read -r PROMPT; do
      jq -nc --arg p "$PROMPT" '{"prompt":$p,"n_predict":256,"temperature":0.7}' \
      | curl -s -H "Content-Type: application/json" -d @- "$URL" \
      | jq -r '.content' >> answers.txt
      echo -e "\n---" >> answers.txt              # маркер между выводами (опционально)
    done < prompts.txt
    

    • Сервер остаётся запущенным → сколько угодно запросов без перезагрузки весёлой GGUF-ки.
    • Если нужен JSON-лог, просто уберите jq -r '.content' и сохраняйте всю структуру.

    ──────────────────────────────────────── 2. llama-cpp-python (Python-скрипт, без HTTP) ──────────────────────────────────────── Удобно, если уже есть питоновский пайплайн после инференса.

    from llama_cpp import Llama
    
    llm = Llama(
        model_path="model.gguf",
        n_gpu_layers=35,   # 0 -> всё в RAM
        n_ctx=4096,
        verbose=False
    )
    
    prompts = [line.rstrip('\n') for line in open("prompts.txt", encoding="utf-8")]
    with open("answers.csv", "w", encoding="utf-8") as f_out:
        for idx, p in enumerate(prompts, 1):
            out = llm(p, max_tokens=256, temperature=0.7)
            answer = out["choices"][0]["text"].strip()
            f_out.write(f'{idx}\t{answer}\n')
    

    • Модель грузится в момент llm = Llama(...), дальше вызов llm() идёт мгновенно.
    • Формат вывода меняете под себя (CSV/JSON).

    ──────────────────────────────────────── 3. Чистый CLI «main» в пакетном режиме (без сервера) ──────────────────────────────────────── Можно обойтись даже без Python, запустив main единожды и «скормить» все промпты через STDIN.

    1. В prompts.txt кладём текст в таком виде:

      ### PROMPT ###
      Первый запрос…
      ### PROMPT ###
      Второй запрос…
      

      Два решётчатых маркера произвольные – нужны лишь нам, чтобы потом разбить вывод.

    2. Стартуем:

    ./main -m model.gguf -i -n 256 < prompts.txt > raw_output.txt
    

    • Ключ -i включает интерактивный режим, поэтому main читает STDIN до EOF и отвечает на каждый промпт «по Enter’у».
    • Весь вывод (включая сами промпты и системные сообщения) падает в raw_output.txt. При желании чистим его grep/awk/sed-ом по маркерам.

    Минусы способа: придётся немного парсить вывод и думать, как отграничить ответы (в отличие от JSON из сервера).

    ──────────────────────────────────────── 4. Пара советов по экономии VRAM/времени ──────────────────────────────────────── • -ngl N – число слоёв, выкидываемых на GPU. 0 ⇒ модель целиком в RAM (дольше, но не забивает видеокарту).
    • --flash-attn (для свежих clBlast/Metal) – ускоряет, если железо поддерживает.
    • --prompt-cache/--prompt-cache-all – кешируют токены, полезно при повторных запросах с длинным общим префиксом.

    ──────────────────────────────────────── Итого ──────────────────────────────────────── – Самый простой автоматизированный вариант → поднять ./server и стучаться к нему сколько угодно раз.
    – Если сразу хочется Python-обработку – берите llama_cpp.Llama, модель грузится один раз на всё время жизни процесса.
    – Чистый CLI тоже возможен, но чаще всего вам всё равно придётся писать обёртку для парсинга вывода.

    Удачного тестирования!

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.