у меня есть несколько промптов. мне нужно протестировать gguf-модель. как в llama.cpp…
- User
у меня есть несколько промптов. мне нужно протестировать gguf-модель. как в llama.cpp автоматически получить ответы на эти промпты в файл для дальнейшей обратотки, чтобы не загружить большой gguf в gpu для каждого промпта?
- Assistant
Ниже несколько рабочих способов «прогонать» пачку промптов через одну и ту же GGUF-модель в llama.cpp, при этом модель загружается в GPU (или в RAM) ОДИН раз, а ответы сразу сохраняются в файл. Выбирайте тот сценарий, который ближе к вашему стеку/объёму задач.
────────────────────────────────────────
- Режим «server» + curl/скрипт-потребитель ────────────────────────────────────────
- Запускаем встроенный HTTP-сервер llama.cpp (модель загружается один раз и остаётся жить):
./server -m model.gguf \ -c 4096 \ # контекст -t 8 \ # потоки CPU -ngl 35 \ # слоёв в GPU, 0 = всё в RAM --port 8080- Допустим, все ваши промпты лежат в
prompts.txt, по одному на строку.
Скрипт ниже читает их, шлёт на сервер и складывает только текст ответа вanswers.txt:
#!/usr/bin/env bash URL='http://127.0.0.1:8080/completion' > answers.txt # очищаем/создаём файл while IFS= read -r PROMPT; do jq -nc --arg p "$PROMPT" '{"prompt":$p,"n_predict":256,"temperature":0.7}' \ | curl -s -H "Content-Type: application/json" -d @- "$URL" \ | jq -r '.content' >> answers.txt echo -e "\n---" >> answers.txt # маркер между выводами (опционально) done < prompts.txt• Сервер остаётся запущенным → сколько угодно запросов без перезагрузки весёлой GGUF-ки.
• Если нужен JSON-лог, просто уберитеjq -r '.content'и сохраняйте всю структуру.──────────────────────────────────────── 2. llama-cpp-python (Python-скрипт, без HTTP) ──────────────────────────────────────── Удобно, если уже есть питоновский пайплайн после инференса.
from llama_cpp import Llama llm = Llama( model_path="model.gguf", n_gpu_layers=35, # 0 -> всё в RAM n_ctx=4096, verbose=False ) prompts = [line.rstrip('\n') for line in open("prompts.txt", encoding="utf-8")] with open("answers.csv", "w", encoding="utf-8") as f_out: for idx, p in enumerate(prompts, 1): out = llm(p, max_tokens=256, temperature=0.7) answer = out["choices"][0]["text"].strip() f_out.write(f'{idx}\t{answer}\n')• Модель грузится в момент
llm = Llama(...), дальше вызовllm()идёт мгновенно.
• Формат вывода меняете под себя (CSV/JSON).──────────────────────────────────────── 3. Чистый CLI «main» в пакетном режиме (без сервера) ──────────────────────────────────────── Можно обойтись даже без Python, запустив
mainединожды и «скормить» все промпты через STDIN.-
В
prompts.txtкладём текст в таком виде:### PROMPT ### Первый запрос… ### PROMPT ### Второй запрос…Два решётчатых маркера произвольные – нужны лишь нам, чтобы потом разбить вывод.
-
Стартуем:
./main -m model.gguf -i -n 256 < prompts.txt > raw_output.txt• Ключ
-iвключает интерактивный режим, поэтомуmainчитает STDIN до EOF и отвечает на каждый промпт «по Enter’у».
• Весь вывод (включая сами промпты и системные сообщения) падает вraw_output.txt. При желании чистим егоgrep/awk/sed-ом по маркерам.Минусы способа: придётся немного парсить вывод и думать, как отграничить ответы (в отличие от JSON из сервера).
──────────────────────────────────────── 4. Пара советов по экономии VRAM/времени ──────────────────────────────────────── •
-ngl N– число слоёв, выкидываемых на GPU. 0 ⇒ модель целиком в RAM (дольше, но не забивает видеокарту).
•--flash-attn(для свежих clBlast/Metal) – ускоряет, если железо поддерживает.
•--prompt-cache/--prompt-cache-all– кешируют токены, полезно при повторных запросах с длинным общим префиксом.──────────────────────────────────────── Итого ──────────────────────────────────────── – Самый простой автоматизированный вариант → поднять
./serverи стучаться к нему сколько угодно раз.
– Если сразу хочется Python-обработку – беритеllama_cpp.Llama, модель грузится один раз на всё время жизни процесса.
– Чистый CLI тоже возможен, но чаще всего вам всё равно придётся писать обёртку для парсинга вывода.Удачного тестирования!
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.