как можно визуализировать обращение к RAG или логировать это? На практике в Coboldcpp
- User
как можно визуализировать обращение к RAG или логировать это? На практике в Coboldcpp
- Assistant
Ни KoboldCPP, ни llama.cpp «из коробки» не делают Retrieval-Augmented Generation – они всего лишь «прожёвывают» уже готовый prompt.
По-настоящему «RAG-часть» (векторный поиск, отбор k-фрагментов, вставка их в prompt) живёт на уровне Python/Node-скрипта, который:- принимает вопрос пользователя;
- забирает ☑️ релевантные куски из векторной БД;
- склеивает всё это в prompt;
- отдаёт его в KoboldCPP (через API, STDIN или Web-socket).
Отсюда логика простая: если хотим «видеть» RAG – логируем/визуализируем пункт 2 и 3, т.е. прямо внутри вашего кода, который вызывает векторный поиск. Ниже несколько рабочих рецептов: от «дешёвых» принтов до инструментов наподобие LangSmith и Grafana.
─────────────────────────
- «Колхозный» print/файл-лог ───────────────────────── Python, LangChain, Chroma в качестве стора:
from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma from langchain.callbacks import StdOutCallbackHandler, StreamingStdOutCallbackHandler import json, datetime, logging # ---------- логгер ---------- logging.basicConfig( filename="rag_debug.jsonl", format="%(message)s", level=logging.INFO ) def log_rag_step(query, docs): logline = { "ts": datetime.datetime.utcnow().isoformat(), "query": query, "retrieved": [ {"id": d.metadata["doc_id"], "score": d.metadata["score"], "snippet": d.page_content[:200]} for d in docs ] } logging.info(json.dumps(logline, ensure_ascii=False)) # Одновременно красиво печатаем в терминал print("=== RAG ===") print("Q:", query) for i, d in enumerate(docs, 1): print(f"[{i}] ▶ score={d.metadata['score']:.3f} | {d.page_content[:120]}…") print("===========\n") # ---------- конвейер ---------- emb = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-large") vs = Chroma(persist_directory="./db", embedding_function=emb) def rag_koboldcpp(user_input: str, k=4) -> str: retrieved = vs.similarity_search_with_score(user_input, k=k) # раскладываем (docs, score) в удобный вид docs = [d for d, score in retrieved] for doc, (_, score) in zip(docs, retrieved): doc.metadata["score"] = score log_rag_step(user_input, docs) context = "\n\n".join([f"[{i+1}] {d.page_content}" for i, d in enumerate(docs)]) prompt = f"{context}\n\n### Вопрос: {user_input}\n### Ответ:" response = call_koboldcpp(prompt) # любой ваш способ: http-api, stdin, websockets return response• В
rag_debug.jsonlполучаем удобную «сырую» метрику, пригодную для jq/pandas.
• В терминале – подсвеченные куски, чтобы сразу видеть, что RAG забрал.───────────────────────── 2. LangChain callbacks / LangSmith ───────────────────────── LangChain умеет отдавать события «retriever_start/end», «chain_start/end». Добавляем callback-менеджер:
from langchain.callbacks import LangChainTracer tracer = LangChainTracer(project_name="my-rag", client_options={"api_url":"https://api.smith.langchain.com", "api_key":"..."}) retriever.callback_manager = CallbackManager([tracer]) llm .callback_manager = CallbackManager([tracer]) qa_chain = RetrievalQA.from_chain_type(... callback_manager=CallbackManager([tracer]))В LangSmith получаем красивую DAG-картинку: узлы «Retriever → Prompt → LLM», интерактивно смотрим документы, тайминги, токены.
───────────────────────── 3. «Realtime» визуализация в Web-UI ───────────────────────── Если хочется прямо в чат KoboldCPP показать, что было подмешано к модели, самый прямой способ — подменить энд-поинт
/api/v1/chat/completionsв собственном прокси:- Пользователь отправляет запрос на ваш маленький FastAPI / Flask-прокси вместо порта KoboldCPP.
- Прокси делает vector-search, собирает prompt, ЛОГИРУЕТ, потом прокидывает запрос дальше на настоящий KoboldCPP.
- Ответ отдаём назад вместе с доп. полем
retrieved_docs, которое фронт-энд выводит во всплывающем блоке.
Мини-пример (сокращённо):
@app.post("/api/v1/chat/completions") async def completions(req: Request): body = await req.json() query = body["messages"][-1]["content"] docs = vs.similarity_search(query, k=3) body["messages"][0]["content"] += "\n\n" + "".join(f"[doc] {d.page_content}\n" for d in docs) log_rag_step(query, docs) async with httpx.AsyncClient() as c: resp = await c.post("http://localhost:5001/api/v1/chat/completions", json=body, timeout=600) out = resp.json() out["retrieved_docs"] = docs # фронт заберёт и покажет return JSONResponse(out)───────────────────────── 4. Метрики в Grafana/Prometheus ───────────────────────── • Через тот же прокси поднимаем
/metrics, откуда отдаём: rag_retrieved_k{topk="4"} 4
rag_latency_seconds 0.124
rag_token_input 512
rag_doc_avg_score 0.42• Grafana → красивый dashboard: latency, win-rate, сколько раз ничего не нашли (
k=0) и т.п.───────────────────────── 5. А если всё хочется прямо внутри KoboldCPP? ───────────────────────── Придётся патчить исходники:
server/server.cpp: после чтенияuser_promptвызвать свою функциюsearch_vector_db(user_prompt)- Сохраняем найденные куски в:
• отдельный файл;
• или добавляем в JSON-ответ поле "context", если UI умеет парсить;
• или логируем в syslog черезspdlog.
Выглядит примерно так (pseudocode):
std::vector<Document> docs = vector_db.search(query, 4); nlohmann::json jdocs = nlohmann::json::array(); for(auto &d : docs) { jdocs.push_back({{"id", d.id}, {"score", d.score}, {"snippet", d.snippet}}); } nlohmann::json logline = {{"ts", now()}, {"query", query}, {"docs", jdocs}}; spdlog::info(logline.dump());───────────────────────── TL;DR ─────────────────────────
- KoboldCPP сам ничего не знает о RAG, поэтому логировать/визуализировать нужно на уровне вашего «обвязочного» кода.
- Самый быстрый путь — векторный поиск +
print/лог файл, либо LangChain-callbacks + LangSmith. - Хотите полноценный UI — прокси перед KoboldCPP: там и retrieval, и логика, и метрики.
- Для продакшн-мониторинга — Prometheus + Grafana (latency, hits, token-usage).
Если расскажете, какой именно стек (Python? Node? какой векторный стор?) и что хотите увидеть глазами (терминал, графики, веб-окошко), подкину более точный пример кода.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.