Skip to content
The Chat Archive
o3-2025-04-16· OpenAI LMArena Human Preference 140K

как можно визуализировать обращение к RAG или логировать это? На практике в Coboldcpp

  1. User

    как можно визуализировать обращение к RAG или логировать это? На практике в Coboldcpp

  2. Assistant

    Ни KoboldCPP, ни llama.cpp «из коробки» не делают Retrieval-Augmented Generation – они всего лишь «прожёвывают» уже готовый prompt.
    По-настоящему «RAG-часть» (векторный поиск, отбор k-фрагментов, вставка их в prompt) живёт на уровне Python/Node-скрипта, который:

    1. принимает вопрос пользователя;
    2. забирает ☑️ релевантные куски из векторной БД;
    3. склеивает всё это в prompt;
    4. отдаёт его в KoboldCPP (через API, STDIN или Web-socket).

    Отсюда логика простая: если хотим «видеть» RAG – логируем/визуализируем пункт 2 и 3, т.е. прямо внутри вашего кода, который вызывает векторный поиск. Ниже несколько рабочих рецептов: от «дешёвых» принтов до инструментов наподобие LangSmith и Grafana.

    ─────────────────────────

    1. «Колхозный» print/файл-лог ───────────────────────── Python, LangChain, Chroma в качестве стора:
    from langchain.embeddings import HuggingFaceEmbeddings
    from langchain.vectorstores import Chroma
    from langchain.callbacks import StdOutCallbackHandler, StreamingStdOutCallbackHandler
    import json, datetime, logging
    
    # ---------- логгер ----------
    logging.basicConfig(
        filename="rag_debug.jsonl",
        format="%(message)s",
        level=logging.INFO
    )
    
    def log_rag_step(query, docs):
        logline = {
            "ts": datetime.datetime.utcnow().isoformat(),
            "query": query,
            "retrieved": [
                {"id": d.metadata["doc_id"], "score": d.metadata["score"],
                 "snippet": d.page_content[:200]}
                for d in docs
            ]
        }
        logging.info(json.dumps(logline, ensure_ascii=False))
        # Одновременно красиво печатаем в терминал
        print("=== RAG ===")
        print("Q:", query)
        for i, d in enumerate(docs, 1):
            print(f"[{i}] ▶ score={d.metadata['score']:.3f} | {d.page_content[:120]}…")
        print("===========\n")
    
    # ---------- конвейер ----------
    emb = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-large")
    vs  = Chroma(persist_directory="./db", embedding_function=emb)
    
    def rag_koboldcpp(user_input: str, k=4) -> str:
        retrieved = vs.similarity_search_with_score(user_input, k=k)
        # раскладываем (docs, score) в удобный вид
        docs = [d for d, score in retrieved]
        for doc, (_, score) in zip(docs, retrieved):
            doc.metadata["score"] = score
        log_rag_step(user_input, docs)
    
        context = "\n\n".join([f"[{i+1}] {d.page_content}" for i, d in enumerate(docs)])
        prompt = f"{context}\n\n### Вопрос: {user_input}\n### Ответ:"
        
        response = call_koboldcpp(prompt)  # любой ваш способ: http-api, stdin, websockets
        return response
    

    • В rag_debug.jsonl получаем удобную «сырую» метрику, пригодную для jq/pandas.
    • В терминале – подсвеченные куски, чтобы сразу видеть, что RAG забрал.

    ───────────────────────── 2. LangChain callbacks / LangSmith ───────────────────────── LangChain умеет отдавать события «retriever_start/end», «chain_start/end». Добавляем callback-менеджер:

    from langchain.callbacks import LangChainTracer
    tracer = LangChainTracer(project_name="my-rag", 
                             client_options={"api_url":"https://api.smith.langchain.com", "api_key":"..."})
    
    retriever.callback_manager = CallbackManager([tracer])
    llm       .callback_manager = CallbackManager([tracer])
    qa_chain  = RetrievalQA.from_chain_type(... callback_manager=CallbackManager([tracer]))
    

    В LangSmith получаем красивую DAG-картинку: узлы «Retriever → Prompt → LLM», интерактивно смотрим документы, тайминги, токены.

    ───────────────────────── 3. «Realtime» визуализация в Web-UI ───────────────────────── Если хочется прямо в чат KoboldCPP показать, что было подмешано к модели, самый прямой способ — подменить энд-поинт /api/v1/chat/completions в собственном прокси:

    1. Пользователь отправляет запрос на ваш маленький FastAPI / Flask-прокси вместо порта KoboldCPP.
    2. Прокси делает vector-search, собирает prompt, ЛОГИРУЕТ, потом прокидывает запрос дальше на настоящий KoboldCPP.
    3. Ответ отдаём назад вместе с доп. полем retrieved_docs, которое фронт-энд выводит во всплывающем блоке.

    Мини-пример (сокращённо):

    @app.post("/api/v1/chat/completions")
    async def completions(req: Request):
        body = await req.json()
        query = body["messages"][-1]["content"]
        docs  = vs.similarity_search(query, k=3)
        body["messages"][0]["content"] += "\n\n" + "".join(f"[doc] {d.page_content}\n" for d in docs)
        
        log_rag_step(query, docs)
        async with httpx.AsyncClient() as c:
            resp = await c.post("http://localhost:5001/api/v1/chat/completions", json=body, timeout=600)
        out = resp.json()
        out["retrieved_docs"] = docs  # фронт заберёт и покажет
        return JSONResponse(out)
    

    ───────────────────────── 4. Метрики в Grafana/Prometheus ───────────────────────── • Через тот же прокси поднимаем /metrics, откуда отдаём: rag_retrieved_k{topk="4"} 4
    rag_latency_seconds 0.124
    rag_token_input 512
    rag_doc_avg_score 0.42

    • Grafana → красивый dashboard: latency, win-rate, сколько раз ничего не нашли (k=0) и т.п.

    ───────────────────────── 5. А если всё хочется прямо внутри KoboldCPP? ───────────────────────── Придётся патчить исходники:

    1. server/server.cpp: после чтения user_prompt вызвать свою функцию search_vector_db(user_prompt)
    2. Сохраняем найденные куски в: • отдельный файл;
      • или добавляем в JSON-ответ поле "context", если UI умеет парсить;
      • или логируем в syslog через spdlog.

    Выглядит примерно так (pseudocode):

    std::vector<Document> docs = vector_db.search(query, 4);
    nlohmann::json jdocs = nlohmann::json::array();
    for(auto &d : docs) {
        jdocs.push_back({{"id", d.id}, {"score", d.score}, {"snippet", d.snippet}});
    }
    nlohmann::json logline = {{"ts", now()}, {"query", query}, {"docs", jdocs}};
    spdlog::info(logline.dump());
    

    ───────────────────────── TL;DR ─────────────────────────

    1. KoboldCPP сам ничего не знает о RAG, поэтому логировать/визуализировать нужно на уровне вашего «обвязочного» кода.
    2. Самый быстрый путь — векторный поиск + print/лог файл, либо LangChain-callbacks + LangSmith.
    3. Хотите полноценный UI — прокси перед KoboldCPP: там и retrieval, и логика, и метрики.
    4. Для продакшн-мониторинга — Prometheus + Grafana (latency, hits, token-usage).

    Если расскажете, какой именно стек (Python? Node? какой векторный стор?) и что хотите увидеть глазами (терминал, графики, веб-окошко), подкину более точный пример кода.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.