change this prompt that performs better for constructing result request to the RAG system
- User
change this prompt that performs better for constructing result request to the RAG system
- Assistant
Чтобы улучшить запрос к RAG-системе и сделать его более эффективным, нужно:
- Сделать формулировку более лаконичной и конкретной, чтобы избежать избыточной интерпретации.
- Уточнить цель запроса (например, получение структурированных данных, а не просто описания).
- Добавить инструкции для форматирования результата, чтобы RAG-система предоставила ответ в удобном виде.
- Учесть возможные ограничения системы, такие как необходимость точных терминов или ключевых слов.
Ниже приведена улучшенная версия запроса, которая должна повысить производительность и точность ответа RAG-системы:
Извлеките и структурируйте информацию о периодическом расчете объектов со статусом "технически закрыт" в контексте IT-систем, управления задачами или корпоративных процессов. Предоставьте ответ в формате JSON, содержащем следующие поля: - "role_description": описание роли, связанной с процессом периодического расчета, - "technical_role_name": техническое (системное) имя роли, - "role_code": уникальный код или идентификатор роли, - "technical_name_definition": определение термина "техническое имя" в данном контексте. Если информация отсутствует, укажите значение null для соответствующего поля. Убедитесь, что ответ основан на точных данных, избегая предположений.Что улучшено в новом запросе:
- Четкая цель: Указано, что нужно "извлечь и структурировать информацию", что направляет RAG-систему на конкретную задачу.
- Формат результата: Запрос на предоставление ответа в формате JSON помогает структурировать данные, что особенно полезно для последующей обработки или интеграции в другие системы.
- Обработка отсутствующих данных: Указано, что делать, если информация отсутствует (использовать
null), что снижает вероятность генерации вымышленных данных. - Контекст: Уточнен контекст ("IT-системы, управление задачами или корпоративные процессы"), чтобы сузить область поиска.
- Точность: Добавлено требование "основан на точных данных, избегая предположений", чтобы минимизировать ошибки или выдуманные ответы.
Пример ожидаемого результата от RAG-системы:
{ "role_description": "Роль, ответственная за запуск и контроль периодического расчета задач, помеченных как технически закрытые, в системе управления проектами.", "technical_role_name": "TaskClosureProcessor", "role_code": "TCP001", "technical_name_definition": "Техническое имя — это уникальный системный идентификатор, используемый в программном обеспечении для обозначения объектов, таких как роли, процессы или задачи." }Дополнительные рекомендации
- Если вы работаете с конкретной RAG-системой, проверьте, поддерживает ли она форматирование вывода (например, JSON). Если нет, можно заменить требование JSON на другой структурированный формат, например, нумерованный список.
- Если у вас есть доступ к документации или базе знаний, можно дополнительно указать источник данных, чтобы повысить точность (например, "извлечь информацию из базы знаний компании X").
- Если запросы пользователя могут быть неоднозначными, можно добавить шаг предварительного уточнения контекста (например, "если контекст неоднозначен, запросите у пользователя уточнение"). Однако это зависит от возможностей вашей RAG-системы.
- User
reconstruct the following prompt for LLM to make it work fo small LLM models: using following user sequential request texts construct request to the RAG system. user seпериодический расчет технически закрытых, роль, техническое имя, техническое имя роли, код роли?
- Assistant
Маленькие языковые модели (LLM) имеют ограниченные возможности по сравнению с большими моделями, особенно в плане обработки сложных, многоступенчатых запросов, генерации структурированных данных (например, JSON) и удержания большого контекста. Чтобы адаптировать запрос для работы с маленькими LLM, нужно:
- Упростить формулировку, избегая сложных конструкций.
- Разбить задачу на более мелкие, понятные шаги.
- Убрать требования к сложному форматированию (например, JSON), заменив их на простые текстовые инструкции.
- Сфокусироваться на ключевых элементах запроса, минимизируя избыточную информацию.
Ниже приведена адаптированная версия запроса, оптимизированная для маленьких LLM:
Используя текст запроса пользователя: "периодический расчет технически закрытых, роль, техническое имя, техническое имя роли, код роли", создайте простой запрос к системе поиска информации. Запрос должен быть коротким и понятным. Включите в него: 1. Просьбу найти информацию о периодическом расчете объектов со статусом "технически закрыт". 2. Упоминание, что нужно узнать о роли, связанной с этим процессом. 3. Уточнение, что нужно найти техническое имя роли и код роли. 4. Просьбу объяснить, что такое "техническое имя". Ответ должен быть в виде простого текста, без сложных форматов.Что изменено и почему:
- Упрощение языка: Использованы простые слова и короткие предложения, чтобы модель могла легко понять задачу.
- Удаление JSON: Маленькие LLM могут не уметь генерировать структурированные данные, поэтому требование JSON заменено на "простой текст".
- Четкие шаги: Запрос разбит на нумерованные пункты, чтобы модель могла последовательно обработать каждую часть.
- Удаление избыточного контекста: Убраны упоминания о "IT-системах" или "корпоративных процессах", так как это может перегрузить маленькую модель. Если контекст важен, его можно добавить в виде отдельного простого предложения.
- Фокус на ключевых элементах: Сохранены только основные аспекты запроса пользователя, чтобы модель не отвлекалась на второстепенные детали.
Пример результата, который может выдать маленькая LLM:
Найдите информацию о периодическом расчете объектов со статусом "технически закрыт". Узнайте, какая роль отвечает за этот процесс. Найдите техническое имя этой роли и ее код. Объясните, что такое "техническое имя".Дополнительные рекомендации для работы с маленькими LLM:
- Тестирование: После создания запроса протестируйте его на вашей модели, чтобы убедиться, что она правильно интерпретирует задачу. Если результат неудовлетворительный, попробуйте еще больше упростить формулировку.
- Разделение задач: Если модель не справляется с генерацией полного запроса, можно разделить задачу на несколько этапов. Например, сначала попросить модель сформулировать запрос только о "периодическом расчете", а затем добавить остальные части.
- Подсказки: Если модель поддерживает, можно добавить пример ожидаемого результата в конец запроса, чтобы направить ее. Например:
Пример результата: "Найдите данные о расчете закрытых задач, узнайте роль, ее техническое имя и код, объясните термин 'техническое имя'." - Ограничение длины: Убедитесь, что запрос не слишком длинный, так как маленькие модели часто имеют ограничение на размер входного текста.
Если у вас есть конкретная маленькая модель, с которой вы работаете, можно дополнительно оптимизировать запрос под ее особенности (например, максимальную длину входного текста или известные ограничения).
- User
reconstruct the following prompt for LLM to make it work much better: using following user sequential request texts construct request to the RAG system. user seпериодический расчет технически закрытых, роль, техническое имя, техническое имя роли, код роли?
- Assistant
Чтобы значительно улучшить запрос для LLM, особенно для работы с RAG-системой, нужно сделать его более точным, структурированным и ориентированным на достижение конкретной цели. Улучшение включает:
- Устранение неоднозначностей и ошибок (например, "user se" и неполное слово "периодический").
- Добавление контекста, чтобы LLM могла лучше понять задачу.
- Уточнение цели запроса (например, что именно нужно сделать с текстом пользователя).
- Указание формата результата, чтобы ответ был удобен для использования.
- Добавление инструкций для повышения точности и минимизации выдуманных данных.
- Оптимизация для взаимодействия с RAG-системой, включая ключевые слова и структуру, которые помогут системе извлечь релевантную информацию.
Ниже приведена значительно улучшенная версия запроса, которая должна работать лучше для LLM и RAG-систем:
На основе последовательного текста запроса пользователя: "периодический расчет технически закрытых, роль, техническое имя, техническое имя роли, код роли", создайте структурированный запрос к RAG-системе для извлечения информации. Выполните следующие шаги: 1. Исправьте и уточните текст пользователя, чтобы он был грамматически правильным и полным (например, "периодический расчет технически закрытых объектов"). 2. Определите, что пользователь хочет узнать, и сформулируйте цель запроса (например, получение информации о процессе, ролях и их идентификаторах). 3. Добавьте контекст, указав, что запрос относится к корпоративным IT-системам, системам управления задачами или бизнес-процессам. 4. Составьте запрос к RAG-системе, который включает: - Просьбу найти информацию о процессе "периодический расчет технически закрытых объектов". - Уточнение, что нужно узнать о роли, связанной с этим процессом, включая ее описание, техническое имя и код роли. - Просьбу объяснить термин "техническое имя" в контексте IT-систем. 5. Укажите, что ответ должен быть предоставлен в виде структурированного текста с четко выделенными разделами для каждого запрошенного элемента. 6. Добавьте инструкцию, чтобы RAG-система использовала только достоверные данные из базы знаний, избегая предположений или выдуманной информации. Пример ожидаемого результата:Запрос к RAG-системе: Найдите информацию о процессе "периодический расчет технически закрытых объектов" в контексте корпоративных IT-систем или систем управления задачами. Предоставьте структурированный ответ, содержащий следующие разделы:
- Описание процесса: что такое "периодический расчет технически закрытых объектов".
- Роль: описание роли, связанной с этим процессом.
- Техническое имя роли: системное название роли.
- Код роли: уникальный идентификатор роли.
- Определение термина "техническое имя": что означает "техническое имя" в контексте IT-систем. Используйте только достоверные данные из базы знаний, избегая предположений.
Что улучшено в новом запросе:
- Исправление ошибок: Устранены опечатки и неполные слова (например, "user se" и "периодический"), чтобы текст был понятным.
- Четкая цель: Указано, что нужно "создать структурированный запрос к RAG-системе", что помогает LLM понять задачу.
- Пошаговая структура: Запрос разбит на шаги, что делает его более понятным для LLM и помогает модели последовательно обработать задачу.
- Контекст: Добавлен контекст ("корпоративные IT-системы, системы управления задачами или бизнес-процессы"), чтобы сузить область поиска и повысить релевантность ответа.
- Формат результата: Указано, что ответ должен быть "структурированным текстом с четко выделенными разделами", что упрощает использование результата и делает его более читаемым.
- Пример результата: Добавлен пример ожидаемого результата, чтобы направить LLM и показать, как должен выглядеть итоговый запрос.
- Точность: Добавлена инструкция "использовать только достоверные данные из базы знаний, избегая предположений", чтобы минимизировать ошибки и выдуманные данные.
- Оптимизация для RAG: Запрос структурирован так, чтобы RAG-система могла эффективно извлечь информацию, используя ключевые слова и четкие инструкции.
Пример результата, который может выдать LLM:
Запрос к RAG-системе: Найдите информацию о процессе "периодический расчет технически закрытых объектов" в контексте корпоративных IT-систем или систем управления задачами. Предоставьте структурированный ответ, содержащий следующие разделы: - Описание процесса: что такое "периодический расчет технически закрытых объектов". - Роль: описание роли, связанной с этим процессом. - Техническое имя роли: системное название роли. - Код роли: уникальный идентификатор роли. - Определение термина "техническое имя": что означает "техническое имя" в контексте IT-систем. Используйте только достоверные данные из базы знаний, избегая предположений.Дополнительные рекомендации для дальнейшего улучшения:
- Тестирование: Протестируйте запрос на вашей LLM, чтобы убедиться, что она правильно интерпретирует задачу и генерирует ожидаемый результат. Если модель выдает неполные или некорректные результаты, можно добавить дополнительные примеры или уточнения.
- Адаптация под конкретную RAG-систему: Если ваша RAG-система имеет специфические требования (например, определенные ключевые слова, формат запроса или ограничения на длину), добавьте соответствующие инструкции.
- Обратная связь: Если у вас есть возможность, используйте обратную связь от RAG-системы, чтобы уточнить запрос. Например, если RAG-система не находит данные, можно добавить инструкцию для LLM предложить пользователю уточнить контекст.
- Оптимизация длины: Если ваша LLM имеет ограничение на длину входного текста, можно сократить запрос, убрав избыточные пояснения, но сохранив ключевые элементы.
Этот улучшенный запрос должен работать гораздо лучше, обеспечивая точные, структурированные и полезные результаты как для LLM, так и для RAG-системы.
- User
I have the following request context = f"""You are an expert at constructing highly targeted search queries for a Retrieval-Augmented Generation (RAG) system. Your critical skill is detecting when a user has shifted to an entirely new topic, requiring a fresh query approach.
Task:
Given a "Main Text" representing the user's current question and a list of "User Requests" from previous interactions, create a single, concise search query that accurately reflects the user's current information need.
Instructions:
Topic Shift Detection (CRITICAL): First, determine if the "Main Text" represents a completely new conversation topic unrelated to previous "User Requests" Look for clear indicators of topic shifts: new subject matter, different domain terminology, or explicit statements like "new question" or "different topic" If a topic shift is detected, IGNORE ALL previous "User Requests" completely, regardless of any superficial keyword matches
-
Core Intent Identification: Determine the single, most important question being asked in the "Main Text."
-
Contextual Relevance Assessment: Only if NO topic shift is detected, evaluate each "User Request" against these strict criteria:
- Direct Relevance: Does it directly provide context essential to answering the current question?
- Semantic Continuity: Does it belong to the same semantic domain or subject area?
- Temporal Relevance: Is it part of the current conversational thread?
If ANY of these criteria fail, the "User Request" MUST be excluded. Input:
Main Text: {last_request} User Requests: {questions}
Output only status. "yes" - if User Request Must be excluded. "no" - otherwise. No explanation and additional text should be in output.""" Problem is that if in last request I try to add question to extend information that was received by previous questions this results often in statement "yes" - if User Request Must be excluded. How to correct prompt to avoid this?
-
- Assistant
The issue you're encountering—where the prompt incorrectly flags a topic shift (resulting in a "yes" output) even when the user is extending or refining a previous question—stems from the overly strict "Topic Shift Detection" logic in your prompt. Specifically, the current logic does not adequately account for cases where the user's new question is a continuation or elaboration of the previous topic, leading to false positives in detecting topic shifts. To fix this, we need to refine the prompt to better distinguish between true topic shifts and legitimate extensions of the same topic.
Key Problems to Address:
- Overly Strict Topic Shift Detection: The current logic may interpret slight changes in phrasing, focus, or terminology as a "completely new conversation topic," even when the user is building on prior requests.
- Lack of Nuance in Semantic Continuity: The prompt does not explicitly consider cases where a new question is a deeper exploration of the same subject area or domain, leading to incorrect exclusion of prior requests.
- Insufficient Guidance on Intent Continuity: The prompt does not emphasize the user's intent as a key factor in determining whether a topic shift has occurred, which is critical for handling extensions or refinements of prior questions.
Solution:
To correct the prompt, we need to:
- Refine the "Topic Shift Detection" section to better handle extensions and refinements of the same topic by emphasizing intent and semantic continuity.
- Add explicit guidance on how to recognize when a new question is a continuation or elaboration of the previous topic, even if it introduces new terminology or shifts focus slightly.
- Adjust the "Contextual Relevance Assessment" to prioritize intent and domain continuity over superficial differences in phrasing or keywords.
Below is the reconstructed prompt with these improvements:
context = f"""You are an expert at constructing highly targeted search queries for a Retrieval-Augmented Generation (RAG) system. Your critical skill is detecting when a user has shifted to an entirely new topic, requiring a fresh query approach, while also recognizing when a user is extending or refining an existing topic. Task: Given a "Main Text" representing the user's current question and a list of "User Requests" from previous interactions, create a single, concise search query that accurately reflects the user's current information need. Instructions: 1. **Topic Shift Detection (CRITICAL):** First, determine if the "Main Text" represents a completely new conversation topic unrelated to previous "User Requests." A topic shift occurs only when the user's current question is in a different subject area, domain, or intent, and is not a continuation, refinement, or extension of the prior topic. - Look for clear indicators of a true topic shift, such as: * Explicit statements like "new question," "different topic," or "unrelated issue." * A change in subject matter or domain (e.g., switching from "software development" to "financial accounting"). * A significant shift in intent (e.g., moving from "how to fix a bug" to "what is the weather forecast"). - Recognize cases where NO topic shift has occurred, such as: * The "Main Text" asks for additional details, clarification, or deeper exploration of the same subject area or domain as the "User Requests." * The "Main Text" introduces new terminology or focus but remains within the same semantic domain or intent (e.g., shifting from "bug fixing in Python" to "debugging tools in Python"). - If a topic shift is detected, IGNORE ALL previous "User Requests" completely, regardless of any superficial keyword matches. Otherwise, proceed to evaluate the "User Requests" for relevance. 2. **Core Intent Identification:** Determine the single, most important question or intent being expressed in the "Main Text." Focus on the user's underlying goal, even if the phrasing or terminology differs from previous requests. 3. **Contextual Relevance Assessment:** Only if NO topic shift is detected, evaluate each "User Request" against these strict criteria to determine if it should be included in constructing the search query: - **Direct Relevance:** Does the "User Request" directly provide context essential to answering the current question in the "Main Text"? - **Semantic Continuity:** Does the "User Request" belong to the same semantic domain, subject area, or intent as the "Main Text"? (Note: Minor shifts in focus or terminology within the same domain do not break continuity.) - **Temporal Relevance:** Is the "User Request" part of the current conversational thread, meaning it contributes to the user's ongoing exploration of the topic? If ANY of these criteria fail, the "User Request" MUST be excluded. Input: Main Text: {last_request} User Requests: {questions} Output only status. "yes" - if User Request Must be excluded. "no" - otherwise. No explanation and additional text should be in output."""What Was Improved:
-
Refined Topic Shift Detection:
- Added explicit guidance to recognize when a new question is a "continuation, refinement, or extension" of the prior topic, preventing false positives in topic shift detection.
- Clarified that a topic shift requires a significant change in "subject area, domain, or intent," not just superficial differences in phrasing or terminology.
- Provided examples of what does and does not constitute a topic shift to guide the model better.
-
Emphasized Intent:
- Added a focus on the user's "intent" as a key factor in determining topic shifts and semantic continuity, ensuring that questions with the same underlying goal are treated as part of the same topic, even if they use different wording.
-
Improved Semantic Continuity:
- Clarified that "minor shifts in focus or terminology within the same domain" do not break semantic continuity, addressing the issue where extensions of prior questions were incorrectly flagged as topic shifts.
-
Maintained Strictness for True Topic Shifts:
- Kept the strict criteria for detecting true topic shifts (e.g., explicit statements, domain changes) to ensure the prompt still correctly identifies unrelated questions.
Example of Expected Behavior:
-
Scenario 1 (True Topic Shift):
- Main Text: "What is the weather forecast for tomorrow?"
- User Requests: "How do I debug a Python script?"
- Expected Output: "yes" (because the topics are unrelated—weather vs. programming).
-
Scenario 2 (No Topic Shift, Extension of Topic):
- Main Text: "What are the best debugging tools for Python?"
- User Requests: "How do I debug a Python script?"
- Expected Output: "no" (because the new question is an extension of the same topic—debugging Python).
-
Scenario 3 (No Topic Shift, Refinement of Topic):
- Main Text: "What is the technical name of the role responsible for periodic calculations of technically closed tasks?"
- User Requests: "What is periodic calculation of technically closed tasks?"
- Expected Output: "no" (because the new question refines the prior topic by asking for additional details within the same domain).
Additional Recommendations:
- Testing: Test the revised prompt with a variety of scenarios, especially edge cases where the user extends or refines a topic, to ensure the model correctly outputs "no" in those cases.
- Examples in Prompt: If the model still struggles, consider adding a few explicit examples of topic shifts vs. extensions directly in the prompt to further guide its decision-making.
- Feedback Loop: If possible, implement a feedback mechanism where incorrect "yes" outputs can be flagged and used to fine-tune the prompt or model further.
- Model Limitations: If you're using a smaller or less capable LLM, you may need to simplify the prompt further or use a more powerful model to handle the nuanced logic required here.
This revised prompt should significantly reduce the issue of incorrectly flagging extensions or refinements as topic shifts, leading to more accurate "no" outputs when appropriate.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.