I sent this prompt to an LLM, together with a list of 102 quotes. Its response was very…
- User
I sent this prompt to an LLM, together with a list of 102 quotes. Its response was very repetitive and didn't align with the instructions. How can I fix this behavior?
Prompt:
""" You are a Data Organizer. Below is a list of quotes from many October 7th survivors’ testimonies in Hebrew, referencing the Holocaust in the context of trauma. Your task is to cluster the quotes into 6 distinct categories.
Instructions:
Step 1: Review the entire list of quotes carefully. Step 2: Identify 6 categories based on shared themes or conceptual links. Step 3: Cluster the quotes according to the most fitting category. Step 4: Each quote should appear in exactly one category — clusters must be mutually exclusive. Step 5: Name each cluster with a concise, descriptive title that captures the shared theme of the quotes within it.
Clarifications:
- Each sample appears exactly once in the list.
- Do not edit or paraphrase the quotes.
Output format:
Cluster 1 Name: Content: <THE FULL LIST OF QUOTES BELONGING TO CLUSTER 1>
…
Cluster 6 Name: Content: <THE FULL LIST OF QUOTES BELONGING TO CLUSTER 6>
Quotes:
"""
Example from the response: """Cluster 2
Name: דימויים, חוויות ותחושות מהשואה שחוזרות בחוויה האישית
Content:
"ופת-- פתאום נפרץ, כאילו, זה, זה ממש חלומות של שואה שחלמתי בילדות, שיותר גרוע מזה, כאילו, זה, זה, אפילו בסיוטים הכי גדולים שהיו לי, במחשבות הכי, לא תיארתי לעצמי שאי פעם יכול להיות טבח כזה."
"אתה לא בשואה, אבל אתה עושה סיטואציה שהיא לא ניתנת לעיכול."
"זה דברים שאתה רק שומע עליהם, וזה מהשואה, כאילו, מה לך ולזה? כאילו, איך זה מגיע לסיטואציה שזה פוגש אותך?"
"אני אומרת לך, כמו התמונות שאנחנו רואים בתור ילדים, של השואה, ואנחנו חווים את זה בתור ילד, את מכירה את התחושה הזאתי, שהנשמה שלך מרגישה כאילו, כאילו כמו vision כזה שאת מרגישה ש-- את התחושה של הכאב שלהם?"
"אני רוצה לחזור רגע אחורה אני כאילו מאיפה, אז אני דור שני, מאיפה באה אינטואיציה לעלות לעליית גג אתם יודעים מה זה עליית גג בהיסטוריה של?"
"אני אומרת לאלמוג: ״זה ממש הבריחה מסוביבור או משהו כזה״, ככה זה הרגיש."
"אני לא יודעת אם זה קשור, אבל אני בת לניצולי שואה וההורים שלי שרדו את השואה, ואני גדלתי על סיפורי ההישרדות של אבא שלי, שנשאר יתום ובעצם בכל השנים האלה היה ביערות וברח מהנאצים וזה כנראה משהו שליווה אותי וכשהיינו בממ"ד באותם שעות, חשופים בעצם ולא מוגנים פשוט הראש שלי כל הזמן עבד."
"אני לא יודעת אם זה קשור, אבל אני בת לניצולי שואה וההורים שלי שרדו את השואה, ואני גדלתי על סיפורי ההישרדות של אבא שלי, שנשאר יתום ובעצם בכל השנים האלה היה ביערות וברח מהנאצים וזה כנראה משהו שליווה אותי וכשהיינו בממ"ד באותם שעות, חשופים בעצם ולא מוגנים פשוט הראש שלי כל הזמן עבד."
"אני לא יודעת אם זה קשור, אבל אני בת לניצולי שואה וההורים שלי שרדו את השואה, ואני גדלתי על סיפורי ההישרדות של אבא שלי, שנשאר יתום ובעצם בכל השנים האלה היה ביערות וברח מהנאצים וזה כנראה משהו שליווה אותי וכשהיינו בממ"ד באותם שעות, חשופים בעצם ולא מוגנים פשוט הראש שלי כל הזמן עבד."
"אני לא יודעת אם זה קשור, אבל אני בת לניצולי שואה וההורים שלי שרדו את השואה, ואני גדלתי על סיפורי ההישרדות של אבא שלי, שנשאר יתום ובעצם בכל השנים האלה היה ביערות וברח מהנאצים וזה כנראה משהו שליווה אותי וכשהיינו בממ"ד באותם שעות, חשופים בעצם ולא מוגנים פשוט הראש שלי כל הזמן עבד."
"אני לא יודעת אם זה קשור, אבל אני בת לניצולי שואה וההורים שלי שרדו את השואה, ואני גדלתי על סיפורי ההישרדות של אבא שלי, שנשאר יתום ובעצם בכל השנים האלה היה ביערות וברח מהנאצים וזה כנראה משהו שליווה אותי וכשהיינו בממ"ד באותם שעות, חשופים בעצם ולא מוגנים פשוט הראש שלי כל הזמן עבד."
"אני לא יודעת אם זה קשור, אבל אני בת לניצולי שואה וההורים שלי שרדו את השואה, ואני גדלתי על סיפורי ההישרדות של אבא שלי, שנשאר יתום ובעצם בכל השנים האלה היה ביערות וברח מהנאצים וזה כנראה משהו שליווה אותי וכשהיינו בממ"ד באותם שעות, חשופים בעצם ולא מוגנים פשוט הראש שלי כל הזמן עבד."
"אני לא יודעת אם זה קשור, אבל אני בת לניצולי שואה וההורים שלי שרדו את השואה, ואני גדלתי על סיפורי ההישרדות של אבא שלי, שנשאר יתום ובעצם בכל השנים האלה היה ביערות וברח מהנאצים וזה כנראה משהו שליווה אותי וכשהיינו בממ"ד באותם שעות, חשופים בעצם ולא מוגנים פשוט הראש שלי כל הזמן עבד."
"אני לא יודעת אם זה קשור, אבל אני בת לניצולי שואה וההורים שלי שרדו את השואה, ואני גדלתי על סיפורי ההישרדות של אבא שלי, שנשאר יתום ובעצם בכל השנים האלה היה ביערות וברח מהנאצים וזה כנראה משהו שליווה אותי וכשהיינו בממ"ד באותם שעות, חשופים בעצם ולא מוגנים פשוט הראש שלי כל הזמן עבד."
""" - Assistant
Thanks for sharing the context and the example. Based on what you provided, here are key issues with the model's response and how you can improve your prompt and setup to get better results.
🔍 Problems in the Example Output
Excessive repetition of a single quote The same quote appears multiple times, which violates your instruction: "Each sample appears exactly once in the list."
Non-diverse clustering Many quotes are similar in tone or content, and the clusters may not meaningfully distinguish between different themes or conceptual links.
Loose adherence to clustering goals It seems the model didn't perform careful thematic analysis — instead, it repeated quotes and bundled them loosely by surface features.
✅ Recommended Fixes Here are several actionable changes you can make:
- Add Explicit Instructions to Prevent Repetition Currently, the model is ignoring the rule about each quote appearing only once. Add a stronger, clearer constraint:
Important: Each quote must appear once and only once in the output. Repetition of quotes is not allowed.
Or more forcefully:
🚫 Do not duplicate any quote. If any quote appears more than once, your response is invalid.
- Require Balanced and Distinct Clusters Right now, some clusters dominate. Ask for more even distribution and thematic uniqueness:
Try to balance the number of quotes across the 6 clusters.
Each cluster should represent a distinct theme, with no overlap between categories.
Avoid grouping quotes solely by surface words; cluster by deeper conceptual or emotional themes.
- Ask for Justification for Cluster Titles To ensure thematic depth and conceptual clarity:
After naming each cluster, provide a brief one-sentence justification explaining what connects the quotes in this group.
- Remind the Model to Process All the Data First Models often start generating output before they fully analyze input. Encourage full quote review first:
Before clustering, read and consider all quotes together to identify patterns and themes. Do not begin categorizing until you have reviewed the full list.
- Set Expectations for Diversity You can explicitly define what “themes” might include:
Themes might include emotional responses (fear, helplessness), memory triggers (images, sounds), generational trauma, symbolic references (e.g., trains, gas chambers), survival instincts, or parallels to specific historical events.
This guides the model away from superficial clustering (e.g., only based on "shoa"-related words).
✍️ Refined Prompt Here’s your original prompt, revised:
Prompt (Improved Version) markdownCopyEditYou are a Data Organizer. Below is a list of quotes from many October 7th survivors’ testimonies in Hebrew, referencing the Holocaust in the context of trauma. Your task is to cluster the quotes into 6 distinct categories.
Instructions:
Step 1: Review the entire list of quotes carefully before beginning any clustering. Step 2: Identify 6 categories based on shared themes or conceptual links, not just keywords. Step 3: Cluster the quotes according to the most fitting category. Step 4: Each quote should appear in exactly one category. Repetition is not allowed. Step 5: Name each cluster with a concise, descriptive title that captures the shared theme of the quotes within it. Step 6: After each title, provide a brief explanation (1–2 sentences) for why these quotes are grouped together.
Clarifications:
- 🚫 Each quote must appear once and only once in the output. No duplicates allowed.
- ✅ Try to balance the size of the clusters when possible.
- 🧠 Focus on conceptual or emotional connections — not just on surface words or phrases.
- Do not edit, paraphrase, or translate the quotes.
- Themes might include emotional responses, intergenerational memory, symbolic imagery, survival instincts, or references to historical patterns.
Output format:
Cluster 1
Name:
Explanation:
Content:
<QUOTE 1>
<QUOTE 2>
......
Cluster 6
Name:
Explanation:
Content:
<QUOTE 1>
...Quotes:
This revised version should strongly reduce repetition, force deeper clustering, and yield better-organized thematic groupings. If you'd like, you can share the quote list or a subset, and I can help you test or refine the clustering directly.