Skip to content
TheChatArchiveThe Chat Archive
o4-mini-2025-04-16· OpenAIHugging Face LMArena Human Preference 140K

por que a los modelos les costo tanto responder bien la pregunta how many r's are in the…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with chatgpt-4o-latest-20250326’s answer.
  1. User

    por que a los modelos les costo tanto responder bien la pregunta how many r's are in the word strawberry?

  2. Assistant

    A veces los modelos de lenguaje “se lían” al contar letras por varias razones técnicas y lingüísticas. Aquí algunos de los factores más comunes:

    1. Tokenización por subpalabras

      • Los LLM (Large Language Models) no trabajan siempre con caracteres individuales, sino con “tokens” que pueden ser sílabas, prefijos, sufijos o combinaciones.
      • Por ejemplo, “strawberry” podría dividirse en “straw” + “ber” + “ry”. Si la unidad “ber” o “rry” se cuenta como un solo token, al modelo le cuesta aislar cada “r”.
    2. Digráfos y ortografía de distintos idiomas

      • En español el dígrafo “rr” se siente como una sola unidad fonética, y un modelo entrenado con muchos textos en español puede trasladar esa intuición al inglés.
      • Así, en lugar de ver dos “r” separadas (“berry” → b‑e‑r‑r‑y), las agrupa mentalmente.
    3. Ambigüedad en la instrucción

      • A veces la pregunta “How many r’s are in strawberry?” se interpreta como “¿Cuántos sonidos /r/ hay?” o “¿Cuántas sílabas con ‘r’ aparecen?”.
      • Si no queda claro que hablamos del carácter escrito “r”, el modelo ensaya otras interpretaciones.
    4. Estrategias de generación

      • Los modelos buscan maximizar cierta probabilidad de “parecer correcto” según su entrenamiento. Si una ruta de razonamiento sencilla hiciera pensar “2” (por el dígrafo “rr”), o “1” (si agrupa ambas), podría elegirla antes de hacer el conteo línea a línea.

    Cómo mejorar la respuesta:

    • Reforzar que queremos el recuento literal de la letra “r”.
    • Dar un ejemplo de conteo paso a paso (como: s‑t‑r‑a‑w‑b‑e‑r‑r‑y).

    Con ese contexto, el modelo aterriza en la cuenta correcta: 3 “r”. 🚀

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.