o4-mini-2025-04-16· OpenAI
LMArena Human Preference 140K
por que a los modelos les costo tanto responder bien la pregunta how many r's are in the…
- User
por que a los modelos les costo tanto responder bien la pregunta how many r's are in the word strawberry?
- Assistant
A veces los modelos de lenguaje “se lían” al contar letras por varias razones técnicas y lingüísticas. Aquí algunos de los factores más comunes:
-
Tokenización por subpalabras
- Los LLM (Large Language Models) no trabajan siempre con caracteres individuales, sino con “tokens” que pueden ser sílabas, prefijos, sufijos o combinaciones.
- Por ejemplo, “strawberry” podría dividirse en “straw” + “ber” + “ry”. Si la unidad “ber” o “rry” se cuenta como un solo token, al modelo le cuesta aislar cada “r”.
-
Digráfos y ortografía de distintos idiomas
- En español el dígrafo “rr” se siente como una sola unidad fonética, y un modelo entrenado con muchos textos en español puede trasladar esa intuición al inglés.
- Así, en lugar de ver dos “r” separadas (“berry” → b‑e‑r‑r‑y), las agrupa mentalmente.
-
Ambigüedad en la instrucción
- A veces la pregunta “How many r’s are in strawberry?” se interpreta como “¿Cuántos sonidos /r/ hay?” o “¿Cuántas sílabas con ‘r’ aparecen?”.
- Si no queda claro que hablamos del carácter escrito “r”, el modelo ensaya otras interpretaciones.
-
Estrategias de generación
- Los modelos buscan maximizar cierta probabilidad de “parecer correcto” según su entrenamiento. Si una ruta de razonamiento sencilla hiciera pensar “2” (por el dígrafo “rr”), o “1” (si agrupa ambas), podría elegirla antes de hacer el conteo línea a línea.
Cómo mejorar la respuesta:
- Reforzar que queremos el recuento literal de la letra “r”.
- Dar un ejemplo de conteo paso a paso (como: s‑t‑r‑a‑w‑b‑e‑r‑r‑y).
Con ese contexto, el modelo aterriza en la cuenta correcta: 3 “r”. 🚀
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.