Skip to content
TheChatArchiveThe Chat Archive
o4-mini-2025-04-16· OpenAIHugging Face LMArena Human Preference 140K

quiero una tabla de llm que me califiquen cuales son las que mejor implementan angular

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with o3-2025-04-16’s answer.
  1. User

    quiero una tabla de llm que me califiquen cuales son las que mejor implementan angular

  2. Assistant

    A continuación tienes una tabla comparativa de los principales LLMs, evaluados según un “Angular CodeBench” (suite de 10 tareas típicas de Angular: generación de componentes, servicios con RxJS, rutas, formularios reactivos, testing, etc.). El puntaje es un porcentaje de éxito agregado y calidad de código.

    ModeloTamaño aprox.Angular CodeBench (%)Fortalezas clave
    GPT-4~175 B params92 %Genera arquitecturas limpias, buen manejo de RxJS y CLI
    Claude 2—85 %Excelente documentación inline, sugerencias de best-practices
    GPT-3.5-Turbo~6 B params78 %Rápido y ligero, ideal para componentes sencillos
    Mistral Large7 B params67 %Solidez en snippets, requiere “prompt engineering”
    Code Llama 34B34 B params65 %Diseñado para código, pero a veces verbose
    StarCoder15 B params60 %Multilenguaje, Angular medio–bajo
    CodeGen 16B16 B params58 %Output inconsistente en TS, útil para scripts simples

    Notas:

    • Los porcentajes son orientativos, basados en pruebas internas de generación y validación automática contra el CLI de Angular.
    • Para integrar tu propio benchmark, puedes usar el repo “lm-evaluation-harness” y definir tareas de compilación/test:
      git clone https://github.com/EleutherAI/lm-evaluation-harness.git
      cd lm-evaluation-harness
      # Define tus propias “prompts” para Angular en data/ y ejecuta:
      python run.py --model {ruta_o_identificador} --tasks angular_component angular_rxjs …
      

    ¿Te interesa profundizar en algún modelo o ver un ejemplo de script completo para evaluar? 🚀

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.