Skip to content
The Chat Archive
gpt-4.1-2025-04-14· OpenAIHugging Face LMArena Human Preference 140K

PERFORMANCE COMPARISON BETWEEN BASELINE MODELS AND OUR PROPOSED RS-RAG VARIANTS ON THE…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Coherecommand-a-03-2025’s answer.
  1. User

    PERFORMANCE COMPARISON BETWEEN BASELINE MODELS AND OUR PROPOSED RS-RAG VARIANTS ON THE IMAGE CAPTIONING TASK USING A SUBSET OF THE RSWK DATASET. Model BLEU-1 BLEU-2 BLEU-3 BLEU-4 METEOR ROUGE-L CIDEr InternVL2.5-8B [29] 0.427 0.289 0.218 0.166 0.222 0.275 0.013 Janus-Pro-7B [30] 0.370 0.245 0.183 0.139 0.197 0.246 0.007 Qwen2.5-VL-7B [31] 0.349 0.223 0.161 0.121 0.185 0.229 0.004 Llama3.2-Vision-11B [32] 0.448 0.303 0.228 0.173 0.225 0.286 0.014 RS-RAG-7B 0.409 0.263 0.193 0.144 0.206 0.240 0.065 RS-RAG-11B 0.470 0.360 0.307 0.266 0.276 0.322 0.027

    explique moi ce qui est fait ici je comprend pas et chacune des metriques

  2. Assistant

    Bien sûr ! Voici une explication détaillée de ce tableau et des métriques utilisées.


    1. Contexte général

    Le tableau présente une comparaison de performance entre différents modèles d’image captioning (génération de descriptions textuelles à partir d’images) sur un sous-ensemble du dataset RSWK.
    On compare des modèles existants (InternVL2.5-8B, Janus-Pro-7B, Qwen2.5-VL-7B, Llama3.2-Vision-11B) à deux variantes d’un nouveau modèle proposé, appelé RS-RAG (en version 7B et 11B).


    2. Les modèles

    • InternVL2.5-8B, Janus-Pro-7B, Qwen2.5-VL-7B, Llama3.2-Vision-11B : modèles de base (baselines) connus pour la tâche de génération de légendes d’images.
    • RS-RAG-7B et RS-RAG-11B : variantes du modèle proposé par les auteurs, avec 7 milliards (7B) et 11 milliards (11B) de paramètres.

    3. Les métriques

    Ce sont des scores standard pour évaluer la qualité des légendes générées par rapport à des légendes de référence (humaines) :

    BLEU (Bilingual Evaluation Understudy)

    • BLEU-1, BLEU-2, BLEU-3, BLEU-4 : scores qui mesurent la similarité entre la légende générée et la référence, en comptant le nombre de n-grammes (groupes de 1, 2, 3 ou 4 mots) communs.
      • BLEU-1 : correspondance sur les mots seuls (unigrammes).
      • BLEU-2 : sur les paires de mots (bigrammes).
      • BLEU-3 : sur les trigrammes.
      • BLEU-4 : sur les 4-grammes.
    • Plus le score est élevé (proche de 1), plus la légende générée ressemble à la référence.

    METEOR

    • Prend en compte la correspondance des mots, mais aussi la racine des mots, les synonymes, et l’ordre des mots.
    • Plus sensible que BLEU pour la qualité linguistique.

    ROUGE-L

    • Mesure la plus longue sous-séquence commune entre la légende générée et la référence.
    • Utilisé pour évaluer la couverture du contenu.

    CIDEr (Consensus-based Image Description Evaluation)

    • Spécifique à l’évaluation des descriptions d’images.
    • Mesure la similarité en tenant compte de la fréquence des n-grammes dans l’ensemble des références.
    • Plus le score est élevé, mieux c’est.

    4. Lecture du tableau

    Chaque ligne correspond à un modèle, chaque colonne à une métrique.
    Exemple :

    • RS-RAG-11B a un score BLEU-4 de 0.266, METEOR de 0.276, ROUGE-L de 0.322, et CIDEr de 0.027.
    • Llama3.2-Vision-11B a un score BLEU-4 de 0.173, METEOR de 0.225, ROUGE-L de 0.286, et CIDEr de 0.014.

    On voit que RS-RAG-11B surpasse les autres modèles sur toutes les métriques, ce qui montre qu’il génère de meilleures légendes.


    Résumé

    • Ce qui est fait ici : On compare la performance de plusieurs modèles sur la tâche de génération de légendes d’images, à l’aide de métriques standard.
    • Chaque métrique mesure la qualité des légendes générées sous un angle différent (précision des mots, structure, similarité globale, etc.).
    • Le modèle RS-RAG-11B est le meilleur selon ce tableau.

    Si tu veux des exemples concrets de calcul de chaque métrique, ou des explications plus détaillées sur une métrique en particulier, dis-le-moi !

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.