PERFORMANCE COMPARISON BETWEEN BASELINE MODELS AND OUR PROPOSED RS-RAG VARIANTS ON THE…
- User
PERFORMANCE COMPARISON BETWEEN BASELINE MODELS AND OUR PROPOSED RS-RAG VARIANTS ON THE IMAGE CAPTIONING TASK USING A SUBSET OF THE RSWK DATASET. Model BLEU-1 BLEU-2 BLEU-3 BLEU-4 METEOR ROUGE-L CIDEr InternVL2.5-8B [29] 0.427 0.289 0.218 0.166 0.222 0.275 0.013 Janus-Pro-7B [30] 0.370 0.245 0.183 0.139 0.197 0.246 0.007 Qwen2.5-VL-7B [31] 0.349 0.223 0.161 0.121 0.185 0.229 0.004 Llama3.2-Vision-11B [32] 0.448 0.303 0.228 0.173 0.225 0.286 0.014 RS-RAG-7B 0.409 0.263 0.193 0.144 0.206 0.240 0.065 RS-RAG-11B 0.470 0.360 0.307 0.266 0.276 0.322 0.027
explique moi ce qui est fait ici je comprend pas et chacune des metriques
- Assistant
Bien sûr ! Voici une explication détaillée de ce tableau et des métriques utilisées.
1. Contexte général
Le tableau présente une comparaison de performance entre différents modèles d’image captioning (génération de descriptions textuelles à partir d’images) sur un sous-ensemble du dataset RSWK.
On compare des modèles existants (InternVL2.5-8B, Janus-Pro-7B, Qwen2.5-VL-7B, Llama3.2-Vision-11B) à deux variantes d’un nouveau modèle proposé, appelé RS-RAG (en version 7B et 11B).
2. Les modèles
- InternVL2.5-8B, Janus-Pro-7B, Qwen2.5-VL-7B, Llama3.2-Vision-11B : modèles de base (baselines) connus pour la tâche de génération de légendes d’images.
- RS-RAG-7B et RS-RAG-11B : variantes du modèle proposé par les auteurs, avec 7 milliards (7B) et 11 milliards (11B) de paramètres.
3. Les métriques
Ce sont des scores standard pour évaluer la qualité des légendes générées par rapport à des légendes de référence (humaines) :
BLEU (Bilingual Evaluation Understudy)
- BLEU-1, BLEU-2, BLEU-3, BLEU-4 : scores qui mesurent la similarité entre la légende générée et la référence, en comptant le nombre de n-grammes (groupes de 1, 2, 3 ou 4 mots) communs.
- BLEU-1 : correspondance sur les mots seuls (unigrammes).
- BLEU-2 : sur les paires de mots (bigrammes).
- BLEU-3 : sur les trigrammes.
- BLEU-4 : sur les 4-grammes.
- Plus le score est élevé (proche de 1), plus la légende générée ressemble à la référence.
METEOR
- Prend en compte la correspondance des mots, mais aussi la racine des mots, les synonymes, et l’ordre des mots.
- Plus sensible que BLEU pour la qualité linguistique.
ROUGE-L
- Mesure la plus longue sous-séquence commune entre la légende générée et la référence.
- Utilisé pour évaluer la couverture du contenu.
CIDEr (Consensus-based Image Description Evaluation)
- Spécifique à l’évaluation des descriptions d’images.
- Mesure la similarité en tenant compte de la fréquence des n-grammes dans l’ensemble des références.
- Plus le score est élevé, mieux c’est.
4. Lecture du tableau
Chaque ligne correspond à un modèle, chaque colonne à une métrique.
Exemple :- RS-RAG-11B a un score BLEU-4 de 0.266, METEOR de 0.276, ROUGE-L de 0.322, et CIDEr de 0.027.
- Llama3.2-Vision-11B a un score BLEU-4 de 0.173, METEOR de 0.225, ROUGE-L de 0.286, et CIDEr de 0.014.
On voit que RS-RAG-11B surpasse les autres modèles sur toutes les métriques, ce qui montre qu’il génère de meilleures légendes.
Résumé
- Ce qui est fait ici : On compare la performance de plusieurs modèles sur la tâche de génération de légendes d’images, à l’aide de métriques standard.
- Chaque métrique mesure la qualité des légendes générées sous un angle différent (précision des mots, structure, similarité globale, etc.).
- Le modèle RS-RAG-11B est le meilleur selon ce tableau.
Si tu veux des exemples concrets de calcul de chaque métrique, ou des explications plus détaillées sur une métrique en particulier, dis-le-moi !
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.