Translate it in French : Beyond the Imitation Game benchmark (BIG-bench) - A set of 204…
- User
Translate it in French :
Beyond the Imitation Game benchmark (BIG-bench)
-
A set of 204 or more language tasks. As reflected in the BIG-bench review criteria, benchmark tasks are novel, cover a diverse range of topics and languages, and are not fully solvable by current models. Figure 3 shows a word-cloud of task keywords and the distribution of task sizes, and Table App.3 lists the most frequent keywords in the benchmark. See also the list of descriptive task keywords.
-
BIG-bench Lite: a small, representative, and canonical subset of tasks that allows for faster evaluation than on the whole benchmark. See Table 1 for a list of the tasks included in BIG-bench Lite, and see Section 2.2 for further details.
-
Code that implements the benchmark API (described below in Section 2.1), supports task evaluation on publicly available models, and enables lightweight creation of new tasks.
-
Detailed evaluation results on dense and sparse language models with sizes that span six orders of magnitude, as well as baseline results established by human evaluators.
-
- Assistant
Au-delà du benchmark du Jeu d'Imitation (BIG-bench)
-
Un ensemble de 204 tâches linguistiques ou plus. Comme le reflètent les critères de révision de BIG-bench, les tâches de référence sont nouvelles, couvrent une gamme diversifiée de sujets et de langues, et ne sont pas entièrement résolubles par les modèles actuels. La figure 3 montre un nuage de mots-clés de tâche et la distribution des tailles de tâche, et le tableau App.3 liste les mots-clés les plus fréquents dans le benchmark. Voir aussi la liste des mots-clés descriptifs de tâche.
-
BIG-bench Lite: un petit sous-ensemble représentatif et canonique de tâches qui permet une évaluation plus rapide que sur l'ensemble du benchmark. Voir le tableau 1 pour une liste des tâches incluses dans BIG-bench Lite, et voir la section 2.2 pour plus de détails.
-
Code qui implémente l'API de benchmark (décrite ci-dessous dans la section 2.1), supporte l'évaluation de tâches sur des modèles publiquement disponibles, et permet la création légère de nouvelles tâches.
-
Résultats d'évaluation détaillés sur des modèles de langues denses et clairsemées de tailles qui couvrent six ordres de grandeur, ainsi que des résultats de base établis par des évaluateurs humains.
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.