Skip to content
The Chat Archive
gpt-4-0613· OpenAI Arena Human Preference 55K

Translate it in French : Beyond the Imitation Game benchmark (BIG-bench) - A set of 204…

  1. User

    Translate it in French :

    Beyond the Imitation Game benchmark (BIG-bench)

    • A set of 204 or more language tasks. As reflected in the BIG-bench review criteria, benchmark tasks are novel, cover a diverse range of topics and languages, and are not fully solvable by current models. Figure 3 shows a word-cloud of task keywords and the distribution of task sizes, and Table App.3 lists the most frequent keywords in the benchmark. See also the list of descriptive task keywords.

    • BIG-bench Lite: a small, representative, and canonical subset of tasks that allows for faster evaluation than on the whole benchmark. See Table 1 for a list of the tasks included in BIG-bench Lite, and see Section 2.2 for further details.

    • Code that implements the benchmark API (described below in Section 2.1), supports task evaluation on publicly available models, and enables lightweight creation of new tasks.

    • Detailed evaluation results on dense and sparse language models with sizes that span six orders of magnitude, as well as baseline results established by human evaluators.

  2. Assistant

    Au-delà du benchmark du Jeu d'Imitation (BIG-bench)

    • Un ensemble de 204 tâches linguistiques ou plus. Comme le reflètent les critères de révision de BIG-bench, les tâches de référence sont nouvelles, couvrent une gamme diversifiée de sujets et de langues, et ne sont pas entièrement résolubles par les modèles actuels. La figure 3 montre un nuage de mots-clés de tâche et la distribution des tailles de tâche, et le tableau App.3 liste les mots-clés les plus fréquents dans le benchmark. Voir aussi la liste des mots-clés descriptifs de tâche.

    • BIG-bench Lite: un petit sous-ensemble représentatif et canonique de tâches qui permet une évaluation plus rapide que sur l'ensemble du benchmark. Voir le tableau 1 pour une liste des tâches incluses dans BIG-bench Lite, et voir la section 2.2 pour plus de détails.

    • Code qui implémente l'API de benchmark (décrite ci-dessous dans la section 2.1), supporte l'évaluation de tâches sur des modèles publiquement disponibles, et permet la création légère de nouvelles tâches.

    • Résultats d'évaluation détaillés sur des modèles de langues denses et clairsemées de tailles qui couvrent six ordres de grandeur, ainsi que des résultats de base établis par des évaluateurs humains.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.