Pouvez vous classer par pays sous forme de tableau, la liste des entreprises de IA qui…
- User
Pouvez vous classer par pays sous forme de tableau, la liste des entreprises de IA qui sont engagés dans un partenaria avec lmarena.ai et qui en reçoivent les informations de requête ?
Assistant
Absolument. Cependant, il est très important de clarifier un point crucial concernant votre question.
LMSYS.org, l'organisation derrière lmarena.ai (le "Chatbot Arena"), est un projet de recherche académique (mené par des chercheurs de UC Berkeley, UC San Diego et Carnegie Mellon). Son objectif est d'évaluer les modèles de langage de manière indépendante.
Par conséquent, LMSYS ne partage pas les informations de requête des utilisateurs avec les entreprises dont les modèles sont testés. Le "partenariat" consiste pour ces entreprises à autoriser l'utilisation de leurs modèles sur la plateforme pour être évalués. Les données collectées (prompts anonymisés et votes) sont utilisées par les chercheurs de LMSYS pour leurs études sur les performances des IA, et non pour être renvoyées aux entreprises.
La contrepartie pour ces entreprises est la visibilité et le classement prestigieux sur le leaderboard du Chatbot Arena, qui est devenu une référence dans le domaine.
Ceci étant clarifié, voici un tableau classant par pays les principales entreprises et organisations dont les modèles sont (ou ont été) évalués sur le Chatbot Arena. Ce sont les "participants" au projet, mais pas des partenaires qui reçoivent des données en retour.
Participants au Projet Chatbot Arena (Fournisseurs de Modèles)
Pays Entreprise / Organisation Exemples de Modèles Évalués États-Unis OpenAI GPT-4o, GPT-4 Turbo, GPT-3.5 Google Gemini 1.5 Pro, Gemini 1.0 Pro Anthropic Claude 3 Opus, Claude 3 Sonnet, Claude 3 Haiku Meta Llama-3-70B, Llama-2-70B Databricks DBRX Instruct Microsoft (Participe souvent via son partenariat avec OpenAI) France Mistral AI Mistral Large, Mixtral 8x22B, Mixtral 8x7B Canada Cohere Command R+ Chine Alibaba Qwen1.5-72B-Chat Zhipu AI GLM-4 01.AI Yi-Large Émirats Arabes Unis Technology Innovation Institute (TII) Falcon-180B International / Académique LMSYS.org (les organisateurs) Vicuna, Starling
En résumé :
- Aucune entreprise ne reçoit les informations de requête des utilisateurs de lmarena.ai.
- Le tableau ci-dessus liste les fournisseurs de modèles qui participent à cette évaluation publique et indépendante.
- Leur bénéfice est la mesure de performance et la visibilité de leurs modèles, pas l'accès aux données des utilisateurs.
Cette distinction est fondamentale pour comprendre la nature éthique et académique du projet Chatbot Arena.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.