截至到现在时间为止72B以下规模开源模型的排行榜
- User
截至到现在时间为止72B以下规模开源模型的排行榜
Assistant
好的,截至到今天(2024年5月16日),72B以下规模的开源模型排行榜是一个动态变化的数据,不同的评估指标和数据集会导致不同的排名。以下是一些目前比较有代表性的排行榜和模型,以及它们的特点:
重要说明:
- 评估指标: 不同的排行榜使用不同的评估指标,例如MMLU (Massive Multitask Language Understanding)、HellaSwag、ARC (AI2 Reasoning Challenge) 等。 没有一个指标能完美反映模型的整体性能。
- 持续更新: 开源模型发展迅速,新的模型不断涌现,排名也在不断变化。
- 硬件要求: 即使是72B以下的模型,运行也需要一定的硬件资源,特别是GPU。
以下是一些常用的排行榜和模型:
1. Hugging Face Open LLM Leaderboard:
- 链接: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
- 特点: Hugging Face的排行榜是目前最权威和常用的。它基于多个评估基准测试,并提供详细的排名和模型信息。
- 当前Top模型 (截至2024年5月16日):
- Mistral 7B Instruct v0.2: 在许多基准测试中表现出色,尤其是在推理和对话方面。 非常受欢迎,社区支持强大。
- Zephyr 7B Alpha: 基于Mistral 7B,经过指令微调,在对话任务中表现优秀。
- Solar 10.7B: 在多个基准测试中表现出色,尤其是在数学和逻辑推理方面。
- OpenHermes 2.5 Mistral 7B: 基于Mistral 7B,经过指令微调,在对话任务中表现优秀,并且有多种版本可供选择。
- Yi-6B: 在某些基准测试中表现出色,尤其是在中文理解方面。
2. Chatbot Arena Leaderboard (LMSYS Org):
- 链接: https://chat.lmsys.org/leaderboard
- 特点: Chatbot Arena是一个基于人类偏好的评估平台。用户可以匿名比较两个模型的输出,并选择他们认为更好的那个。 这个排行榜反映了模型在实际对话中的表现。
- 当前Top模型 (截至2024年5月16日):
- Mixtral-8x7B: 虽然超过72B,但由于其独特的混合专家架构,在性能上超越了许多72B模型。
- Zephyr 7B Alpha: 在对话方面表现出色。
- Mistral 7B Instruct v0.2: 在对话方面表现良好。
- OpenHermes 2.5 Mistral 7B: 在对话方面表现优秀。
3. 其他值得关注的模型:
- Llama 2 7B/13B: Meta发布的Llama 2系列模型,是开源社区的基石。 有多种微调版本可供选择。
- Phi-2: Microsoft发布的Phi-2模型,虽然参数量只有2.7B,但性能非常出色,尤其是在推理和数学方面。
- Gemma 7B: Google发布的Gemma系列模型,开源且性能强大。
如何选择合适的模型?
选择哪个模型取决于您的具体需求:
- 对话能力: Zephyr 7B Alpha, OpenHermes 2.5 Mistral 7B, Mistral 7B Instruct v0.2
- 推理能力: Solar 10.7B, Phi-2
- 中文理解: Yi-6B
- 通用能力: Mistral 7B Instruct v0.2, Llama 2 7B/13B
在哪里下载和使用这些模型?
- Hugging Face Hub: https://huggingface.co/models 这是下载和使用开源模型的最佳平台。
- vLLM: https://vllm.ai/ 一个快速且易于使用的LLM推理服务。
- LM Studio: https://lmstudio.ai/ 一个方便的桌面应用程序,可以下载和运行各种LLM模型。
建议:
- 根据您的硬件资源选择模型。 更大的模型需要更多的GPU内存。
- 尝试不同的模型,并根据您的具体任务进行评估。
- 关注开源社区的最新动态,了解新的模型和技术。
希望这些信息对您有所帮助! 如果您有更具体的需求,例如您想用模型做什么,我可以提供更具体的建议。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.