开源音乐大模型有哪些好的?
- User
开源音乐大模型有哪些好的?
- Assistant
目前,开源音乐大模型领域有以下值得关注的项目:
-
QA-MDT(Quality-aware Masked Diffusion Transformer):由中国科学技术大学和科大讯飞联合推出的开源音乐生成模型。该模型基于文本描述生成高质量且音乐性强的音乐,采用质量感知训练策略,在训练过程中识别并提升音乐波形的质量。QA-MDT结合掩蔽扩散变换器(MDT)和质量控制技术,在大规模数据集上表现出卓越性能,为音乐制作和多媒体创作提供了强大的工具。[1]
-
天工SkyMusic:由昆仑万维推出的中国首个音乐SOTA(State of the Art)模型。该模型采用自研的大模型音乐音频生成技术路线,能够实现乐器、人声、旋律、音量、音符的一体化端到端音乐生成。天工SkyMusic在人声和背景音乐音质、人声自然度、发音可懂度等方面表现出色,综合性能超越了海外顶尖的AI音乐大模型Suno V3,成为全球AI音乐领域的领先模型。[2]
-
MusicGen:由Meta开源的AI语言模型,能够将文本和旋律转化为完整乐曲。MusicGen基于Transformer架构,使用了2万小时的授权音乐进行训练,并采用Meta的EnCodec编码器将音频数据分解为更小的单元进行并行处理,从而提高了运算效率和生成速度。[3]
-
ChatMusician:一个开源的LLM(大型语言模型),通过在文本兼容的音乐表示(如ABC记谱法)上进行持续预训练和微调,使模型具备内在的音乐理解和生成能力。ChatMusician能够在不依赖外部多模态神经结构或分词器的情况下,理解和生成音乐。[4]
-
UniAudio:一个音频基础模型,旨在实现通用音频生成。UniAudio通过对所有类型的目标音频及其他条件模态进行标记化,并将源-目标对连接为单一序列,利用LLM进行下一个标记的预测。该模型在多个生成任务中表现出色,展示了成为通用音频生成基础模型的潜力。[5]
-
MusicBERT:一个大型预训练模型,专注于符号音乐理解。MusicBERT通过构建包含超过100万首歌曲的大规模符号音乐语料库,并设计了OctupleMIDI编码和小节级掩码策略,增强了符号音乐数据的预训练效果。该模型在旋律补全、伴奏建议、流派分类和风格分类等任务中表现出色。[6]
-
Amphion:一个开源的音频、音乐和语音生成工具包,旨在为初学者和工程师提供便利。Amphion提供了统一的框架,包含多种生成任务和模型,并易于扩展。初始版本支持文本转语音(TTS)、文本转音频(TTA)和歌声转换(SVC)等任务,配备了数据预处理、先进的声码器和评估指标等组件。[7]
这些开源音乐大模型在音乐生成和理解领域各具特色,用户可根据具体需求选择适合的模型进行应用和研究。
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.