昆仑万维Mureka V7.5模型上线,AI音乐创作水平再迎新高度
2025-08-15 16:44:02爱云资讯1912
8月11日,昆仑万维SkyWork AI技术发布周正式启动。8月11日至8月15日,每天发布一款新模型,连续五天,覆盖多模态AI核心场景的前沿模型。
截至目前,昆仑万维已经发布SkyReels-A3、Matrix-Game 2.0、Matrix-3D、Skywork UniPic 2.0、Skywork Deep Research Agent模型。8月15日,昆仑万维正式上线Mureka V7.5模型。至此,昆仑万维SkyWork AI技术发布周完美收官。
Mureka V7.5在中文歌曲上的演绎再上新台阶,不仅实现了中文歌曲音色、演奏技法的大幅提升,还完成了中文歌曲咬字与情感表现提升。
首先,基于对中文曲风和元素的强大理解,Mureka的理解模型对传统民歌、戏曲到经典华语流行金曲乃至当代民谣音乐拥有深刻认知。这种在中文音乐多样性与文化特性上的深度积累,使模型在理解和生成中文音乐时,能够更准确地传达其特有的艺术神韵和情感色彩。
其次,为了进一步提升生成音乐中人声表现的真实性与情感深度,我们针对歌曲特点优化了 ASR 技术,使之成为理解模块的有力延伸。这项技术深入到演唱的微观层面,不仅精准识别唱词,更能通过分析真实演唱中的气息运用、情感起伏和唱法细节,智能划分出符合演唱规律的乐句,并确定自然的换气与停顿位置。结合同样精准的乐段识别,显著提升了生成人声的段落清晰度与结构真实感。
这些捕捉到的细粒度演唱信息反馈给生成模型,极大地增强了人声的自然度、呼吸感以及情感表达的真实性,有效削弱了机械感,使 AI 演绎的歌曲在流畅性上更贴近真人演唱,这在处理中文歌曲特有的韵律和气息要求时效果尤为突出。
正是这种结合在文化特性上的独特积累和针对歌曲演唱优化的ASR技术所带来的细节洞察,共同构成了我们在中文音乐生成领域的核心竞争力。
Mureka V7.5不仅能「听懂」对音乐旋律与节奏的制作要求,更能深刻理解并再现不同文化语境下,特别是中文音乐中蕴含的细腻情感与艺术表达,从而为生成高度符合目标审美与文化语境、兼具艺术性与真实感的音乐作品,打下坚持技术基础。
同时,在语音模型方向上,昆仑万维语音团队推出MoE-TTS——首个基于MOE的角色描述语音合成框架。
作为面向开放描述(Out-of-domain Descriptions)场景的全新语音合成框架的研究性工作,该技术可让用户通过自然语言描述(例如“清澈的少年音带磁性尾韵”)精准控制声音特征与风格,在仅使用开源数据的条件下,对标甚至超越闭源商业产品的角色贴合度表现。
技术报告:https://teal-aquarius-c17.notion.site/MoE-TTS-Enhancing-Out-of-Domain-Text-Understanding-for-Description-based-TTS-via-Mixture-of-Experts-24e44360bf708040bff3dffe2eef805e
近年来,描述性语音合成虚拟助手、有声创作、数字人等领域展现出巨大潜力。然而,学术界长期受制于描述数据的局限性与模型对开放语义的泛化能力不足,导致面对比喻、类比等复杂修辞时,生成的语音往往偏离用户预期。
MoE-TTS的推出有望助力解决这一核心难题。该框架创新性地结合预训练大语言模型(LLM)文本能力与语音专家模块(Speech Expert Modules),为文本与语音分别配置专用专家模块,并在Transformer核心结构中引入模态路由,确保各模态独立优化、互不干扰。在冻结文本参数的同时高效对齐跨模态信息,实现“知识零损失”的泛化理解能力。
在涵盖域内与域外描述的双测试集上,MoE-TTS 与主流闭源 TTS 模型进行了六大维度对比评测:MoE-TTS 在风格表现力贴合度(SEA)和整体贴合度(OA)等声学控制上精准度领先,这正是其在复杂描述匹配度上胜出的关键。
MoE-TTS 的发布不仅为学术界提供了可复现的开放描述 TTS 解决方案,也证明了模态解耦 + 知识冻结迁移的技术路径在语音合成中的巨大潜力。这一突破有望推动行业从“封闭标签式控制”走向“自然语言自由控制”的新范式,加速数字人、虚拟助手和沉浸式内容创作的体验升级。
MoE-TTS目前仍在迭代中,后续规划将集成至旗下Mureka-Speech平台作为角色配音的基座模型,为全球开发者和创作者提供开放、高效、可定制的描述性语音合成能力。
相关文章
- 昆仑万维「Matrix-Game 2.0」发布,国产开源的Genie 3来啦!
- 昆仑万维技术周启幕:SkyReels模型重塑内容创作基建
- 昆仑万维天工超级智能体APP上线后爆火!全球首款Office智能体APP,开启AI办公新时代
- 昆仑万维天工超级智能体APP今日正式上线!全球首款Office智能体APP,开启AI办公新时代
- 昆仑万维正式开源Matrix-Game:从图像出发构建可控交互世界,重塑交互式世界生成标杆
- 昆仑万维开源R1V视觉思维链推理模型,开启多模态思考新时代
- 昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1,重塑AI短剧行业格局
- 昆仑万维发布Matrix-Zero世界模型,开启空间智能新时代
- 昆仑万维旗下天工AI正式上线DeepSeek R1+联网搜索
- 昆仑万维「天工大模型4.0」o1版(Skywork o1)正式启动邀请测试
- 昆仑万维推出「天工大模型4.0」4o版(Skywork 4o),实时语音对话助手Skyo上线在即
- 昆仑万维重磅发布天工AI高级搜索功能,做最懂金融投资、科研学术的AI搜索
- AI视频ChatGPT时刻到来,昆仑万维发布全球首款AI短剧平台
- 全球首发!昆仑万维重磅推出AI流媒体音乐平台Melodio
- 拥抱国产大模型,云捷亮数AI产品全面迁移至昆仑万维天工开放平台
- 昆仑万维开源2千亿稀疏大模型天工MoE,全球首创能用4090推理