字节博士搞的AI火了,一键完美分离人声和伴奏
写歌填词、改换风格、续写音乐的AI,今天又来做编曲人了!
上传一段《Stay》,一键按下:
伴奏和人声就轻松分离:
https://mp.weixin.qq.com/s?__biz=M字节zIzNjc1NzUzMw==&mid=2247594465&idx=3&sn=83a18be3019dbecd6040031618d112dc&chksm=e8d1博士c693dfa64f85e7db0f5157d533361da6c8b71a9ceacdfc29a28399bd6d0bade7a046014f&token=497180065&搞的;lang=zh_CN#rd
人声颇有种在空旷地带清唱的清晰感,背景乐都能直接拿去做混剪了!
这样惊人的效果也引发了Reddit热议:
这项研究的主要负责人孔秋强来自字节跳动,全球最大的古典钢琴数据集GAIiantMIDI-Piano,也是由他在去年牵头发布的。
那么今天,他又带来了怎样的一个AI音乐家呢?
一起来看看。
基于深度残差网络的音源分离
这是一个包含了相位估计的音乐源分离(MSS)系统。
首火了先,将幅值(Magnitude)与相位(Phase)解耦,用以估计复数理想比例掩码(cIRM)。
其次,为了实现更灵活的幅值估计,将有界掩码估计和直接幅值预测结合起来。
最后,为MSS系统引入一个143,一层的深度残差网络(Deep Residual UNets),利用残差编码块(REB)和残差解码块(RDB)来增加其深度:
残差编码块和残差卷积块中间还引入了中间卷积块(ICB),以提高残差网络的表达能力键完。
其中每个残差编码块由4个残差卷积块(RCB)组成,残差卷积块又由两个核大小为3×3的卷积层组成。
每个残差解码块由8个卷积层和1个反卷积层组成。
实验结果
接下来,将这一系统在MUSDB18数据集上进行美分实验。
MUSDB18中的训练/验证集分别包含100/50个完整的立体声音轨,包括独立的人声、伴奏、低音、鼓和其他乐器。
在训练时,利用上述系统进行并行的混合音频数据增强,随机混合来自同一来源的离人两个3秒片段,然后作为一个新的3秒片段进行训练。
以信号失真率(SDR)作为评判标准,可以看到ResUNetDecouple系统在分离人声、低音、其他和伴奏方面明显优于以前的方法:
在消融实验中,1声和43层残差网络的表现也证实了,结合有界掩码估计和直接幅值预测确实能够改善声音源分离系统的性能。
作者介绍
这项研究的论文一作为孔秋强,本硕都毕业于华南理工大学,博士则毕业于英国萨里大学的电子信息工程伴奏专业。
他在2019年加入字节跳动的Speech, Audio and Music Intelligence研究小组,主要负责音频信号处理和声音事件检测等领域的研究。
论文:
https://arxiv.org/字节abs/2109.05418
试玩:
https://huggingface.co/spaces/akhaliq/Music_Source_Separation
开源地址:
https://github博士.com/bytedance/music_source_separation
参考链接:
https://www.reddit.com/r/MachineLearning/comments/pqpl搞的7m/r_decoupling_magnitude_and_phase_estimation_with/
- ·标签: 地平线 征程6 陈鹏 芯片
- ·云计算开发:Python3集合内置Set clear()方法
- ·云计算核心技术Docker教程:Docker Compose指定compose配置文件
- ·标签: 硅基智能 大司马IP 港交所上市 数字人
- ·OSWorld-MCP:全新评测基准助力计算机代理产品发展
- ·标签: 完美世界 诛仙世界 异环 CAC 2025
- ·谷歌计划在硅谷建新园区:毗邻其硬件业务中心
- ·谷歌强硬反击Roku封杀:把YouTube TV服务直接捆绑进YouTube客户端
- ·标签: 捏Ta 胡修涵 AI原生社区 多模态创作
- ·标签: 豆包 Seedance 2.0 视频生成模型 AI视频
- ·Google Meet上线AI美妆滤镜功能,追赶Teams和Zoom步伐
- ·官宣!台积电引入英伟达CUDA-X技术,光刻成本最高暴降50%
- ·神经网络debug太难了,这里有六个实用技巧
- ·苏宁打响国产AI反击战:灵思大模型携手寒武纪算力平台,推理效率暴涨30%训练成本狂降70%
- ·一句话改变 AI 创作潜力:研究发现简单提示能显著提升输出多样性
- ·标签: 爱诗科技 PixVerse 拍我AI 多模态视频大模型
- ·怎样最好地利用数据实现多样性、公平性和包容性
- ·谷歌推出 Gemini3.1Pro 深度研究代理:支持 MCP 协议与多模态自主研究
- ·标签: 长安汽车 极狐 L3自动驾驶 智能网联汽车
- ·标签: 沐曦股份 H股上市 通用GPU MXMACA
- ·Facebook承诺未来3年将向新闻行业投资至少10亿美元
- ·智元机器人联合创始人:GPT-6后将迎来初级AGI,AI正迈向“物理智能”时代
- ·标签: 极佳视界 GigaBrain Maker H01 具身基模
- ·云计算开发:Python3-replace()方法详解
- ·标签: 五和博澳 港交所上市 天然药物 原创新药
- ·免费“外挂”浏览器来了!Perplexity 把 200 美元/月的 Comet 下放全民,边刷网页边替你写邮件、抢票、比价的 AI 小秘书上线
