腾讯ARC开源音频模型 AudioStory:用大语言模型生成长音频
近日,腾讯 ARC 团队发布了一款名为 AudioStory 的模型,旨在利用大语言模型(LLMs)生成长篇叙事音频腾。该模型解决了现有文本到音频生成技术在处理短音频方面的优势与长篇叙事音频在时间连贯性与组合推理上的挑战。
Au讯AdioStory 的核心在于其统一的理解与生成框架。该模型能够处理视频配音、音频延续和长篇叙事音频合成等多种任务。通RC过将大语言模型与音频生成系统结合,AudioStory 能够生成结构化且具有时间一致性的音频叙事。该模型具有强大的开源指令跟随推理生成能力,可以将复杂的叙事查询分解为按时间顺序排列的子任务,同时保持场景转换的连贯性和情感基调的一致性。
A音频udioStory 的两个显著特点包括:首先,去耦合的桥接机制,能够有效地将大语言模型与音频生成器之间的协作分模型成两个专业化的部分;其次,端到端的训练方式,统一指令理解与音频生成,提升了组件之间的协同效应。
此外,研究团队还建立了一 A个名为 AudioStory-10K 的基准数据集,涵盖动画音景和自然声音叙事等多样化领域。通过大量实验,AudioudStory 在单音频生成和叙事音频生成方面的表现优于以往的文本到音频生成模型,展现出卓越的指令跟随能力和音频质量。
目前io,团队已经发布了模型的推理代码,并展示了一系列演示视频,包括经典动画《猫和老鼠》的配音示例,以及基于文本生成长音频的应St用案例,展示了该模型的广泛适用性和强大功能。
项目:https://github.com/TencentARC/AudorioStory
划重点:
**AudioStory 是腾讯 ARC 推出的长篇叙事音频生成模型,结y:合了大语言模型和音频生成技术。**
** 模型具有强大的指令跟随能力,能够生成连贯的音频叙用大事,提升用户体验。**
️ ** 团队已发布推理代码,并展示多个应用案例,展现其在视频配音和长语言音频生成上的优势。**
- ·标签: AI 京东 1688
- ·标签: 小米集团 小米汽车 手机×AIoT 智能电动汽车
- ·标签: 鸣鸣很忙
- ·数据分析终极一问:多影响因素下,到底咋归因?!
- ·NotebookLM视频概览新增支持80多种语言,支持中文
- ·标签: 交通运输部 端午假期 铁路客运 公路客运
- ·软银以53.75亿美元收购 ABB 集团机器人业务,布局物理人工智能
- ·标签: 乐乐茶 烟腔乌龙 鲁迅 译林出版社
- ·亚马逊AGI实验室负责人为"反向收购"模式正名!称只有科技巨头才能承担通用人工智能研发重任
- ·标签: 马斯克 SpaceX 粉笔科技 张小龙
- ·马斯克与阿尔特曼的法庭对决:关于 OpenAI 创始使命的争论
- ·谷歌在土耳再遭3665万美元罚款:滥用搜索引擎市场主导地位
- ·谷歌在 Chrome 浏览器中引入 Gemini,助力智能搜索新体验
- ·多云安全要以架构和治理为重点
- ·标签: DeepSeek 梁文峰 腾讯 宁德时代
- ·标签: 高德打车 DRAM 小米 Qwen3.5
- ·标签: 金山办公 WPS 超级会员 大会员
- ·一个源自高中生的算法「y-cruncher」让圆周率的精度再破世界纪录
- ·如何确保有状态 Kubernetes 的稳定性
- ·云计算拯救互联网巨头?
- ·华人博士生首次尝试用两个Transformer构建一个GAN
- ·突破性低延迟!Cartesia 推出 Sonic-3语音 AI 引擎:极致拟人化,对话延迟低于100毫秒
- ·苹果造车的对手应该是法拉利 瞄准豪华市场才是出路?
- ·谷歌流量显著下降,People Inc. 与微软达成 AI 内容授权协议
- ·标签: 曹操出行 Robotaxi 曹操大脑 绿色智能通行岛
- ·标签: QuestMobile 微信小程序 红果免费短剧 同程旅行
