腾讯混元开源端到端视频音效生成模型HunyuanVideo-Foley
8月28日,腾讯混元宣布开源端到端视频音效生成模型HunyuanVideo-Foley,这一模型能够通过输入视频和文字为视频匹配电影级音效腾讯,为视频创作带来了新的突破。用户只需输入相应的文本描述,HunyuanVideo-Foley就能生成与画面精准匹配的音频,从而打破AI生成混元视频只能“看”不能“听”的局限,让无声AI视频成为历史。
HunyuanVideo-Foley的出现解决了现有音频生成技术面临的三大痛点。首先,它通开源过构建大规模高质量TV2A(文本-视频-音频)数据集,提升了模型的泛化能力,使其能够适配人物、动物、自然景观、卡通动画等各类视频,并生成与画面端到精准匹配的音频。其次,该模型采用创新的双流多模态扩散变换器(MMDiT)架构,能够平衡文本和视频语义,生成层次丰富的复合音效,避免了因过度依赖端视文本语义而导致的音频与场景脱节问题。最后,HunyuanVideo-Foley通过引入表征对齐(REPA)损失函数,提升了音频生成的质量和稳频音定性,保证了专业级的音频保真度。
在多个权威评测基准上,HunyuanVideo-Foley的性能表现全面领先,其音频质量指标PQ从6.17提升至6效生.59,视觉语义对齐指标IB从0.27提升至0.35,时序对齐指标DeSync从0.80优化至0.74,均达到了新的SOTA水平。在主观评测中成模,该模型在音频质量、语义对齐和时间对齐三个维度的平均意见得分均超过4.1分(满分5分),展现了接近专业水准的音频生成效果。
HunyuanVid型Heo-Foley的开源为行业提供了可复用的技术范式,将加速多模态AI在内容创作领域的落地。短视频创作者可以一键生成场景化音效,电影团队能够快速完成环un境音设计,游戏开发者可以高效构建沉浸式听觉体验。
目前,用户可以在Github、HuggingFace下载模型,也可以在混元官网直接体验。
体验入yu口:https://hunyuan.tencent.com/video/zh?tabIndex=0
项目官网:https://szczesnys.angithub.io/hunyuanvideo-foley/
代码:https://github.com/Tencent-Hunyuan/HunyuVianVideo-Foley
技术报告:https://arxiv.org/abs/2508.16930
Hugging Face:https://hdeuggingface.co/tencent/HunyuanVideo-Foley
- ·云安全日报220517:IBM MQ消息中间件平台发现执行任意代码漏洞,需要尽快升级
- ·标签: 大界机器人 RoBIM Physical AI 人形机器人
- ·标签: 豆包手机助手 INJECT_EVENTS权限 隐私保护 技术预览版
- ·云安全日报211012:思科身份服务引擎发现特权升级漏洞,需要尽快升级
- ·苹果和特斯拉市值或达3万亿美元:电动汽车和自动驾驶汽车成助力
- ·英伟达宣布将与谷歌云合作打造业内首个AI-on-5G实验室
- ·标签: 谷歌I/O2026 ProjectGenie StreetView GoogleMaps
- ·标签: QuestMobile 微信小程序 红果免费短剧 同程旅行
- ·100美元打造专属ChatGPT:AI大牛开源nanochat教学工具,4小时从零炼成聊天机器人
- ·标签: 海清智元 多光谱AI 智元起源大模型 港交所上市
- ·云安全日报210426:RedHat XML序列化库发现执行任意代码漏洞,需要尽快升级
- ·浜戝畨鍏ㄦ棩鎶�210722锛氭€濈�鏅鸿兘绠$悊骞冲彴鍙戠幇IPv4鍜孖Pv6杞�彂婕忔礊,闇€瑕佸敖蹇�崌绾�
- ·科技巨头AI推广路上的“绊脚石”:谷歌AI概览频出错,商家纷纷反击
- ·Mimik和IBM合作,使边缘计算资源更易于访问
- ·2021年人工智能数据采集标注行业四大趋势预测
- ·对话神策数据桑文锋:后疫情时代如何开展营销工作?
- ·标签: 英伟达 AI21 Labs 黄仁勋 Mobileye
- ·标签: 毫末智行 Momenta 蔡娜 HPilot
- ·云计算核心技术Docker教程:Docker Hub停用帐户或组织
- ·苹果公司即将启动员工COVID-19疫苗接种计划
- ·云计算核心技术Docker教程:Docker Hub覆盖构建和定制构建阶段挂钩
- ·Facebook再次抨击苹果公司:希望欧盟新规为苹果设定界限
- ·标签: 豆包大模型 Seedance 火山引擎 Agent
- ·寒武纪成功适配 DeepSeek-V4,推动 AI 模型高效运行
- ·告别旧Siri!曝苹果2026年两次AI大爆发:iOS26.4将迎来“超级 Siri”
- ·微软支持澳大利亚针对谷歌和Facebook提出的媒体新规
