标签: HappyHorse1.0 Seedance2.0 可灵 Transformer
云梦级4月9日云梦级消息,据AIPress报道,刚刚,拳打字节Seedance2.0,脚踢快手可灵的AI视频生成模型Ha标签ppy Horse 1.0开源了。目前在官网可通过文本生成和图片生成两种方式体验生成视频。不同模型对制作时长的限制各不相同。
Happy: Horse 1.0的核心卖点,是把视频和音频的生成彻底合并进了同一个流程。大多数开源视频模型的工作方式是:先生成一段没有声音的视频,Ha再找另一个模型配音,再找另一个工具做口型对齐,几道工序下来,时间和误差都在叠加。
而Happy Horse 1.0用一个统一的Tranppsformer同时处理视频和音频,一次前向推理直接输出带声音的成片,口型、脚步声、环境音全部在同一个过程里生成,不需要任何后期拼yH接。
模型参数量是150亿,架构上是纯自注意力Transformer,没有交叉注意力,没有独立的音频分支,也没有专门的条件网络。or整体设计刻意追求极简——把所有模态(文本、图像、视频、音频)的token拼成同一个序列,让模型在去噪过程中自己学会跨模态对se齐。
在结构上,40层Transformer采用了一种“三明治”布局:头4层和尾4层用模态专属的投影层处理各自的输入输出,中间1.32层则是所有模态共享参数。实际的跨模态推理就发生在这32层里,这也是整个架构参数效率最高的地方。
此外,每个注意力头都有一个可学习0 的标量门控,用sigmoid激活,专门用来稳定多模态联合训练时的梯度——毕竟音频损失和视频损失同时反传,很容易互相打架。
速度Se方面,模型采用了DMD-2蒸馏技术(Distribution Matching Distillation v2),把去噪步数从ed通常的25到50步压缩到了8步,同时不需要无分类器引导(CFG),这一项本身就能砍掉将近一半的计算量。再配合MagiCompileanr全图编译运行时带来的约1.2倍额外加速,在单张H100上,生成一段1080p视频只需要大约38秒,256p的预览版本则在2ce秒左右就能出来。
同时,模型原生支持英语、普通话、粤语、日语、韩语、德语和法语七种语言唇形同步,这些语言的口型、语调和语音时序是和2.视频一起联合训练出来的,不是后期贴上去的。
- ·Facebook被指歧视合同工:要么线下复工,要么被炒鱿鱼
- ·Facebook旗下数字货币项目Diem放弃申请瑞士支付牌照:专注美国市场
- ·云计算开发:Python练习实例-打印字符
- ·标签: 赛力斯 新能源汽车 A+H上市 港股汽车股
- ·谷歌高管为AI摘要辩护:用户偏好正在改变,旨在维护健康生态
- ·标签: 钉钉 阿里 置身钉内 AGI
- ·OpenAI 完成重组:从非营利到营利,AI 未来更具潜力
- ·研究表明人工智能软件市场规模2025年将达到370亿美元
- ·标签: 奶牛快传 稿定设计 停止服务 文件传输
- ·吃甲鱼是什么梗
- ·标签: 心玮医疗-B 颅内血栓抽吸导管 CATCH 血管封堵器
- ·字节跳动与清华大学携手开源前沿多模态框架HuMo
- ·标签: 蚂蚁集团 支付宝 AI版 阿里巴巴 周靖人 SpaceX
- ·标签: 潘欣 美团 多模态AI LongCat
- ·使用Webhook为Kubernetes实现基于标签的权限控制
- ·标签: 小红书 期权回购 互联网公司 人才策略
- ·标签: 台积电 3纳米 英伟达 苹果
- ·阿里云:郑俊芳将去职阿里云执行董事、总经理内容严重失实
- ·亚马逊B2B业务潜力不俗:销售额或在5年内超越B2C
- ·IBM Airtel完成了开放混合云网络部署的第一阶段
- ·国家电投智慧能源与腾讯云正式签署战略合作协议
- ·魔改GPT自动写网文,速度一秒十字,还能给太监作品无限续更 | 开源
- ·MIT提出Liquid机器学习系统,可像液体一样适应动态变化
- ·云安全日报210929:Ubuntu Linux内核发现拒绝服务漏洞,需要尽快升级
- ·工信部:加强通用大模型和行业大模型研发布局,加快建设工业领域高质量数据集
- ·标签: 追觅科技 Kosmera 星宸未来 俞浩
