超长视频生成的新突破!LongVie 框架让创作无界限
在过去的两年中,视频生成技术经历了惊人的进步,尤其是短视频的创作。然而,制作超过一分钟的高质量、风格统一的超超长长视频仍然是一项巨大的挑战。对此,上海人工智能实验室联合南京大学、复旦大学、南洋理工大学 S-Lab 以及英伟达等机构视频,共同推出了 LongVie 框架,系统性解决了这一领域中的核心问题。
LongVie 的目标是让超长视频的生成变得更加可控生成和一致。团队发现,传统的视频生成模型在处理长视频时,常常面临时序不一致和视觉退化等难题。前者主要表现为画面细节与内的新容不连贯,后者则指随着视频时长的增加,画面颜色和清晰度的下降。
为了解决这些问题,LongVie 从 “控制信号” 和 “突破初始噪声” 两个方面入手。首先,团队提出了 “控制信号全局归一化” 策略,这意味着在生成视频时,不再只在单一片段内进行!L归一化,而是统一整个视频段的控制信号,从而提升跨片段的连贯性。其次,他们引入了 “统一噪声初始化” 策略,确保各个片on段共享同一初始噪声,这样可以从源头上减少不同片段之间的视觉漂移。
在解决视觉退化问题上,LongVie 采用了多gV模态精细控制方法。单一模态的控制常常无法提供稳定的约束,而 LongVie 结合了密集控制信号(如深度图)和稀疏控制信号ie(如关键点),并引入退化感知训练策略,使得模型在处理长视频时,能够保持更高的画质和细节。
此外,LongVie 还推出 框了 LongVGenBench,这是首个专为可控超长视频生成设计的基准数据集,包含100个超过1分钟的高分辨率视频架让,旨在推动该领域的研究与评测。根据定量指标和用户评测结果,LongVie 在多个评估上超越了现有技术,赢得了用户的高度创作偏好,达到了 SOTA(最先进技术)水平。
随着 LongVie 框架的问世,超长视频生成将迎来新的时代,创作者们将能够在无界更大的自由度下实现自己的创意。
项目地址:https://vchitect.github.io/LongVie-超长project/
- ·Andrej Karpathy评DeepSeek-OCR论文:图像输入可能成为大语言模型新方向
- ·英伟达重磅推出通用深度研究系统:定制化智能研究新纪元!
- ·标签: 千问App 通义千问 阿里巴巴 AI助手
- ·玫瑰痤疮形成的原因
- ·标签: 企业微信 老年人上网环境 过度营销 私域直播治理
- ·标签: 米哈游 UE5 奇幻大作 预研产品
- ·数据仓库技术教程:万字详解整个数据仓库建设体系
- ·智能机器人:衡量高端制造水平的重要标志
- ·云计算核心技术Docker教程:启用IPv6支持
- ·重磅!挑战谷歌的AI新星Perplexity估值飙升,两月内再获2亿美元巨额融资
- ·企业如何聪明使用 AI,降低成本与提高性能的五大策略
- ·麻省理工学院发布无声沟通 AI 设备 AlterEgo,无需说话就能交流
- ·标签: 趣店 财报 末端配送 现金贷
- ·标签: 虎牙直播 游戏
- ·通义千问APP更名为通义APP,免费开放全栈能力
- ·运动巨头锐步跨界健康科技:首款智能戒指发布,售价249美元,主打压力与体温监测
- ·Facebook测试消息推送功能,告知用户苹果隐私设置更改
- ·巨额投资难解信任危机:Meta与Scale AI合作现裂痕
- ·OpenAI放大招!GPT-Realtime语音模型上线,支持图像输入,AI交互要逆天了!
- ·OpenAI直播大秀语音指挥AI自动编程,也就比老罗TNT强亿点点
- ·BBC调查:网络诈骗团伙利用 AI 制造虚假大屠杀图像,扰乱历史记忆
- ·数据中心节能减排迫在眉睫,液冷技术与AI能效管理成两大法宝
- ·标签: 康宁 Meta Springboard计划 数据中心
- ·浜戣�绠楀紑鍙戯細Python鍐呯疆鍑芥暟-type() 鍑芥暟璇﹁В
- ·荷花叶有什么功效和作用
- ·标签: 蔚来 蔚来工坊 FL Fellow
