从视频片段中推断楼层平面图 新AI研究令人大开眼界
平面布置图对于可视化空间、规划路线和沟通建筑设计非常有用。例如,一个进入新建筑的机器人可以使用从视平面图快速感知总体布局。创建平面图通常需要一个完整的布局,这样3D传感器和摄像机就可以捕捉到整个空频片间。
1月11日消息,据外媒报道,近日,来自Facebook、德克萨斯大学奥斯汀分校和卡内基梅隆大学的段中研究人员正在探索一种人工智能技术,利用视觉和音频,从一个短视频剪辑中重建一个平面图。
研究人员断言,推断音频提供了空间和语义信号,补充了图像的映射能力。他们说,这是因为声音天生是由物体的几何形状所驱动楼层的。声音从表面反射回来,揭示了房间的形状,远远超出了相机的视野。从远处听到的声音,甚至是多个房间之外的声平面音,可以揭示自由空间的存在,声音物体可能存在。此外,从不同方向听到的声音暴露了基于这些声音所代表的活动图 或事物的布局。例如,淋浴的声音可能暗示着浴室的方向,而微波炉的声音则暗示着厨房的方向。
研究人员的方法被称新A为AV-Map,旨在将带有多通道音频的短视频转换成2D楼层平面图。机器学习模型利用音频和视觉数据序I研列来推理楼层平面图的结构和语义,最终使用解码组件融合音频和视频信息。AV-Map生成的平面图大大究令超出了视频中直接可见的区域,显示了划分为离散语义房间标签(如家庭房间和厨房)的自由空间和被占用区人大域。
该团队在来自Matternet3D和SoundSpaces数据集的数字环境中试验了两种设置,即主动开眼和被动。在第一个实验中,使用一个虚拟摄像机在模型房屋的房间内移动时发出一种已知的声音。在第二种情况下从视,只依赖家中物体或人自然发出的声音。
研究人员表示,在未来的工作中,将计划考虑扩展多层平面图,并将绘图想频片法与机器人连接起来,主动控制摄像头。
- ·标签: 苹果 Enchanté 企业助手 Apple Intelligence
- ·标签: 青瓷游戏 迪士尼书境传奇 ARPPU 免费畅玩
- ·最近有什么绘画比赛
- ·标签: 优迅股份 科创板 芯片
- ·标签: 太合音乐集团 港交所上市 百度控股 AI音乐
- ·360发布全球首款L2-L4全栈智能体平台!政企AI转型迎来“开箱即用”时代
- ·哈佛法学生创办MarqVision获4800万美元融资 借助AI打击品牌侵权
- ·标签: 罗技 FY2026 财报 外设
- ·标签: 阿里巴巴 蔡崇信 马云 首席财务官
- ·标签: 小牛电动 电动滑板车 2026年一季度财报 国内销量
- ·标签: Temple Zomato 迪平德尔·戈亚尔 可穿戴设备
- ·MiniMax海螺AI首尾帧功能在网页版和APP双端正式上线
- ·云安全日报210804:IBM企业全面集成需求平台发现执行任意代码漏洞,需要尽快升级
- ·大数据对企业业务及未来的影响
- ·标签: Gemma4 谷歌 大模型 AI开源
- ·标签: 拉卡拉 天财商龙 支付业务 科技服务
- ·微软 Copilot 拥抱竞争:集成 Anthropic AI 模型,打破 OpenAI 独家地位
- ·腾讯视频推出 “AI 修复” 片单,经典影视作品重现4K 画质
- ·大数据分析会遇到哪些难题?
- ·标签: 追觅科技 俞浩 发疯式营销 清华高材生
- ·标签: LVMH MarcJacobs WHPGlobal G-III
- ·云计算核心技术Docker教程:Docker集群.将节点添加到群
- ·Salesforce 2022财年第一季度净利4.69亿美元 同比大增374%
- ·标签: 阿里通义千问 林俊旸 阿里巴巴 Chinese CLIP
- ·网宿科技宣布云计算业务EdgeRay爱捷云独立运营
- ·Meta推出AI视频生成平台Vibes,轻松创作和分享 AI 短视频
- ·IDC:2022上半年中国IT安全软件市场同比增长13.1%
- ·LiquidAI 推出 Liquid Nanos 系列轻量级 AI 模型,优化边缘设备应用
- ·标签: 英伟达 Nemotron3 GR00T AlphaFold GTC2026
- ·中国信通院:2024年中国人工智能产业规模将突破9000亿元
- ·Hive底层原理:Explain执行计划详解
- ·云计算开发:Python内置函数-hasattr()函数详解
- ·京东云联合毕马威发布《智慧网点与数字化营销运营白皮书》 场景建设成新趋势
- ·标签: 创维 松下 OLED电视 全球战略合作
- ·一键变身学习机!百度搜索推出AI伴学
- ·标签: 银发经济 淘宝 抖音 QuestMobile
