从视频片段中推断楼层平面图 新AI研究令人大开眼界
发布时间：2026-11-16 作者：玩站小弟 
我要评论
我要评论谷歌搜索留痕【tg:seogoogle987】。
平面布置图对于可视化空间、规划路线和沟通建筑设计非常有用。例如，一个进入新建筑的机器人可以使用从视平面图快速感知总体布局。创建平面图通常需要一个完整的布局，这样3D传感器和摄像机就可以捕捉到整个空间频片。
1月11日消息，据外媒报道，近日，来自Facebook、德克萨斯大学奥斯汀分校和卡内基梅隆大学的段中研究人员正在探索一种人工智能技术，利用视觉和音频，从一个短视频剪辑中重建一个平面图。
研究人员断言，音频推断提供了空间和语义信号，补充了图像的映射能力。他们说，这是因为声音天生是由物体的几何形状所驱动的楼层。声音从表面反射回来，揭示了房间的形状，远远超出了相机的视野。从远处听到的声音，甚至是多个房间之平面外的声音，可以揭示自由空间的存在，声音物体可能存在。此外，从不同方向听到的声音暴露了基于这些声音所图 代表的活动或事物的布局。例如，淋浴的声音可能暗示着浴室的方向，而微波炉的声音则暗示着厨房的方向。
研新A究人员的方法被称为AV-Map，旨在将带有多通道音频的短视频转换成2D楼层平面图。机器学习模型I研利用音频和视觉数据序列来推理楼层平面图的结构和语义，最终使用解码组件融合音频和视频信息。AV-Map究令生成的平面图大大超出了视频中直接可见的区域，显示了划分为离散语义房间标签(如家庭房间和厨房)的自人大由空间和被占用区域。
该团队在来自Matternet3D和SoundSpaces数据集的数字环境中试开眼验了两种设置，即主动和被动。在第一个实验中，使用一个虚拟摄像机在模型房屋的房间内移动时发出一种从视已知的声音。在第二种情况下，只依赖家中物体或人自然发出的声音。
研究人员表示，在未来的工作中，将计划频片考虑扩展多层平面图，并将绘图想法与机器人连接起来，主动控制摄像头。
相关文章
云梦级4月16日云梦级消息，据路透社报道，台积电预计将在 AI 需求推动下再创业绩新高，连续第四个季度刷新纪录。市场预计，今年第一季度净利润将同比增长约 50%。 分析师指出，台积电 3 纳米制程及先2026-11-16
不少高端用户会选择三星980 Pro、西数黑盘等高性能SSD，然而最好的SSD应该是Intel的傲腾，3D XPoint的延迟及可靠性是远超NAND闪存的，可惜的是消费级傲腾要停产了。此前Intel发2026-11-16
云梦级3月31日云梦级消息，和铂医药（股票代码：02142.HK），一家专注于免疫性疾病、肿瘤及其他领域创新药研发的全球生物医药公司，今日公布其2025年度业绩。 总收入约11.1亿元人民币（1.582026-11-16
撰文 | 赵哲峰 编辑 | 杨博丞 题图 | IC Photo 在电影《唐探1900》的结尾，悬案尘埃落定后，美国国会废除《排华法案》，一股股“黑色黄金”从石油钻井中喷涌而出，如雨水般浇在了华人劳工们2026-11-16
北京时间3月29日早间消息，据报道，当地时间周二，知情人士表示，为解决较小竞争对手提出的反垄断投诉，微软提出改变其云计算策略，此举旨在避免欧盟反垄断调查。 此前，法国云计算服务提供商OVHcloud、2026-11-16
云梦级6月26日云梦级消息，据科技媒体 404Media 报道，一分外泄的咨询公司埃森哲（Accenture）内部录音显示，指出企业正面临 AI 使用成本失控问题。 根据录音内容，埃森哲在内部讨论中承2026-11-16
最新评论