一种基于第一人称视频的三维人-物体交互元素预测方法技术

技术编号:44639809 阅读:15 留言:0更新日期:2025-03-17 18:32
本发明专利技术公开了一种基于第一人称视角视频的三维人‑物体交互元素预测方法,其步骤包括:1、提取第一人称视频的特征、物体的点云特征和头部运动特征;2、计算物体点云的交互概念特征;3、计算主体交互意图特征;4、解码物体可供性、人体接触特征和交互语义;5、构建损失监督函数并训练。本发明专利技术综合考虑第一人称交互中的主体交互意图和客体交互概念之间的关联性,从而能准确预测第一人称视角下三维人‑物体交互元素。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域,具体的说是一种基于第一人称视频的三维人-物体交互元素预测方法


技术介绍

1、理解三维人物交互的关系旨在捕获三维空间中发生交互的人和物体的语义共现性和几何兼容性,人-物体交互理解旨在挖掘人类与物体之间的共现关系和交互属性。对于第一人称的交互,不仅需要捕捉交互语义,还需要了解交互在空间中具体发生的位置,例如人体接触和物体的可供性,这同样至关重要。精确划分空间区域在许多应用中具有关键作用,例如在具身ai、图形交互建模、机器人操控和增强/虚拟现实(ar/vr)中的场景交互。大多数现有方法将人和物体分开估计接触或可供性区域,捕捉交互区域的一个方面,但忽略了交互方之间的协同性质。这些方法划分了物体应被操作的区域,而没有具体指出主体用于执行该操作的区域,反之亦然。这一疏漏限制了其在塑造最终交互中的有效性。一些研究探索了交互双方之间的相关性,以共同估计主体和物体的交互区域,其中交互方的观测至关重要,不论是第三人称视角的外观还是由主体和物体几何结构形成的兼容结构。然而,第一人称视角中对交互方的观测是不完整的,例如,当坐在椅子上或伴随头部旋转与本文档来自技高网...

【技术保护点】

1.一种基于第一人称视角视频的三维人-物体交互元素预测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于第一人称视角视频的三维人-物体交互元素预测方法,其特征在于,步骤2包括以下步骤:

3.根据权利要求2所述的一种基于第一人称视角视频的三维人-物体交互元素预测方法,其特征在于,步骤3包括以下步骤:

4.根据权利要求3所述的一种基于第一人称视角视频的三维人-物体交互元素预测方法,其特征在于,步骤5包括以下步骤:

5.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1-4中任一所述三维人-...

【技术特征摘要】

1.一种基于第一人称视角视频的三维人-物体交互元素预测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于第一人称视角视频的三维人-物体交互元素预测方法,其特征在于,步骤2包括以下步骤:

3.根据权利要求2所述的一种基于第一人称视角视频的三维人-物体交互元素预测方法,其特征在于,步骤3包括以下步骤:

4.根据权利要求3所述的一种基于第一人称视角视频的三维人-物体交互元素预测方...

【专利技术属性】
技术研发人员:查正军翟伟曹洋杨雨航
申请(专利权)人:中国科学技术大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1