一种用于人人交互场景的三维人体反应生成方法与系统技术方案

技术编号:41133271 阅读:19 留言:0更新日期:2024-04-30 18:03
本发明专利技术公开了一种用于人人交互场景的三维人体反应生成方法与系统,涉及三维成像技术领域,主要包括步骤:通过扩散模型将动作反应方的人体反应,进行随机采样时间步长下的正向过程加噪;将条件输入和加噪后的人体反应分别由全连接层处理并拼接后获得最终表征;将随机采样时间步长和条件输入所对应的动作类别由全连接层处理并拼接,拼接结果与最终表征合并获得合并结果;将合并结果输入逆过程模型,在基于距离的双人动作表征损失函数约束,以及扩散模型损失函数对扩散模型的约束下进行训练;动作反应方人体反应的实时生成。本发明专利技术通过构建扩散模型和自注意力机制解码器结构的人体反应生成网络,获取人体实时反应结果,优化了可视化效果。

【技术实现步骤摘要】

本专利技术涉及三维成像,具体涉及一种用于人人交互场景的三维人体反应生成方法与系统


技术介绍

1、现有以人为中心的动作生成模型主要针对面向人与环境、物体的交互生成,即给定静态的环境/物体,生成出三维人与之真实合理的交互动作,要求充分适应和理解环境与物体的语义性和功能性。另一方面,人体动作生成技术主要针对给定动作描述生成一段连续真实的单人动作序列或多人交互动作序列。这些模型在游戏、增强现实/虚拟现实、人机交互、具身智能等各个领域发挥出重要作用。

2、然而,我们注意到,在一个片段只包含一个简单交互动作的情况下,人人交互片段通常表现为一个人发起动作,另一个人做出反应,现有的以人为中心的生成模型往往忽略了这种不对称性。首先,人和场景/物体交互生成的工作只考虑到静态的场景或物体,而动态的人人交互往往更加复杂,且对比来说,人人交互对于实时生成的要求更高;另一方面,现有的多人交互生成模型往往把发起动作的人和做出反应的人等价对待,忽略了交互的不对称性。


技术实现思路

1、为了在人人交互动作生成模型运行过程中更多的本文档来自技高网...

【技术保护点】

1.一种用于人人交互场景的三维人体反应生成方法,其特征在于,包括步骤:

2.如权利要求1所述的一种用于人人交互场景的三维人体反应生成方法,其特征在于,所述S1步骤中,交互数据是通过采集交互双方的动作序列视频数据集,并输入由人体姿态估计算法提取的SMPL-X人体参数模型进行获取。

3.如权利要求1所述的一种用于人人交互场景的三维人体反应生成方法,其特征在于,所述S3步骤具体包括如下步骤:

4.如权利要求1所述的一种用于人人交互场景的三维人体反应生成方法,其特征在于,所述S5步骤中,自注意解码器采用带方向的自注意力掩码机制。

>5.如权利要求1所...

【技术特征摘要】

1.一种用于人人交互场景的三维人体反应生成方法,其特征在于,包括步骤:

2.如权利要求1所述的一种用于人人交互场景的三维人体反应生成方法,其特征在于,所述s1步骤中,交互数据是通过采集交互双方的动作序列视频数据集,并输入由人体姿态估计算法提取的smpl-x人体参数模型进行获取。

3.如权利要求1所述的一种用于人人交互场景的三维人体反应生成方法,其特征在于,所述s3步骤具体包括如下步骤:

4.如权利要求1所述的一种用于人人交互场景的三维人体反应生成方法,其特征在于,所述s5步骤中,自注意解码器采用带方向的自注意力掩码机制。

5.如权利要求1所述的一种用于人人交互场景的三维人体反应生成方法,其特征在于,所述s6步骤中,双人动作表征损失函数表达式...

【专利技术属性】
技术研发人员:金鑫徐良曾文军晏轶超朱文瀚杨小康
申请(专利权)人:宁波东方理工大学暂名
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1