【技术实现步骤摘要】
本专利技术属于计算机三维动画领域，具体涉及一种面向单目rbg视频的人体运动重定向方法。
技术介绍
1、当前，计算机技术在数字媒体领域得到广泛应用，尤其在影视、广告和游戏等领域，通过建立3d人物模型并制作动画成为业界常见的实践。一般情况下，制作人物动画的流程包括人物建模、根据建模结果建立人物骨骼并与模型进行绑定、人物动画的制作；在人物动画的制作阶段中，动画师需要逐帧地调整人物关节的位置、旋转信息，并设置变化曲线，以实现流畅的动画效果。随着动画的复杂性增加，这一过程的时间成本也逐渐升高。为了应对这一挑战，业界普遍采用动作捕捉技术(motion capture，简称mo-cap)。传统的商业动作捕捉系统要求准备大型场地和专业设备，动捕演员需穿戴特制的动捕服，上面标有反光材料，以便多个光学传感器捕捉这些标记的三维位置信息，最终通过计算机计算得出动捕演员的动作。
2、动作捕捉系统通常需要投入昂贵的专业设备和软件资源，包括传感器、高清摄像机、计算机设备以及专业的动作捕捉软件。这使得动作捕捉技术对于个人用户或小型团队来说成本过高，使得其应用受到一定限制。另外，搭建和运行动作捕捉系统需要一定的技术知识和经验，例如设置传感器、校准摄像机、数据处理等，这可能对一般用户或小型团队的使用构成一定的挑战。此外，动作捕捉系统通常需要大型的空间来进行动作捕捉，这对于在有限空间内进行动作捕捉的应用来说可能是一个限制因素，特别是在一些特殊场景或现场拍摄中。因此，传统动捕系统受到对场地和设备的依赖，导致昂贵的资金投入，限制了其普及度。在这种情况下，基于
3、然而，目前的三维人体姿态估计技术主要关注于对人体姿态的估计，而忽略了一个关键的应用问题，即动画复用。在实际的3d角色动画制作中，许多动画动作，例如走路、跑步、跳跃等，是可以重复利用的，不同3d人物骨骼结构的差异是动画复用的一个巨大挑战，但传统的运动重定向方法是在姿态估计完成后进行，且其输出只包含位置信息，缺少关节旋转信息，其重定向结果存在一定的误差，效果并不理想。
4、综上所述，亟需一种新的人体运动重定向方法，以提高人体运动重定向结果的准确性，进而增加动画的流畅性。
技术实现思路
1、针对现有技术存在的不足，本专利技术提出了一种面向单目rbg视频的人体运动重定向方法，该方法包括：从单目rbg视频中获取人体运动的二维关节点序列和重定向目标骨骼信息；将二维关节点序列和重定向目标骨骼信息输入到训练好的动作重定向模型中，得到三维重定向结果；
2、动作重定向模型的训练过程包括：
3、s1：从单目rbg视频中获取人体运动的二维关节点序列和重定向目标骨骼信息；
4、s2：将二维关节点序列和重定向目标骨骼信息输入到全连接层进行处理，得到高维二维关节点特征和重定向目标骨骼特征；
5、s3：将重定向目标骨骼特征和添加空间位置编码后的高维二维关节点特征输入到双流重定向transformer模块进行处理，得到聚合特征；
6、s4：将聚合特征输入到全连接层进行处理，得到三维动作特征；
7、s5：将三维动作特征输入到回归头进行处理，得到三维重定向动作结果；
8、s6：计算模型总损失并根据模型总损失调整模型参数，得到训练好的动作重定向模型。
9、优选的，双流重定向transformer模块由多个双流重定向transformer子模块堆叠而成；双流重定向transformer子模块包括空间transformer模块、时间transformer模块和重定向时空transformer模块；空间transformer模块和时间transformer模块串联；
10、将时间transformer模块和重定向时空transformer模块的输出进行自适应融合，得到双流重定向transformer子模块的输出；后一个双流重定向transformer子模块中空间transformer模块的输入为前一个双流重定向transformer子模块的输出，后一个双流重定向transformer子模块中重定向时空transformer模块的输入为重定向目标骨骼特征和前一个双流重定向transformer子模块的输出；
11、初始双流重定向transformer子模块的输入为重定向目标骨骼特征和添加空间位置编码后的高维二维关节点特征，最后一个双流重定向transformer子模块的输出为聚合特征。
12、进一步的，空间transformer模块和所述时间transformer模块结构相同，空间transformer模块与时间transformer模块均包括：第一层归一化层、多头自注意力层、第二层归一化层和多层感知机；
13、第一层归一化层的输出为多头自注意力层的输入，多头自注意力层的输出与第一层归一化层的输入进行残差连接后输入到第二层归一化层，第二层归一化层的输出为多层感知机的输入，多层感知机的输出与第二层归一化层的输入进行残差连接，得到模块的输出。
14、进一步的，重定向时空transformer模块包括两个编码器、批量归一化层、多层感知器、时间transformer模块和解码器；
15、两个编码器的输出进行自适应融合后输入到批量归一化层，批量归一化层的输出为多层感知器的输入，多层感知器的输出与自适应融合后的特征进行残差连接，将残差连接结果进行变形，变形结果输入到时间transformer模块，解码器对时间transformer模块的输出进行处理，得到重定向时空transformer模块的输出。
16、进一步的，编码器由2个连续的卷积单元构成，每个卷积单元由骨骼卷积层、leakyrelu激活函数和骨骼池化层组成。
17、进一步的，骨骼卷积层表示为：
18、
19、其中，convi表示第i个关节的卷积输出，vid表示第i个关节的邻居关节集合，fj表示第j个关节的特征，wji表示第j个关节对于关节i的卷积核的权重参数，表示第j个关节对于关节i的卷积核的偏置。
20、进一步的，解码器由2个连续的卷积单元构成，每个卷积单元由骨骼反池化层、leaky relu激活函数和骨骼卷积层组成。
21、优选的，计算模型总损失的公式为：
22、
23、其中，l表示模型总损失，t本文档来自技高网...
【技术保护点】
1.一种面向单目RBG视频的人体运动重定向方法，其特征在于，包括：从单目RBG视频中获取人体运动的二维关节点序列和重定向目标骨骼信息；将二维关节点序列和重定向目标骨骼信息输入到训练好的动作重定向模型中，得到三维重定向结果；
2.根据权利要求1所述的一种面向单目RBG视频的人体运动重定向方法，其特征在于，所述双流重定向Transformer模块由多个双流重定向Transformer子模块堆叠而成；双流重定向Transformer子模块包括空间Transformer模块、时间Transformer模块和重定向时空Transformer模块；空间Transformer模块和时间Transformer模块串联；
3.根据权利要求2所述的一种面向单目RBG视频的人体运动重定向方法，其特征在于，所述空间Transformer模块和所述时间Transformer模块结构相同，空间Transformer模块与时间Transformer模块均包括：第一层归一化层、多头自注意力层、第二层归一化层和多层感知机；
4.根据权利要求2所述的一种面向单目RBG视频的人体运
5.根据权利要求4所述的一种面向单目RBG视频的人体运动重定向方法，其特征在于，所述编码器由2个连续的卷积单元构成，每个卷积单元由骨骼卷积层、Leaky ReLU激活函数和骨骼池化层组成。
6.根据权利要求5所述的一种面向单目RBG视频的人体运动重定向方法，其特征在于，骨骼卷积层表示为：
7.根据权利要求4所述的一种面向单目RBG视频的人体运动重定向方法，其特征在于，所述解码器由2个连续的卷积单元构成，每个卷积单元由骨骼反池化层、Leaky ReLU激活函数和骨骼卷积层组成。
8.根据权利要求1所述的一种面向单目RBG视频的人体运动重定向方法，其特征在于，计算模型总损失的公式为：
...【技术特征摘要】
1.一种面向单目rbg视频的人体运动重定向方法，其特征在于，包括：从单目rbg视频中获取人体运动的二维关节点序列和重定向目标骨骼信息；将二维关节点序列和重定向目标骨骼信息输入到训练好的动作重定向模型中，得到三维重定向结果；
2.根据权利要求1所述的一种面向单目rbg视频的人体运动重定向方法，其特征在于，所述双流重定向transformer模块由多个双流重定向transformer子模块堆叠而成；双流重定向transformer子模块包括空间transformer模块、时间transformer模块和重定向时空transformer模块；空间transformer模块和时间transformer模块串联；
3.根据权利要求2所述的一种面向单目rbg视频的人体运动重定向方法，其特征在于，所述空间transformer模块和所述时间transformer模块结构相同，空间transformer模块与时间transformer模块均包括：第一层归一化层、多头自注...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。