一种姿态运动的数字同步方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种姿态运动的数字同步方法、装置、设备及存储介质，方法包括：获取视频流，并将所有图像帧按照时间顺序逐一输入至姿态评估模型，输出3D旋转角信息及形态信息，将每一图像帧中目标对象的3D旋转角信息转换为骨骼点旋转信息，基于目标对象的形态信息，构建虚拟对象，按照时间顺序，根据各图像帧对应的骨骼点旋转信息，驱动虚拟对象中的各骨骼点旋转。可见，姿态评估模型能够按照时序对每一图像的3D信息进行分析，所输出的每一图像帧的3D旋转角信息及形态信息考虑到了该图像帧的时序信息，因此所输出的3D旋转角信息及形态信息更合理性和更高准确率，从而实现高精度同步对象的姿态运动。对象的姿态运动。对象的姿态运动。

【技术实现步骤摘要】
一种姿态运动的数字同步方法、装置、设备及存储介质


[0001]本申请涉及数字人肢体驱动
，更具体的说，是涉及一种姿态运动的数字同步方法、装置、设备及存储介质。

技术介绍

[0002]随着虚拟数字人技术的快速发展，目前已有多个虚拟数字人形象在各大媒体和平台展示。在虚拟数字人技术实现上，整个虚拟数字人的内容场景的呈现需要多个方面的技术支持，如与真人之间的交互，捕捉真人的动作，以保证用户对数字同步的沉浸式体验。如今捕捉真人动作的动捕系统具备高精度的传感器，高精度捕获用户对象的动作细节，并通过虚拟数字人形象高精度还原用户的动作。但动捕系统设备昂贵且搭建流程复杂，不具备环境普适性，对此有研究人员通过训练得到的姿态评估模型对真人的动作姿态进行评估。
[0003]然而，目前的姿态评估模型对用户动作姿态的视频数据的评估是逐帧图像地评估，输出结果仅针对于当前帧本身的输入信息，因此在输出的各个结果组合并渲染的视频数据中，用户的动作姿态中呈现较多不合理性且准确率低下，不能准确同步用户对象的姿态运动。

技术实现思路

[0004]鉴于上述问题，提出了本申请以便提供一种姿态运动的数字同步方法、装置、设备及存储介质，以通过姿态评估模型高精度同步对象的姿态运动。
[0005]为了实现上述目的，现提出具体方案如下：一种姿态运动的数字同步方法，包括：获取包含目标对象的信息的视频流；将所述视频流中的所有图像帧，按照时间顺序逐一输入至已训练好的姿态评估模型，输出每一图像帧中所述目标对象的3D旋转角信息及形态信息；将每一图像帧中所述目标对象的3D旋转角信息转换为骨骼点旋转信息；基于各所述图像帧对应的所述目标对象的形态信息，构建虚拟对象，所述虚拟对象包含与每一所述骨骼点旋转信息对应的骨骼点；按照各所述图像帧的时间顺序，根据各所述图像帧对应的所述骨骼点旋转信息，驱动所述虚拟对象中的各骨骼点旋转，以模拟所述目标对象在所述视频流中的姿态运动。
[0006]可选的，所述姿态评估模型的建立过程，包括：通过摄像的方式获取具备时序的图像帧序列，所述图像帧序列包括若干样本图像；计算每一样本图像的损失权重系数；根据每一样本图像的损失权重系数，计算该样本图像的总损失函数；以所述图像帧序列作为训练样本，在各所述样本图像的总损失函数的约束下，对预先建立的3D旋转角识别模型进行训练，得到姿态评估模型。
[0007]可选的，所述计算每一样本图像的损失权重系数，包括：按照所述图像帧序列的时序，选取各样本图像的对应位置的像素，组建像素时序列，并对每一像素时序列进行快速傅里叶变换，得到频谱图；确定每一像素时序列的频谱图中的高频谱段；针对每一高频谱段，对所述高频谱段进行反傅里叶变换，得到若干高频像素，并确定每一样本图像中的高频像素；根据每一样本图像中的各高频像素，确定该样本图像的损失权重系数。
[0008]可选的，所述根据每一样本图像的损失权重系数，计算该样本图像的总损失函数，包括：通过预先建立的3D旋转角识别模型对每一样本图像进行识别，得到该样本图像的识别结果；基于每一样本图像的识别结果，确定该样本图像的对象形状损失函数、3D旋转角损失函数、摄像损失函数、对象投影损失函数以及3D骨骼点损失函数；根据每一样本图像的对象形状损失函数、3D旋转角损失函数、摄像损失函数、对象投影损失函数、3D骨骼点损失函数以及所述损失权重系数，确定该样本图像的总损失函数。
[0009]可选的，所述通过预先建立的3D旋转角识别模型对每一样本图像进行识别，得到该样本图像的识别结果，包括：通过预先建立的3D旋转角识别模型识别每一样本图像，得到该样本图像中的对象相对于预设标准对象的对象形态参数，以及该样本图像中的对象相对于所述预设标准对象的3D旋转角参数，以及拍摄该样本图像的摄像参数。
[0010]可选的，每一样本图像的识别结果为该样本图像中的对象相对于预设标准对象的对象形态参数；所述基于每一样本图像的识别结果，确定该样本图像的对象形状损失函数，包括：根据每一所述样本图像的所述对象形态参数，与该样本图像的对象形状标注值之间的差异关系，确定对象形状损失函数。
[0011]可选的，每一样本图像的识别结果为该样本图像中的对象相对于所述预设标准对象的3D旋转角参数；所述基于每一样本图像的识别结果，确定该样本图像的3D旋转角损失函数，包括：根据每一所述样本图像的所述3D旋转角参数，与该样本图像的3D旋转角参数标注值之间的差异关系，确定3D旋转角参数损失函数。
[0012]可选的，每一样本图像的识别结果为拍摄该样本图像的摄像参数；所述基于每一样本图像的识别结果，确定该样本图像的摄像损失函数，包括：根据每一所述样本图像的所述摄像参数，与该样本图像的摄像标注值之间的差异关系，确定摄像损失函数。
[0013]可选的，每一样本图像的识别结果为该样本图像中的对象相对于预设标准对象的对象形态参数，以及该样本图像中的对象相对于所述预设标准对象的3D旋转角参数，以及拍摄该样本图像的摄像参数；所述基于每一样本图像的识别结果，确定该样本图像的对象投影损失函数，包括：针对每一样本图像，根据所述样本图像的所述对象形态参数、所述样本图像的所
述3D旋转角参数，以及所述样本图像的所述摄像参数，对预先建立的对象基础模型进行线性蒙皮渲染，得到渲染结果；将每一样本图像对应的渲染结果进行2D投影，得到投影结果；根据每一样本图像对应的投影结果中的对象区域，与该样本图像中预先标注的对象区域之间的差异关系，确定对象投影损失函数。
[0014]可选的，所述基于每一样本图像的识别结果，确定该样本图像的3D骨骼点损失函数，包括：根据每一样本图像对应的投影结果中的3D骨骼点投影位置，与该样本图像中预先标注的2D骨骼点位置之间的差异关系，确定3D骨骼点损失函数。
[0015]可选的，所述3D旋转角识别模型包括2.5D关键点检测模型和2.5D转3D旋转角模型；所述通过预先建立的3D旋转角识别模型识别每一所述样本图像，得到该样本图像中的对象相对于预设标准对象的对象形态参数，该样本图像中的对象相对于所述预设标准对象的3D旋转角参数以及拍摄该样本图像的摄像参数，包括：将每一所述样本图像输入至所述2.5D关键点检测模型，输出得到该样本图像的关键点的2.5D坐标、该关键点的热图，以及该关键点的深度图；针对每一所述样本图像，将该样本图像的对应的关键点的2.5D坐标、该关键点的热图、该关键点的深度图，以及所述图像帧序列中排序于该样本图像的时序之前的各样本图像的关键点的2.5D坐标，输入至预先建立的2.5D转3D旋转角模型，输出得到该样本图像中的对象相对于所述预设标准对象的对象形态参数、3D旋转角参数以及拍摄该样本图像的摄像参数。
[0016]可选的，在所述将每一样本图像输入至所述2.5D关键点检测模型，输出得到该样本图像的关键点的2.5D坐标之后，还包括：将每一样本图像的关键点的2.5D坐标缓存。
[0017]可选的，所述按照各所述图像帧的时间顺序，根据各所述图像帧对应的所述骨骼点旋转信息，驱动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿态运动的数字同步方法，其特征在于，包括：获取包含目标对象的信息的视频流；将所述视频流中的所有图像帧，按照时间顺序逐一输入至已训练好的姿态评估模型，输出每一图像帧中所述目标对象的3D旋转角信息及形态信息；将每一图像帧中所述目标对象的3D旋转角信息转换为骨骼点旋转信息；基于各所述图像帧对应的所述目标对象的形态信息，构建虚拟对象，所述虚拟对象包含与每一所述骨骼点旋转信息对应的骨骼点；按照各所述图像帧的时间顺序，根据各所述图像帧对应的所述骨骼点旋转信息，驱动所述虚拟对象中的各骨骼点旋转，以模拟所述目标对象在所述视频流中的姿态运动。2.根据权利要求1所述的方法，其特征在于，所述姿态评估模型的建立过程，包括：通过摄像的方式获取具备时序的图像帧序列，所述图像帧序列包括若干样本图像；计算每一样本图像的损失权重系数；根据每一样本图像的损失权重系数，计算该样本图像的总损失函数；以所述图像帧序列作为训练样本，在各所述样本图像的总损失函数的约束下，对预先建立的3D旋转角识别模型进行训练，得到姿态评估模型。3.根据权利要求2所述的方法，其特征在于，所述计算每一样本图像的损失权重系数，包括：按照所述图像帧序列的时序，选取各样本图像的对应位置的像素，组建像素时序列，并对每一像素时序列进行快速傅里叶变换，得到频谱图；确定每一像素时序列的频谱图中的高频谱段；针对每一高频谱段，对所述高频谱段进行反傅里叶变换，得到若干高频像素，并确定每一样本图像中的高频像素；根据每一样本图像中的各高频像素，确定该样本图像的损失权重系数。4.根据权利要求2所述的方法，其特征在于，所述根据每一样本图像的损失权重系数，计算该样本图像的总损失函数，包括：通过预先建立的3D旋转角识别模型对每一样本图像进行识别，得到该样本图像的识别结果；基于每一样本图像的识别结果，确定该样本图像的对象形状损失函数、3D旋转角损失函数、摄像损失函数、对象投影损失函数以及3D骨骼点损失函数；根据每一样本图像的对象形状损失函数、3D旋转角损失函数、摄像损失函数、对象投影损失函数、3D骨骼点损失函数以及所述损失权重系数，确定该样本图像的总损失函数。5.根据权利要求4所述的方法，其特征在于，所述通过预先建立的3D旋转角识别模型对每一样本图像进行识别，得到该样本图像的识别结果，包括：通过预先建立的3D旋转角识别模型识别每一样本图像，得到该样本图像中的对象相对于预设标准对象的对象形态参数，以及该样本图像中的对象相对于所述预设标准对象的3D旋转角参数，以及拍摄该样本图像的摄像参数。6.根据权利要求4所述的方法，其特征在于，每一样本图像的识别结果为该样本图像中的对象相对于预设标准对象的对象形态参数；所述基于每一样本图像的识别结果，确定该样本图像的对象形状损失函数，包括：
根据每一所述样本图像的所述对象形态参数，与该样本图像的对象形状标注值之间的差异关系，确定对象形状损失函数。7.根据权利要求4所述的方法，其特征在于，每一样本图像的识别结果为该样本图像中的对象相对于所述预设标准对象的3D旋转角参数；所述基于每一样本图像的识别结果，确定该样本图像的3D旋转角损失函数，包括：根据每一所述样本图像的所述3D旋转角参数，与该样本图像的3D旋转角参数标注值之间的差异关系，确定3D旋转角参数损失函数。8.根据权利要求4所述的方法，其特征在于，每一样本图像的识别结果为拍摄该样本图像的摄像参数；所述基于每一样本图像的识别结果，确定该样本图像的摄像损失函数，包括：根据每一所述样本图像的所述摄像参数，与该样本图像的摄像标注值之间的差异关系，确定摄像损失函数。9.根据权利要求4所述的方法，其特征在于，每一样本图像的识别结果为该样本图像中的对象相对于预设标准对象的对象形态参数，以及该样本图像中的对象相对于所述预设标准对象的3D旋转角参数，以及拍摄该样本图像的摄像参数；所述基于每一样本图像的识别结果，确定该样本图像的对象投影损失函数，包括：针对每一样本图像，根据所述样本图像的所述对象形态参数、所述样本图像的所述3D旋转角参数，以及所述样本图像的...

【专利技术属性】
技术研发人员：张顺四，庞国良，徐列，张强，
申请(专利权)人：广州趣丸网络科技有限公司，
类型：发明
国别省市：