基于单视角的人体模型驱动方法及电子设备技术

本申请涉及三维重建技术领域，提供一种基于单视角的人体模型驱动方法及电子设备，基于单视角相机捕捉的人体运动过程中的图像，采用回归方式，估计人体参数化模型的骨架中各个骨骼节点间的姿态参数，以及人体参数化模型的形状参数，从而驱动标准人体参数化模型变形，得到与当前帧图像中目标对象姿态和体型一致的目标人体参数化模型，并对目标人体参数化模型的后脚跟进行实时跟踪，利用前后两帧图像中目标人体参数化模型的落地点间的平移向量，在三维空间中对目标人体参数化模型进行移动，从而在保证实时性的条件下，提高模型在三维空间中的驱动效果，解决由于单视角视频或图像缺乏深度信息导致的模型移动不准确的问题。度信息导致的模型移动不准确的问题。度信息导致的模型移动不准确的问题。

【技术实现步骤摘要】
基于单视角的人体模型驱动方法及电子设备


[0001]本申请涉及三维重建
，提供一种基于单视角的人体模型驱动方法及电子设备。

技术介绍

[0002]人体运动捕捉在人机交互、个人健康管理和人类行为理解等方面有着多种应用。随着计算机视觉技术的发展，目前，主要通过网络回归或者优化的方法，从单视角视频和图像中以运动学的方式捕捉准确人体姿态。
[0003]基于优化的方法是将观测数据和待驱动数据进行不断的拟合，使驱动后模型的骨骼数据和图像中观测的骨骼数据不断的接近获得最小误差，由于拟合过程是一个不断迭代的过程，所以基于优化的方法通常耗时较长。而基于回归的方法是基于深度学习的方法，输入人体参数化模型的数据和人体特征图估计出观测数据的人体姿态，该方法速度较快，适用于实时性较强的虚拟交互场景。
[0004]然而，基于回归的方法在估计全身的动作姿态时，使用单视角视频或图像，无法正确的估计出人体在三维空间中的深度信息，从而在模型驱动时，不能进行准确的移动，特别是在深度方向上。

技术实现思路

[0005]本申请实施例提供了一种基于单视角的人体模型驱动方法及电子设备，用于在保证实时性的条件下，提高模型驱动的准确性。
[0006]一方面，本申请实施例提供一种基于单视角的人体模型驱动方法，包括：
[0007]获取单视角相机连续采集的多帧包含目标对象全身的图像；
[0008]对当前帧图像进行语义分割，获得人体图像和人手图像，并编码出所述人体图像和所述人手图像各自对应的多尺度空间特征图；r/>[0009]将标准人体参数化模型的初始参数，以及所述人体图像和所述人手图像各自对应的多尺度空间特征图输入到姿态估计回归网络，分别获得人体驱动参数和人手驱动参数；
[0010]用所述人体驱动参数和所述人手驱动参数驱动所述标准人体参数化模型变形，得到目标人体参数化模型；
[0011]根据所述目标参数化模型的后脚跟区域内的网格顶点，确定所述目标人体参数化模型的落地点；
[0012]根据所述当前帧图像确定的落地点以及上一帧图像确定的落地点，驱动所述目标人体参数化模型运动。
[0013]另一方面，本申请实施例一种电子设备，包括处理器、存储器和显示屏，所述显示屏、所述存储器和所述处理器通过总线连接：
[0014]所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
[0015]获取单视角相机连续采集的多帧包含目标对象全身的图像；
[0016]对当前帧图像进行语义分割，获得人体图像和人手图像，并编码出所述人体图像和所述人手图像各自对应的多尺度空间特征图；
[0017]将标准人体参数化模型的初始参数，以及所述人体图像和所述人手图像各自对应的多尺度空间特征图输入到姿态估计回归网络，分别获得人体驱动参数和人手驱动参数；
[0018]用所述人体驱动参数和所述人手驱动参数驱动所述标准人体参数化模型变形，得到目标人体参数化模型；
[0019]根据所述目标参数化模型的后脚跟区域内的网格顶点，确定所述目标人体参数化模型的落地点；
[0020]根据所述当前帧图像确定的落地点以及上一帧图像确定的落地点，驱动所述目标人体参数化模型运动，并通过所述显示屏显示所述目标人体参数化模型。
[0021]另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的基于透明度纹理贴图的头发重建方法的步骤。
[0022]本申请实施例提供的基于单视角的人体模型驱动方法及电子设备，对单视角相机连续采集每一帧包含目标对象全身的图像进行语义分割，并对分割出的人手图像和人体图像分别进行编码，生成多尺度空间特征，结合标准人体参数化模型的初始参数进行回归，分别得到人体驱动参数和人手驱动参数，从而驱动标准人体参数化模型变形，得到与目标对象当前形态匹配的目标人体参数化模型。通过对目标人体参数化模型的后脚跟进行实时跟踪，利用前后两帧后脚跟的位置，在三维空间中对目标人体参数化模型进行移动，从而在保证实时性的条件下，提高模型在三维空间中的驱动效果，解决由于单视角视频或图像缺乏深度信息导致的模型移动不准确的问题。
附图说明
[0023]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本申请实施例提供的一种基于单视角的人体模型驱动方法的整体架构图；
[0025]图2为本申请实施例提供的一种基于单视角的人体模型驱动方法的流程图；
[0026]图3为本申请实施例提供的一种参数估计的方法流程图；
[0027]图4为本申请实施例提供的一种参数估计的过程示意图；
[0028]图5为本申请实施例提供的一种人体参数化模型的骨架结构图；
[0029]图6A为本申请实施例提供的一种右手骨架的结构图；
[0030]图6B为本申请实施例提供的一种左手骨架的结构图；
[0031]图7为本申请实施例提供的人体驱动参数与人手驱动参数的拼接方法流程图；
[0032]图8为本申请实施例提供的人体与人手拼接后的骨架示意图；
[0033]图9为本申请实施例提供的人体与人手拼接时出现的异常现象图；
[0034]图10A为本申请实施例提供的肘部与手部的旋转轴示意图；
[0035]图10B为本申请实施例提供的肘部与手部间的旋转过程示意图；
[0036]图11为本申请实施例提供的确定目标人体参数化模型的落地点的方法流程图；
[0037]图12为本申请实施例提供的后脚跟区域示意图；
[0038]图13为本申请实施例提供的目标人体参数化模型的移动方法流程图；
[0039]图14为本申请实施例提供的前后两帧图像中目标人体参数化模型的落地点间的平移向量计算过程示意图；
[0040]图15为本申请实施例提供的目标人体参数化模型的移动过程示意图；
[0041]图16为本申请实施例提供的电子设备的结构图。
具体实施方式
[0042]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
[0043]近年来，随着互联网技术的成熟，计算机视觉技术也得到长远的进步，从摄像机拍摄的人体图像中获得人体的行为动作、对人体图像进行分析是计算机视觉技术中的关键问题，而人体运动捕捉也是计算机视觉应用的方向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单视角的人体模型驱动方法，其特征在于，包括：获取单视角相机连续采集的多帧包含目标对象全身的图像；对当前帧图像进行语义分割，获得人体图像和人手图像，并编码出所述人体图像和所述人手图像各自对应的多尺度空间特征图；将标准人体参数化模型的初始参数，以及所述人体图像和所述人手图像各自对应的多尺度空间特征图输入到姿态估计回归网络，分别获得人体驱动参数和人手驱动参数；用所述人体驱动参数和所述人手驱动参数驱动所述标准人体参数化模型变形，得到目标人体参数化模型；根据所述目标参数化模型的后脚跟区域内的网格顶点，确定所述目标人体参数化模型的落地点；根据所述当前帧图像确定的落地点以及上一帧图像确定的落地点，驱动所述目标人体参数化模型运动。2.如权利要求1所述的方法，其特征在于，所述根据所述目标参数化模型的后脚跟区域内的网格顶点，确定所述目标人体参数化模型的落地点，包括：从所述目标参数化模型中，分别提取左脚跟的至少一个第一网格顶点，以及右脚跟的至少一个第二网格顶点；确定所述至少一个第一网格顶点的第一坐标均值，以及所述至少一个第二几何点顶点的第二坐标均值；将所述第一坐标均值和所述第二坐标均值中，上下方向上具有最小值的坐标均值对应的点，确定为所述目标人体参数化模型的落地点。3.如权利要求l所述的方法，其特征在于，所述根据所述当前帧图像确定的落地点以及上一帧图像确定的落地点，驱动所述目标人体参数化模型运动，包括：当当前帧图像确定的落地点与上一帧图像确定的落地点间的坐标变化大于预设坐标阈值时，计算两帧图像的落地点在三维空间中的平移向量；确定所述平移向量的模长；当所述模长大于预设模长阈值时，根据所述平移向量，将所述目标人体参数化模型的根节点在所述三维空间中进行移动。4.如权利要求1所述的方法，其特征在于，所述用所述人体驱动参数和所人手驱动参数驱动所述标准人体参数化模型变形，得到目标人体参数化模型，包括：按照所述标准人体参数化模型的骨架结构中关节点间父子关系，将所述人体驱动参数和所述人手驱动参数进行拼接，得到目标驱动参数；根据所述目标驱动参数，驱动所述标准人体参数化模型变形，得到目标人体参数化模型。5.如权利要求4所述的方法，其特征在于，得到所述目标驱动参数后，驱动所述标准化人体模型变形前，所述方法还包括：将手肘部的关节点和手腕部的关节点的连线作为旋转轴，根据所述目标驱动参数，确定手腕与手肘之间绕所述旋转轴的旋转量；若所述旋转量超过预设范围，则将所述手肘部的关节点和所述手腕部的关节点之间旋转相应的角度以使所述旋转量在预设范围内，完成所述目标驱动参数的优化。
6.如权利要求1
‑
5中任一项所述的方法，其特征在于，所述将标准人体参数化模型的初始参数，以及所述人体图像和所述人手图像各自对应的多尺度空间特征图输...

【专利技术属性】
技术研发人员：张思栋，许瀚誉，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：