一种人体模型创建方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种人体模型创建方法、装置、电子设备及存储介质，上述方法包括：获得目标可见光图像以及目标红外图像；确定目标红外图像包含的各个光捕球图像的位置信息；基于每个光捕球图像的位置信息，确定图像光捕特征和光捕球位置特征；将光捕球位置特征、图像光捕特征和目标可见光图像输入预先训练的人体特征提取模型，得到目标人物的姿态信息、目标人物的形状信息及镜头信息；将目标人物的姿态信息、目标人物的形状信息和镜头信息，输入人体三维模型SMPL，得到创建的目标人物的人体模型。采用本发明专利技术实施例提供的方法，在创建人体模型时利用了光捕技术的高精度，使得所创建的人体模型的精度得到了提高。

【技术实现步骤摘要】
一种人体模型创建方法、装置、电子设备及存储介质
本专利技术涉及计算机视觉
，特别是涉及一种人体模型创建方法、装置、电子设备及存储介质。
技术介绍
随着计算机视觉技术的发展，基于从人体图像中所提取的人体姿态信息等人体特征信息，进行人体模型创建的技术也得到了长足发展。其中，3D(Dimension，维度)人体模型创建，即是从单个的图片或视频中提取人体特征信息，重建或恢复人体姿态的3D模型。目前，创建的人体模型主要通过，提取包含人体图像的可见光图像中的人体姿态信息、人体形状信息及镜头信息，然后基于所提取的这些信息创建人体三维模型。然而，由于可见光图像受环境影响较大，图像质量不稳定，针对包含人体图像的可见光图像，所提取得到的人体姿态信息、人体形状信息及镜头信息质量不够高。因此，基于从可见光图像中提取得到的这些信息所创建的人体模型的精度有待提高。
技术实现思路
本专利技术实施例的目的在于提供一种人体模型创建方法、装置、电子设备及存储介质，用以提高所创建的人体模型的精度。为了实现上述专利技术目的，本专利技术实施例提供了一种人体模型创建方法，包括：获得非红外摄像头所采集的视频图像中包含目标人物多个预设部位的图像帧，作为目标可见光图像；以及获得红外摄像头所采集的视频图像中包含多个光捕球图像的图像帧，作为目标红外图像；所述目标人物被预先部署有多个光捕球，其中，每个光捕球对应所述目标人物多个预设部位中的一个指定部位；确定所述目标红外图像包含的各个光捕球图像的位置信息；基于每个光捕球图像的位置信息，确定图像光捕特征和光捕球位置特征；所述图像光捕特征，用于表征所述目标红外图像中各个非光捕球图像的像素点与各个光捕球图像的像素点之间的关系；所述光捕球位置特征，用于表征每个光捕球图像在所述目标红外图像中的位置；将所述光捕球位置特征、所述图像光捕特征和所述目标可见光图像输入预先训练的人体特征提取模型，得到目标人物的姿态信息、目标人物的形状信息及镜头信息；其中，所述人体特征提取模型为基于训练样本集进行训练得到的，所述训练样本集包含：多个样本人物的样本图像数据，所述样本图像数据包括样本人物的人体图像，以及样本人物的人体图像的真值关键点信息及真值人体蒙版信息；将所述目标人物的姿态信息、所述目标人物的形状信息和所述镜头信息，输入人体三维模型SMPL，得到创建的目标人物的人体模型。进一步的，所述各个光捕球图像的位置信息为：各个光捕球图像的位置坐标；所述确定所述目标红外图像包含的各个光捕球图像的位置信息，包括：提取所述目标红外图像的像素矩阵；将所述像素矩阵中，像素值低于预设像素阈值的像素点的像素值确定为0，得到目标像素矩阵；确定所述目标像素矩阵的连通区域，每个所述连通区域对应一个光捕球图像；针对每个所述连通区域，将该连通区域中像素值最大的像素点的位置坐标，确定为该连通区域对应的光捕球图像的位置坐标。进一步的，所述基于每个光捕球图像的位置信息，确定图像光捕特征，包括：分别以每个光捕球图像的位置坐标为中心，以预设距离为半径，生成多个呈高斯分布的图像；并且，将多个呈高斯分布的图像所组成的图像作为目标热度图，将目标热度图矩阵作为图像光捕特征。进一步的，所述基于每个光捕球图像的位置信息，确定光捕球位置特征，包括：按照各个光捕球图像的位置坐标中，横坐标或纵坐标的值从大到小或从小到大的顺序，对各个光捕球图像的位置坐标进行排序，得到光捕球图像坐标序列；根据光捕球图像坐标序列，生成1×2n维的第一坐标矩阵；n为光捕球的数量；将所述第一坐标矩阵与1×(2k-2n)维的零矩阵进行拼接，得到1×2k维的第二坐标矩阵；k为目标人物的预设部位的数量；将k个所述第二坐标矩阵进行拼接，得到k×2k维的第三坐标矩阵；根据所述目标人物的各个预设部位，以及部署于目标人物的各个光捕球，生成1×k维的光捕球部署向量；1×k维的光捕球部署向量的每个元素对应目标人物的一个预设部位，其中，光捕球部署向量的各个元素中，与预设部位中的指定部位相对应的元素的值不为0，与预设部位中的非指定部位相对应的元素的值为0；将k个所述光捕球部署向量进行拼接，得到k×k维的第四坐标矩阵；使用所述第四坐标矩阵的转置矩阵乘以所述第三坐标矩阵，得到目标坐标矩阵，作为光捕球位置特征。进一步的，所述预先训练的人体特征提取模型，包括：第一特征拼接层、特征提取网络层、第一全连接网络层、第二特征拼接层、第二全连接网络层、第三全连接网络层、第四全连接网络层、第五全连接网络层和输出层；所述将所述光捕球位置特征、所述图像光捕特征和所述目标可见光图像输入预先训练的人体特征提取模型，得到目标人物的姿态信息、目标人物的形状信息及镜头信息，包括：将将所述光捕球位置特征、所述图像光捕特征和所述目标可见光图像输入预先训练的人体特征提取模型；所述第一特征拼接层，将所述图像光捕特征和所述目标可见光图像的各个颜色通道的色值矩阵进行融合，得到融合特征，并将所述融合特征输入所述特征提取网络层；所述特征提取网络层，基于所述融合特征，提取得到1×f维的图像特征矩阵；f是预设的图像特征矩阵的通道数；所述第一全连接网络层，基于将所述光捕球位置特征，提取得到1×f维的坐标特征矩阵；第二特征拼接层，将所述图像特征矩阵与所述坐标特征矩阵进行拼接，得到2×f维的拼接矩阵，并将所述2×f维的拼接矩阵输入所述第二全连接网络层；所述第二全连接网络层，根据所述拼接矩阵，提取得到3×f维的编码特征矩阵，并将所述编码特征矩阵分别输入所述第三全连接网络层、所述第四全连接网络层和所述第五全连接网络层；所述第三全连接网络层，根据所述编码特征矩阵，提取得到目标人物的姿态向量；所述第四全连接网络层，根据所述编码特征矩阵，提取得到目标人物的形状向量；所述第五全连接网络层，根据所述编码特征矩阵，提取得到镜头向量；所述输出层，将所述姿态向量作为所述目标人物的姿态信息，将所述形状向量作为所述目标人物的形状信息，以及将所述镜头向量作为镜头信息，输出目标人物的姿态信息、目标人物的形状信息及镜头信息。进一步的，所述特征提取网络层为：残差神经网络ResNet，或Inception网络，或视觉几何群网络VGG；所述第一全连接网络层包括：第一预设数量个全连接网络，并且，所述第一全连接网络层中的第一个全连接网络的输入特征维度为k×2k维，所述第一全连接网络层中的最后一个全连接网络的输出特征维度为1×f维；所述第二全连接网络层包括：第二预设数量个全连接网络，并且，所述第二全连接网络层中的第一个全连接网络的输入特征维度为2×f维，所述第二全连接网络层中的最后一个全连接网络的输出特征维度为3×f维；所述第三全连接网络层由一个第二类Block网络、一个第一类Block网络及第三预设数量个第二类Block网络依次连接而成；所述第四全连接网络层由一个第二类本文档来自技高网...

【技术保护点】
1.一种人体模型创建方法，其特征在于，包括：/n获得非红外摄像头所采集的视频图像中包含目标人物多个预设部位的图像帧，作为目标可见光图像；以及获得红外摄像头所采集的视频图像中包含多个光捕球图像的图像帧，作为目标红外图像；所述目标人物被预先部署有多个光捕球，其中，每个光捕球对应所述目标人物多个预设部位中的一个指定部位；/n确定所述目标红外图像包含的各个光捕球图像的位置信息；/n基于每个光捕球图像的位置信息，确定图像光捕特征和光捕球位置特征；所述图像光捕特征，用于表征所述目标红外图像中各个非光捕球图像的像素点与各个光捕球图像的像素点之间的关系；所述光捕球位置特征，用于表征每个光捕球图像在所述目标红外图像中的位置；/n将所述光捕球位置特征、所述图像光捕特征和所述目标可见光图像输入预先训练的人体特征提取模型，得到目标人物的姿态信息、目标人物的形状信息及镜头信息；其中，所述人体特征提取模型为基于训练样本集进行训练得到的，所述训练样本集包含：多个样本人物的样本图像数据，所述样本图像数据包括样本人物的人体图像，以及样本人物的人体图像的真值关键点信息及真值人体蒙版信息；/n将所述目标人物的姿态信息、所述目标人物的形状信息和所述镜头信息，输入人体三维模型SMPL，得到创建的目标人物的人体模型。/n...

【技术特征摘要】
1.一种人体模型创建方法，其特征在于，包括：
获得非红外摄像头所采集的视频图像中包含目标人物多个预设部位的图像帧，作为目标可见光图像；以及获得红外摄像头所采集的视频图像中包含多个光捕球图像的图像帧，作为目标红外图像；所述目标人物被预先部署有多个光捕球，其中，每个光捕球对应所述目标人物多个预设部位中的一个指定部位；
确定所述目标红外图像包含的各个光捕球图像的位置信息；
基于每个光捕球图像的位置信息，确定图像光捕特征和光捕球位置特征；所述图像光捕特征，用于表征所述目标红外图像中各个非光捕球图像的像素点与各个光捕球图像的像素点之间的关系；所述光捕球位置特征，用于表征每个光捕球图像在所述目标红外图像中的位置；
将所述光捕球位置特征、所述图像光捕特征和所述目标可见光图像输入预先训练的人体特征提取模型，得到目标人物的姿态信息、目标人物的形状信息及镜头信息；其中，所述人体特征提取模型为基于训练样本集进行训练得到的，所述训练样本集包含：多个样本人物的样本图像数据，所述样本图像数据包括样本人物的人体图像，以及样本人物的人体图像的真值关键点信息及真值人体蒙版信息；
将所述目标人物的姿态信息、所述目标人物的形状信息和所述镜头信息，输入人体三维模型SMPL，得到创建的目标人物的人体模型。


2.根据权利要求1所述的方法，其特征在于，所述各个光捕球图像的位置信息为：各个光捕球图像的位置坐标；
所述确定所述目标红外图像包含的各个光捕球图像的位置信息，包括：
提取所述目标红外图像的像素矩阵；
将所述像素矩阵中，像素值低于预设像素阈值的像素点的像素值确定为0，得到目标像素矩阵；
确定所述目标像素矩阵的连通区域，每个所述连通区域对应一个光捕球图像；
针对每个所述连通区域，将该连通区域中像素值最大的像素点的位置坐标，确定为该连通区域对应的光捕球图像的位置坐标。


3.根据权利要求2所述的方法，其特征在于，所述基于每个光捕球图像的位置信息，确定图像光捕特征，包括：
分别以每个光捕球图像的位置坐标为中心，以预设距离为半径，生成多个呈高斯分布的图像；并且，将多个呈高斯分布的图像所组成的图像作为目标热度图，将目标热度图矩阵作为图像光捕特征。


4.根据权利要求2所述的方法，其特征在于，所述基于每个光捕球图像的位置信息，确定光捕球位置特征，包括：
按照各个光捕球图像的位置坐标，对各个光捕球图像的位置坐标进行排序，得到光捕球图像坐标序列；
根据光捕球图像坐标序列，生成1×2n维的第一坐标矩阵；n为光捕球的数量；
将所述第一坐标矩阵与1×(2k-2n)维的零矩阵进行拼接，得到1×2k维的第二坐标矩阵；k为目标人物的预设部位的数量；
将k个所述第二坐标矩阵进行拼接，得到k×2k维的第三坐标矩阵；
根据所述目标人物的各个预设部位，以及部署于目标人物的各个光捕球，生成1×k维的光捕球部署向量；1×k维的光捕球部署向量的每个元素对应目标人物的一个预设部位，其中，光捕球部署向量的各个元素中，与预设部位中的指定部位相对应的元素的值不为0，与预设部位中的非指定部位相对应的元素的值为0；
将k个所述光捕球部署向量进行拼接，得到k×k维的第四坐标矩阵；
使用所述第四坐标矩阵的转置矩阵乘以所述第三坐标矩阵，得到目标坐标矩阵，作为光捕球位置特征。


5.根据权利要求1所述的方法，其特征在于，所述预先训练的人体特征提取模型，包括：第一特征拼接层、特征提取网络层、第一全连接网络层、第二特征拼接层、第二全连接网络层、第三全连接网络层、第四全连接网络层、第五全连接网络层和输出层；
所述将所述光捕球位置特征、所述图像光捕特征和所述目标可见光图像输入预先训练的人体特征提取模型，得到目标人物的姿态信息、目标人物的形状信息及镜头信息，包括：
将所述光捕球位置特征、所述图像光捕特征和所述目标可见光图像输入预先训练的人体特征提取模型；
所述第一特征拼接层，将所述图像光捕特征和所述目标可见光图像的各个颜色通道的色值矩阵进行融合，得到融合特征，并将所述融合特征输入所述特征提取网络层；
所述特征提取网络层，基于所述融合特征，提取得到1×f维的图像特征矩阵；f是预设的图像特征矩阵的通道数；
所述第一全连接网络层，基于将所述光捕球位置特征，提取得到1×f维的坐标特征矩阵；
第二特征拼接层，将所述图像特征矩阵与所述坐标特征矩阵进行拼接，得到2×f维的拼接矩阵，并将所述2×f维的拼接矩阵输入所述第二全连接网络层；
所述第二全连接网络层，根据所述拼接矩阵，提取得到3×f维的编码特征矩阵，并将所述编码特征矩阵分别输入所述第三全连接网络层、所述第四全连接网络层和所述第五全连接网络层；
所述第三全连接网络层，根据所述编码特征矩阵，提取得到目标人物的姿态向量；
所述第...

【专利技术属性】
技术研发人员：刘思阳，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：北京;11