网格模型的构建方法和构建装置制造方法及图纸

本申请公开了一种网格模型的构建方法和构建装置，属于图像处理技术领域

【技术实现步骤摘要】
网格模型的构建方法和构建装置


[0001]本申请属于图像处理
，具体涉及一种网格模型的构建方法和构建装置
。

技术介绍

[0002]3D
人体重建
(3D Human Reconstruction)
，也即三维人体重建，是指根据单张或多张人体图像重建人体三维信息的过程，是一种利用二维投影信息恢复物体三维信息的数学过程和计算机技术
。
[0003]相关技术方案中，三维人体重建是采用
RGB
图像进行重建，对于一些跨度较大的人体动作，三维人体重建后得到的网格模型表现不佳，如存在不确定性较大，具体地，出现重建后得到的网格模型在向某一方向投影时所得到的图像与实际相符，而在向其它角度投影时所得到的图像偏离实际的情况
。

技术实现思路

[0004]本申请实施例的目的是提供一种网格模型的构建方法和构建装置，能够解决跨度较大的人体动作，三维人体重建后得到网格模型表现不佳的问题
。
[0005]第一方面，本申请实施例提供了一种网格模型的构建方法，包括：通过电子设备的第一摄像头获取人物对象的
RGB
图像，并通过电子设备的第二摄像头获取人物对象的深度图像，其中，
RGB
图像上的像素与深度图像上的像素一一对应；确定与深度图像对应的掩膜图像；将
RGB
图像
、
深度图像和掩膜图像输入到神经网络，得到相机平移参数
、
人物对象的体型参数和关节旋转参数；基于相机平移参数
、
人物对象的体型参数和关节旋转参数构建网格模型
。
[0006]第二方面，本申请实施例提供了一种网格模型的构建装置，包括：获取单元，用于通过电子设备的第一摄像头获取人物对象的
RGB
图像，并通过电子设备的第二摄像头获取人物对象的深度图像，其中，
RGB
图像上的像素与深度图像上的像素一一对应；确定单元，用于确定与深度图像对应的掩膜图像；处理单元，用于将
RGB
图像
、
深度图像和掩膜图像输入到神经网络，得到相机平移参数
、
人物对象的体型参数和关节旋转参数；构建单元，用于基于相机平移参数
、
人物对象的体型参数和关节旋转参数构建网格模型
。
[0007]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤
。
[0008]第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤
。
[0009]第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的方法
。
[0010]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的方法
。
[0011]在本申请实施例中，将人物对象的
RGB
图像
、
人物对象的深度图像以及掩膜图像作为输入，以供神经网络进行处理，从而得到预测得到的相机平移参数
、
人物对象的体型参数和关节旋转参数，以便利用相机平移参数
、
人物对象的体型参数和关节旋转参数来实现网格模型的构建
。
[0012]具体地，在确定构建网格模型所需的相机平移参数
、
人物对象的体型参数和关节旋转参数时，除了参考
RGB
图像之外，还参考了深度图像，以便确定得到的相机平移参数
、
人物对象的体型参数和关节旋转参数能够表征深度信息，进而基于相机平移参数
、
人物对象的体型参数和关节旋转参数所构建得到的网络模型具有深度信息
。
在此情况下，网格模型在向任一方向投影时所得到的图像与实际相符，以此改善构建得到的网络模型的表现性能
。
[0013]此外，通过获取人物对象的深度图像，以便根据人物对象的深度图像来确定掩膜图像，进而利用掩膜图像将人物对象与人物对象所处的环境之间分离开来，以此来消除环境对人物对象的遮挡，提升了预测得到的相机平移参数
、
人物对象的体型参数和关节旋转参数所表征的深度信息的精度，确保网络模型的表现性能
。
附图说明
[0014]图1是本申请实施例中的网格模型的构建方法的流程示意图之一；
[0015]图2是本申请实施例中的网格模型的构建方法的流程示意图之二；
[0016]图3是本申请实施例中的网格模型的构建方法的流程示意图之三；
[0017]图4是本申请实施例中的网格模型的构建方法的流程示意图之四；
[0018]图5是本申请实施例中的网格模型的构建的示意图；
[0019]图6是本申请实施例中的网格模型的构建装置的示意框图；
[0020]图7是本申请实施例中的电子设备的示意框图；
[0021]图8是本申请实施例中的电子设备的硬件结构示意图
。
具体实施方式
[0022]下面将结合本申请实施例中的附图，对本申请实施例中的实施例进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围
。
[0023]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序
。
应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个
。
此外，说明书以及权利要求中“和
/
或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系
。
[0024]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的网格模型的构建方法和构建装置进行详细地说明
。
[0025]在其中一个实施例中，如图1所示，提出了一种网格模型的构建方法，包括：
[0026]步骤
102
，通过电子设备的第一摄像头获取人物对象的
RGB
图像，并通过电子设备
的第二摄像头获取人物对象的深度图像，其中，
RGB
图像上的像素与深度图像上的像素一一对应
。
[0027]在本申请中的一些实施例中，
RGB
图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种网格模型的构建方法，其特征在于，包括：通过电子设备的第一摄像头获取人物对象的
RGB
图像，并通过所述电子设备的第二摄像头获取所述人物对象的深度图像，其中，所述
RGB
图像上的像素与所述深度图像上的像素一一对应；确定与所述深度图像对应的掩膜图像；将所述
RGB
图像
、
所述深度图像和所述掩膜图像输入到神经网络，得到相机平移参数
、
人物对象的体型参数和关节旋转参数；基于所述相机平移参数
、
所述人物对象的体型参数和所述关节旋转参数构建所述网格模型
。2.
根据权利要求1所述的网格模型的构建方法，其特征在于，在所述确定与所述深度图像对应的掩膜图像的步骤之前，所述构建方法还包括：对所述
RGB
图像进行人体检测，得到检测结果；基于所述检测结果对所述深度图像进行裁剪，得到人体深度图像
。3.
根据权利要求2所述的网格模型的构建方法，其特征在于，所述确定与所述深度图像对应的掩膜图像，包括：获取所述人体深度图像中最大深度值和最小深度值；基于所述最大深度值和所述最小深度值对所述人体深度图像中的深度值进行分区，得到
M
个分区区间；基于
M
个所述分区区间确定至少
N
个组合，每一组合包括
O
个所述分区区间，
O
个所述分区区间是相邻的分区区间，每一所述组合具有对应的像素点数值；基于所述
N
个组合确定第一组合，所述第一组合所对应的像素点数值大于第二组合的像素点数值，所述第二组合是所述
N
个组合中除所述第一组合之外的其它组合；基于所述第一组合中像素点所对应的像素位置确定与所述人体深度图像对应的所述掩膜图像
。4.
根据权利要求3所述的网格模型的构建方法，其特征在于，还包括：在所述最大深度值和所述最小深度值的深度差值大于或等于深度阈值的情况下，基于所述最大深度值和所述最小深度值对所述人体深度图像中的深度值进行分区，得到
M
个分区区间
。5.
根据权利要求1至4中任一项所述的网格模型的构建方法，其特征在于，所述基于所述相机平移参数
、
所述人物对象的体型参数和所述关节旋转参数构建所述网格模型，包括：基于所述人物对象的体型参数和所述关节旋转参数确定第一类关键点信息和顶点坐标信息；基于所述相机平移参数
、
所述第一类关键点信息和所述顶点坐标信息确定第二类关键点信息和顶点信息；基于所述第二类关键点信息和所述顶点信...

【专利技术属性】
技术研发人员：孙家岭，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：