模型构建方法、模型构建装置、介质及电子设备制造方法及图纸

本申请提供一种模型构建方法、模型构建装置、计算机可读存储介质及电子设备，涉及计算机视觉领域，该方法包括：提取第一目标图像对应的第一图像特征；根据第一图像特征确定第一目标图像中目标对象的各像素点到虚拟表面的距离；获取第一目标图像中目标对象对应的不可见区域中各点的纹理信息；基于各像素点到虚拟表面的距离、不可见区域中各点的纹理信息、可见区域中各点的纹理信息，构建对应于目标对象的三维对象模型。这样可以基于单独图像实现对于三维对象模型的构建，无需获取多角度图像，可以提升模型构建效率。可以提升模型构建效率。可以提升模型构建效率。

【技术实现步骤摘要】
模型构建方法、模型构建装置、介质及电子设备


[0001]本申请涉及计算机视觉领域，具体而言，涉及一种模型构建方法、模型构建装置、计算机可读存储介质及电子设备。

技术介绍

[0002]三维重建，指的是通过计算机视觉、数字图像或者视频处理技术提取图像之间的相关性，进而实现三维重建。一般来说，三维重建需要获取针对指定对象的多角度图像，进而基于多角度图像构建指定对象的虚拟模型。但是，这种方式容易存在构建效率较低的问题。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有方案的信息。

技术实现思路

[0004]本申请的目的在于提供一种模型构建方法、模型构建装置、计算机可读存储介质及电子设备，可以基于单独图像实现对于三维对象模型的构建，无需获取多角度图像，可以提升模型构建效率。
[0005]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0006]根据本申请的一方面，提供一种模型构建方法，该方法包括：
[0007]提取第一目标图像对应的第一图像特征；
[0008]根据第一图像特征确定第一目标图像中目标对象的各像素点到虚拟表面的距离；
[0009]获取第一目标图像中目标对象对应的不可见区域中各点的纹理信息；
[0010]基于各像素点到虚拟表面的距离、不可见区域中各点的纹理信息、可见区域中各点的纹理信息，构建对应于目标对象的三维对象模型。<br/>[0011]在本申请的一种示例性实施例中，根据第一图像特征确定第一目标图像中目标对象的各像素点到虚拟表面的距离，包括：
[0012]基于符号距离函数网络将第一图像特征表征为符号距离函数；
[0013]基于符号距离函数计算第一目标图像中目标对象的各像素点到虚拟表面的距离。
[0014]在本申请的一种示例性实施例中，获取第一目标图像中目标对象对应的不可见区域中各点的纹理信息，包括：
[0015]基于着色网络提取第一目标图像的着色特征；
[0016]将着色特征输入着色网络，以使得着色网络获取第一目标图像中目标对象对应的不可见区域中各点的纹理信息。
[0017]在本申请的一种示例性实施例中，提取第一目标图像对应的第一图像特征之前，上述方法还包括：
[0018]从视频流中获取包含目标对象的第一目标图像。
[0019]在本申请的一种示例性实施例中，基于各像素点到虚拟表面的距离、不可见区域中各点的纹理信息、可见区域中各点的纹理信息，构建对应于目标对象的三维对象模型之后，上述方法还包括：
[0020]从视频流中获取包含目标对象的第二目标图像；
[0021]获取第二目标图像中的骨骼点信息；
[0022]根据骨骼点信息更新三维对象模型。
[0023]在本申请的一种示例性实施例中，获取第二目标图像中的骨骼点信息，包括：
[0024]提取第二目标图像对应的第二图像特征；
[0025]根据第二图像特征生成关节点置信图和每两个关节点之间的亲和度参数；
[0026]基于关节点置信图和每两个关节点之间的亲和度参数生成关节点联结结果；
[0027]根据关节点联结结果生成骨骼点信息。
[0028]在本申请的一种示例性实施例中，根据骨骼点信息更新三维对象模型，包括：
[0029]将骨骼点信息配准至三维对象模型中，得到三维骨骼模型；
[0030]通过节点残差信息、对象姿态信息、动态细节信息更新三维骨骼模型，得到与三维对象模型对应于不同姿态的特定对象模型。
[0031]根据本申请的一方面，提供一种模型构建装置，包括：
[0032]特征提取单元，用于提取第一目标图像对应的第一图像特征；
[0033]距离确定单元，用于根据第一图像特征确定第一目标图像中目标对象的各像素点到虚拟表面的距离；
[0034]纹理确定单元，用于获取第一目标图像中目标对象对应的不可见区域中各点的纹理信息；
[0035]模型构建单元，用于基于各像素点到虚拟表面的距离、不可见区域中各点的纹理信息、可见区域中各点的纹理信息，构建对应于目标对象的三维对象模型。
[0036]在本申请的一种示例性实施例中，距离确定单元根据第一图像特征确定第一目标图像中目标对象的各像素点到虚拟表面的距离，包括：
[0037]基于符号距离函数网络将第一图像特征表征为符号距离函数；
[0038]基于符号距离函数计算第一目标图像中目标对象的各像素点到虚拟表面的距离。
[0039]在本申请的一种示例性实施例中，纹理确定单元获取第一目标图像中目标对象对应的不可见区域中各点的纹理信息，包括：
[0040]基于着色网络提取第一目标图像的着色特征；
[0041]将着色特征输入着色网络，以使得着色网络获取第一目标图像中目标对象对应的不可见区域中各点的纹理信息。
[0042]在本申请的一种示例性实施例中，上述装置还包括：
[0043]图像确定单元，用于在特征提取单元提取第一目标图像对应的第一图像特征之前，从视频流中获取包含目标对象的第一目标图像。
[0044]在本申请的一种示例性实施例中，上述装置还包括：
[0045]图像获取单元，用于模型构建单元基于各像素点到虚拟表面的距离、不可见区域中各点的纹理信息、可见区域中各点的纹理信息，构建对应于目标对象的三维对象模型之后，从视频流中获取包含目标对象的第二目标图像；
[0046]特征提取单元，还用于获取第二目标图像中的骨骼点信息；
[0047]模型更新单元，用于根据骨骼点信息更新三维对象模型。
[0048]在本申请的一种示例性实施例中，特征提取单元获取第二目标图像中的骨骼点信息，包括：
[0049]提取第二目标图像对应的第二图像特征；
[0050]根据第二图像特征生成关节点置信图和每两个关节点之间的亲和度参数；
[0051]基于关节点置信图和每两个关节点之间的亲和度参数生成关节点联结结果；
[0052]根据关节点联结结果生成骨骼点信息。
[0053]在本申请的一种示例性实施例中，模型更新单元根据骨骼点信息更新三维对象模型，包括：
[0054]将骨骼点信息配准至三维对象模型中，得到三维骨骼模型；
[0055]通过节点残差信息、对象姿态信息、动态细节信息更新三维骨骼模型，得到与三维对象模型对应于不同姿态的特定对象模型。
[0056]根据本申请的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的方法。
[0057]根据本申请的一方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的方法。
[0058]本申请示例性实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型构建方法，其特征在于，包括：提取第一目标图像对应的第一图像特征；根据所述第一图像特征确定所述第一目标图像中目标对象的各像素点到虚拟表面的距离；获取所述第一目标图像中目标对象对应的不可见区域中各点的纹理信息；基于各像素点到虚拟表面的距离、不可见区域中各点的纹理信息、可见区域中各点的纹理信息，构建对应于所述目标对象的三维对象模型。2.根据权利要求1所述的方法，其特征在于，根据所述第一图像特征确定所述第一目标图像中目标对象的各像素点到虚拟表面的距离，包括：基于所述符号距离函数网络将所述第一图像特征表征为符号距离函数；基于所述符号距离函数计算所述第一目标图像中目标对象的各像素点到虚拟表面的距离。3.根据权利要求1所述的方法，其特征在于，获取所述第一目标图像中目标对象对应的不可见区域中各点的纹理信息，包括：基于着色网络提取所述第一目标图像的着色特征；将所述着色特征输入着色网络，以使得所述着色网络取所述第一目标图像中目标对象对应的不可见区域中各点的纹理信息。4.根据权利要求1所述的方法，其特征在于，提取第一目标图像对应的第一图像特征之前，所述方法还包括：从视频流中获取包含目标对象的第一目标图像。5.根据权利要求4所述的方法，其特征在于，基于各像素点到虚拟表面的距离、不可见区域中各点的纹理信息、可见区域中各点的纹理信息，构建对应于所述目标对象的三维对象模型之后，所述方法还包括：从所述视频流中获取包含所述目标对象的第二目标图像；获取所述第二目标图像中的骨骼点信息；根据所述骨骼点信息更新所述三维对象模型。6.根据权利要求5所...

【专利技术属性】
技术研发人员：张超颖，苏明兰，刘巧俏，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：