3D重建网络的训练方法、3D重建方法、装置、设备和介质制造方法及图纸

本公开提供一种3D重建网络的训练方法、3D重建方法、装置、设备、介质和程序产品，涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3D视觉、增强现实等场景。具体为：将第一网络和第二网络构建为重建网络，第一网络包括第一、第二输出层；将样本图像输入第一网络，将重建对象的关键点定位信息作为第一输出层的第一输出标签对第一网络进行第一监督训练；将样本图像输入训练后的第一网络，利用第一输出层的输出对第二输出层的输出进行局部特征抽取；将抽取到的局部注意力特征输入第二网络，将重建对象的重建模型参数作为第二网络的第二输出标签对重建网络进行第二监督训练。本公开可保证重建网络输出的有效性和稳定性。有效性和稳定性。有效性和稳定性。

【技术实现步骤摘要】
3D重建网络的训练方法、3D重建方法、装置、设备和介质


[0001]本公开涉及人工智能
，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3D视觉、增强现实等场景，具体涉及一种3D重建网络的训练方法、3D重建方法、装置、设备、介质和程序产品。

技术介绍

[0002]随着社会的进步和科技的迅猛发展，短视频、直播和在线教育等行业不断地兴起，在各种交互场景中，基于人手或人脸等模型重建信息进行互动的功能需求越来越多。
[0003]然而，现有的对人手或人脸建模的方案中，当单张RGB图像存在自遮挡问题时，不仅建模困难，而且无法训练出有效、稳定的重建模型，继而无法重建出自然的3D人手或人脸。

技术实现思路

[0004]本公开提供了一种3D重建网络的训练方法、3D重建方法、装置、设备、介质和程序产品。
[0005]根据本公开的一方面，提供了一种3D重建网络的训练方法，包括：
[0006]将第一网络和第二网络构建为重建网络，其中，所述第一网络包括第一输出层和第二输出层，所述第一输出层用于预测样本图像中重建对象的关键点定位信息，所述第二输出层用于输出所述样本图像的图像特征；
[0007]将所述样本图像作为所述第一网络的输入，将所述重建对象的关键点定位信息作为所述第一输出层的第一输出标签，对所述第一网络进行第一监督训练；
[0008]将所述样本图像作为经所述第一监督训练的第一网络的输入，利用所述第一输出层的输出对所述第二输出层的输出进行局部特征抽取，得到局部注意力特征；r/>[0009]将所述局部注意力特征输入所述第二网络，将所述重建对象的重建模型参数作为所述第二网络的第二输出标签，对所述重建网络进行第二监督训练。
[0010]根据本公开的另一方面，提供了一种3D重建方法，包括：
[0011]将目标图像输入预先训练的重建网络，其中，所述重建网络包括第一网络和第二网络，所述第一网络包括第一输出层和第二输出层；
[0012]利用所述第一网络，通过所述第一输出层输出所述目标图像中目标重建对象的关键点定位信息的目标预测值，通过所述第二输出层输出所述目标图像的目标图像特征；
[0013]利用所述关键点定位信息的目标预测值对所述目标图像特征进行局部特征抽取，得到目标局部注意力特征；
[0014]将所述目标局部注意力特征输入所述第二网络，利用所述第二网络输出所述目标重建对象的目标重建模型参数；
[0015]根据所述目标重建模型参数对所述目标重建对象进行3D重建。
[0016]根据本公开的另一方面，提供了一种3D重建网络的训练装置，包括：
[0017]构建模块，用于将第一网络和第二网络构建为重建网络，其中，所述第一网络包括第一输出层和第二输出层，所述第一输出层用于预测样本图像中重建对象的关键点定位信息，所述第二输出层用于输出所述样本图像的图像特征；
[0018]第一监督训练模块，用于将所述样本图像作为所述第一网络的输入，将所述重建对象的关键点定位信息作为所述第一输出层的第一输出标签，对所述第一网络进行第一监督训练；
[0019]第一特征抽取模块，用于将所述样本图像作为经所述第一监督训练的第一网络的输入，利用所述第一输出层的输出对所述第二输出层的输出进行局部特征抽取，得到局部注意力特征；
[0020]第二监督训练模块，将所述局部注意力特征输入所述第二网络，将所述重建对象的重建模型参数作为所述第二网络的第二输出标签，对所述重建网络进行第二监督训练。
[0021]根据本公开的另一方面，提供了一种3D重建装置，包括：
[0022]图像输入模块，用于将目标图像输入预先训练的重建网络，其中，所述重建网络包括第一网络和第二网络，所述第一网络包括第一输出层和第二输出层；
[0023]中间特征输出模块，用于利用所述第一网络，通过所述第一输出层输出所述目标图像中目标重建对象的关键点定位信息的目标预测值，通过所述第二输出层输出所述目标图像的目标图像特征；
[0024]第二特征抽取模块，用于利用所述关键点定位信息的目标预测值对所述目标图像特征进行局部特征抽取，得到目标局部注意力特征；
[0025]重建模型参数输出模块，用于将所述目标局部注意力特征输入所述第二网络，利用所述第二网络输出所述目标重建对象的目标重建模型参数；
[0026]3D重建模块，用于根据所述目标重建模型参数对所述目标重建对象进行3D重建。
[0027]根据本公开的另一方面，提供了一种电子设备，包括：
[0028]至少一个处理器；以及
[0029]与所述至少一个处理器通信连接的存储器；其中，
[0030]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所述的3D重建网络的训练方法或3D重建方法。
[0031]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开任意实施例所述的3D重建网络的训练方法或3D重建方法。
[0032]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任意实施例所述的3D重建网络的训练方法或3D重建方法。
[0033]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0034]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0035]图1是根据本公开实施例的一种3D重建网络的训练方法的示意图；
[0036]图2是根据本公开实施例的一种3D重建网络的训练方法的示意图；
[0037]图3a是根据本公开实施例的人手关键点高斯热图的示意图；
[0038]图3b是根据本公开实施例的一种3D重建网络的训练方法的示意图；
[0039]图4是根据本公开实施例的一种3D重建方法的示意图；
[0040]图5是根据本公开实施例的一种3D重建网络的训练装置的结构示意图；
[0041]图6是根据本公开实施例的一种3D重建装置的结构示意图；
[0042]图7是用来实现本公开实施例的3D重建网络的训练方法的电子设备的框图。
具体实施方式
[0043]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0044]图1是根据本公开实施例的3D重建网络的训练方法的流程示意图，本实施例可适用于训练3D重建网络，利用该3D重建网络预测输入图像的重建模型参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D重建网络的训练方法，包括：将第一网络和第二网络构建为重建网络，其中，所述第一网络包括第一输出层和第二输出层，所述第一输出层用于预测样本图像中重建对象的关键点定位信息，所述第二输出层用于输出所述样本图像的图像特征；将所述样本图像作为所述第一网络的输入，将所述重建对象的关键点定位信息作为所述第一输出层的第一输出标签，对所述第一网络进行第一监督训练；将所述样本图像作为经所述第一监督训练的第一网络的输入，利用所述第一输出层的输出对所述第二输出层的输出进行局部特征抽取，得到局部注意力特征；将所述局部注意力特征输入所述第二网络，将所述重建对象的重建模型参数作为所述第二网络的第二输出标签，对所述重建网络进行第二监督训练。2.根据权利要求1所述的方法，其中，所述关键点定位信息为关键点高斯热图。3.根据权利要求1所述的方法，其中，所述利用所述第一输出层的输出对所述第二输出层的输出进行局部特征抽取，得到局部注意力特征，包括：将所述第一输出层的输出和所述第二输出层的输出进行相乘运算，并将所述运算的结果作为所述局部注意力特征。4.根据权利要求1所述的方法，其中，所述对所述重建网络进行第二监督训练，包括：利用所述第二输出标签对所述第二网络输出的所述重建对象的重建模型参数的预测值进行监督，通过所述监督的过程优化所述重建网络。5.根据权利要求4所述的方法，所述对所述重建网络进行第二监督训练，还包括：利用所述重建模型参数的预测值计算3D关键点信息预测值；将所述重建对象的3D关键点信息作为所述第二网络的第三输出标签对所述3D关键点信息预测值进行监督，通过所述监督的过程优化所述重建网络。6.根据权利要求5所述的方法，所述对所述重建网络进行第二监督训练，还包括：根据所述第二网络输出的重建模型参数的预测值回归相机参数；根据所述相机参数对所述3D关键点信息预测值进行投影，得到2D关键点信息预测值；将所述重建对象的2D关键点信息作为所述第二网络的第四输出标签对所述2D关键点信息预测值进行监督，通过所述监督的过程优化所述重建网络。7.根据权利要求1所述的方法，其中，所述第一网络为CNN卷积神经网络。8.根据权利要求1所述的方法，其中，所述第二网络为GCN图卷积神经网络；相应的，所述将所述局部注意力特征输入所述第二网络，包括：将所述局部注意力特征和预先定义的所述重建对象的结构图输入所述第二网络。9.根据权利要求1所述的方法，其中，所述重建对象包括人手，所述重建模型包括人手模型MANO，所述重建模型参数包括所述人手模型MANO的形状参数和姿态参数。10.一种3D重建方法，包括：将目标图像输入预先训练的重建网络，其中，所述重建网络包括第一网络和第二网络，所述第一网络包括第一输出层和第二输出层；利用所述第一网络，通过所述第一输出层输出所述目标图像中目标重建对象的关键点定位信息的目标预测值，通过所述第二输出层输出所述目标图像的目标图像特征；利用所述关键点定位信息的目标预测值对所述目标图像特征进行局部特征抽取，得到
目标局部注意力特征；将所述目标局部注意力特征输入所述第二网络，利用所述第二网络输出所述目标重建对象的目标重建模型参数；根据所述目标重建模型参数对所述目标重建对象进行3D重建。11.根据权利要求10所述的方法，其中，所述关键点定位信息的目标预测值由关键点高斯热图表示。12.根据权利要求10所述的方法，其中，所述第一网络为CNN卷积神经网络；所述第二网络为GCN图卷积神经网络。13.一种3D重建网络的训练装置，包括：构建模块，用于将第一网络和第二网络构建为重建网络，其中，所述第一网络包括第一输出层和第二输出层，所述第一输出层用于预测样本图像中重建对象的关键点定位信息，所述第二输出层用于输出所述样本图像的图像特征；第一监督训练模块，用于将所述样本图像作为所述第一网络的输入，将所述重建对象的关键点定位信息作为所述第一输出层的第一输出标签，对所述第一网络进行第一监督训练；第一特征抽取模块，用于将所述样本图像作为经所述第一监督训练的第一网络的输入，利用所述第一输出层的输出对所述第二输出层的输出进行局部特征抽取，得到局部注意力特征；第二监督训练模块，将所述局部注意力特征输入所述第二网络，将所述重建对象的重建...

【专利技术属性】
技术研发人员：杨黔生，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：