图像处理方法、装置、设备及存储介质制造方法及图纸

公开了一种图像处理方法、装置、设备及存储介质，所述方法包括：根据待处理人脸图像，得到初始三维人脸模型；将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型；将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像，其中，所述第一投影人脸图像包含缺失像素信息的像素点；对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像，其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。

Image processing method, device, equipment and storage medium

【技术实现步骤摘要】
图像处理方法、装置、设备及存储介质
本公开涉及计算机视觉技术，尤其涉及一种图像处理方法、装置、设备及存储介质。
技术介绍
图像中的人脸转正是人脸识别中的重要问题，在很多领域有重要应用，比如对图像中的人脸转正后进行人脸识别、从侧脸信息恢复出正脸信息从而在游戏和VR等虚拟场景中帮助人脸建模等等。现有的人脸转正方法需要多角度的人脸图像作为监督来对模型进行训练，而在实际应用中，训练数据难以获取，导致模型训练不充分，转正结果达不到实际应用的要求。
技术实现思路
本公开实施例提供了一种图像处理方案。根据本公开的一方面，提供一种图像处理方法，所述方法包括：根据待处理人脸图像，得到初始三维人脸模型；将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型；将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像，其中，所述第一投影人脸图像包含缺失像素信息的像素点；对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像，其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。结合本公开提供的任一本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n根据待处理人脸图像，得到初始三维人脸模型；/n将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型；/n将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像，其中，所述第一投影人脸图像包含缺失像素信息的像素点；/n对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像，其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
根据待处理人脸图像，得到初始三维人脸模型；
将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型；
将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像，其中，所述第一投影人脸图像包含缺失像素信息的像素点；
对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像，其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。


2.根据权利要求1所述的方法，其特征在于，所述根据待处理人脸图像，得到初始三维人脸模型，包括：
根据所述待处理人脸图像，得到三维人脸的顶点的位置信息；
从所述待处理人脸图像获取与所述顶点对应的纹理信息；
根据所述顶点的位置信息和纹理信息，得到所述初始三维人脸模型。


3.根据权利要求1或2所述的方法，其特征在于，所述将所述旋转三维人脸模型投影到平面上，得到第一投影人脸图像，包括：
将所述旋转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述旋转三维人脸模型的顶点；
获取每个投影点对应的最外层顶点的纹理信息；
根据所述投影点的位置信息以及纹理信息，得到所述第一投影人脸图像。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在得到所述第一投影人脸图像之后，根据所述旋转三维人脸模型所有顶点的纹理平均值，确定所述第一投影人脸图像中的边缘投影点的纹理信息。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述第一投影人脸图像中的像素点增加预定像素信息，获得目标人脸图像，包括：
将所述第一投影人脸图像输入至预先训练的神经网络，所述神经网络输出对所述第一投影人脸图像中的目标像素点增加了像素信息的目标人脸图像。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据样本图像获取所述预先训练的神经网络的过程；
其中，所述样本图像的获取包括：
根据真实人脸图像，得到初始三维人脸模型；
将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型，并将所述旋转三维人脸模型投影到二维平面上，得到第一投影人脸图像；
将所述旋转三维人脸模型反向旋转所述目标角度，得到回转三维人脸模型，并将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像，其中，所述第二投影人脸图像包含缺失像素信息的像素点；
根据所述真实人脸图像的像素值，对所述第二投影人脸图像进行标注，得到图像样本。


7.根据权利要求6所述的方法，其特征在于，所述将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像，包括：
将所述回转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述回转三维人脸模型的顶点；
获取每个投影点对应的最外层顶点的纹理信息；
根据所述投影点的位置信息以及纹理信息，得到所述第二投影人脸图像。


8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：
在得到所述第二投影人脸图像之后，根据所述回转三维人脸模型所有顶点的纹理平均值，确定所述第二投影人脸图像中的边缘投影点的纹理信息。


9.根据权利要求6至8任一项所述的方法，其特征在于，所述预先训练的神经网络包括生成对抗网络，所述生成对抗网络包括生成模块和至少一个鉴别模块，所述根据样本图像获取所述预先训练的神经网络包括：
将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；
将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；
根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；
基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。


10.根据权利要求7或8任一项所述的方法，其特征在于，所述预先训练的神经网络包括生成模块、特征提取模块和至少一个鉴别模块，其中，所述至少一个鉴别模块与所述特征模块并联，所述根据样本图像获取所述预先训练的神经网络包括：
将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；
将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；
将所述生成人脸图像和真实人脸图像输入至所述特征提取模块，所述特征提取模块提取所述生成人脸图像和所述真实人脸图像的特征信息；
根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，以及所述特征提取模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；
基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。


11.一种...

【专利技术属性】
技术研发人员：刘吉豪，周航，刘子纬，刘宇，王晓刚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11