图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种图像处理方法、装置、电子设备及存储介质，以至少解决利用生成式对抗网络GAN，将形状与参考对象的形状差异大的待处理对象处理为参考对象的类型的图片时，准确性差的问题。该方法包括：获取原始图像；原始图像包括待处理对象；对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像；对中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理，得到目标图像。得到目标图像。得到目标图像。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本公开涉及图像处理
，尤其涉及图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]图像处理技术是将一种类型的图像转换为另一种类型的图像的技术。例如：将语义分割图像转换为真实街景图像，灰色图像转换为彩色图像，白天的图像转换为黑夜的图像，低像素图像转换为高像素的图像等。
[0003]生成式对抗网络(generative adversarial network，GAN)是一种深度学习模型。生成式对抗网络GAN用于建立一个源数据集到目标数据集的映射关系。生成式对抗网络GAN包括生成器和判别器。其中，生成器用于对源数据集进行预测，得到预测数据集。判别器用于判别预测数据集为目标数据集的概率，并将判别结果反馈给生成器用于指导生成器的训练，直至生成器预测得到的预测数据集被判别器判别为目标数据集的概率大于一个阈值之后，将最新得到的预测数据集作为目标数据集。近年，生成式对抗网络GAN广泛应用于图像处理
，例如：应用程序中的年龄变化功能、性别变化功能、漫画脸功能等都应用了生成式对抗网络GAN对原始图像进行处理得到目标图像。
[0004]但是，使用生成式对抗网络GAN对形状与参考对象的形状差异大的待处理对象进行处理得到的目标图像的准确性差。例如，将原始图像中的成年人对象进行处理得到包括小孩对象的图像时，得到的包括小孩对象的图像存在阴影或五官比例不协调等图像失真问题。当前，为了解决生成式对抗网络GAN对形变处理不足的常用解决方案就是在生成式对抗网络GAN模型中引入形状注意力机制，但是引入形状注意力机制的生成式对抗网络GAN，在对形状与参考对象形状差异大的待处理对象进行处理时，得到的目标图像的准确性仍然比较差，而且会带来更大的网络开销。

技术实现思路

[0005]本公开提供一种图像处理方法、装置、电子设备及存储介质，以解决利用生成式对抗网络GAN，将形状与参考对象的形状差异大的待处理对象，处理为参考对象的类型的图片时，准确性差的问题。
[0006]本公开的技术方案如下：
[0007]根据本公开实施例的第一方面，本公开实施例提供一种图像处理方法，该方法包括：获取原始图像；原始图像包括待处理对象；对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像；对中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理，得到目标图像。
[0008]本公开实施例通过将图像处理中的图像变形处理与纹理处理分离的图像处理方案，首先通过图像变形处理，得到中间图像，使得中间图像中待处理对象的形状与参考对象
的形状接近，然后将经图像变形处理后的原始图像中的待处理对象的纹理映射为参考对象的纹理，得到目标图像。提高了利用生成式对抗网络GAN将形状与参考对象的形状差异大的待处理对象处理为参考对象的类型的图片时的准确性差，另一方面，在生成式对抗网络GAN之外对待处理对象的形状进行处理，不会增加生成式对抗网络GAN的运算复杂度。
[0009]结合第一方面，在第一种可能的实现方式中，上述“对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像”，包括：获取待处理对象的多个第一关键点；获取参考对象的多个第二关键点；根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。
[0010]结合第一方面，在第二种可能的实现方式中，上述“根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像”，包括：根据多个第一关键点和多个第二关键点，得到具有位置对应关系的第一关键点和第二关键点；基于具有位置对应关系的第一关键点和第二关键点获取待处理对象与参考对象的像素点变换矩阵；基于像素点变换矩阵对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。
[0011]结合第一方面，在第三种可能的实现方式中，上述“根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像”，包括：根据多个第一关键点将待处理对象进行三角面片切分；根据多个第二关键点将参考对象进行三角面片切分；获取具有位置对应关系的待处理对象的三角面片和参考对象的三角面片；根据具有位置对应关系的待处理对象的三角面片和参考对象的三角面片，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。
[0012]结合第一方面，在第四种可能的实现方式中，上述“对中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理”，包括：将中间图像输入生成式对抗网络GAN；生成式对抗网络GAN根据参考对象的纹理特征，将中间图像中图像变形处理后的待处理对象的纹理，处理为参考对象的纹理，得到目标图像并输出。
[0013]结合第一方面，在第五种可能的实现方式中，上述“生成式对抗网络GAN根据参考对象的纹理特征，将中间图像中图像变形处理后的待处理对象的纹理，处理为参考对象的纹理，得到目标图像并输出”，包括：生成式对抗网络GAN中的生成网络根据中间图像生成输出图像并将输出图像输入生成式对抗网络GAN中的判别网络；判别网络是基于参考对象构建的；判别网络判断输出图像的真假，并将判断结果反馈给生成网络；生成网络根据判断结果调整生成输出图像的参数，并生成新的输出图像，直至判别网络确定生成网络生成的新的输出图像为真，生成式对抗网络GAN将确定为真的新的输出图像作为目标图像输出。
[0014]根据本公开实施例的第二方面，提供一种图像处理装置，包括：获取模块，被配置为获取原始图像；原始图像包括待处理对象；图像变形处理模块，被配置为对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像；图像纹理处理模块，被配置为对中间图像中图像变形处理后的待处理对象进行纹
理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理，得到目标图像。
[0015]结合第二方面，在第一种可能的实现方式中，获取模块还被配置为：获取待处理对象的多个第一关键点；获取参考对象的多个第二关键点；图像变形处理模块，具体被配置为：根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理。
[0016]结合第二方面，在第二种可能的实现方式中，获取模块还被配置为：根据多个第一关键点和多个第二关键点，得到具有位置对应关系的第一关键点和第二关键点；基于具有位置对应关系的第一关键点和第二关键点获取待处理对象与参考对象的像素点变换矩阵；图像变形处理模块，具体被配置为基于像素点变换矩阵对待处理对象进行图像变形处理，将图像变形处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取原始图像；所述原始图像包括待处理对象；对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像；对所述中间图像中图像变形处理后的所述待处理对象进行纹理处理，将纹理处理后的所述待处理对象的纹理处理为所述参考对象的纹理，得到目标图像。2.根据权利要求1所述的方法，其特征在于，所述对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像，包括：获取所述待处理对象的多个第一关键点；获取所述参考对象的多个第二关键点；根据所述多个第一关键点和所述多个第二关键点，对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像。3.根据权利要求2所述的方法，其特征在于，所述根据所述多个第一关键点和所述多个第二关键点，对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像，包括：根据所述多个第一关键点和所述多个第二关键点，得到具有位置对应关系的第一关键点和第二关键点；基于具有位置对应关系的第一关键点和第二关键点获取所述待处理对象与所述参考对象的像素点变换矩阵；基于所述像素点变换矩阵对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像。4.根据权利要求2所述的方法，其特征在于，所述根据所述多个第一关键点和所述多个第二关键点，对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像，包括：根据所述多个第一关键点将所述待处理对象进行三角面片切分；根据所述多个第二关键点将所述参考对象进行三角面片切分；获取具有位置对应关系的所述待处理对象的三角面片和所述参考对象的三角面片；根据具有位置对应关系的所述待处理对象的三角面片和所述参考对象的三角面片，对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像。5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述中间图像中图像变形处理后的所述待处理对象进行纹理处理，将纹理处理后的所述待处理对象的纹理处...

【专利技术属性】
技术研发人员：郭益林，张知行，黄星，方轲，宋丛礼，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：