一种图像处理方法、装置、设备及介质制造方法及图纸

本申请公开了一种图像处理方法、装置、设备及介质，其中的方法包括：获取样本数据，调用图像处理模型将标注真实人脸图像A

【技术实现步骤摘要】
一种图像处理方法、装置、设备及介质


[0001]本申请涉及计算机
，尤其涉及人工智能
，具体涉及一种图像处理方法、一种图像处理装置、一种图像处理设备以及一种计算机可读存储介质。

技术介绍

[0002]二次元文化在年轻群体中的发展非常迅猛，随着越来越多Z世代(即互联网世代)步入社会，二次元文化将逐渐成为主流，因此，为互联网用户提供二次元定制服务在泛娱乐场景下具有重要意义。二次元定制服务是指向互联网用户提供将真实人脸图像转换为卡通人脸图像的服务。
[0003]基于二次元定制服务的需求，可通过对常规的图像处理模型进行训练，并采用训练好的图像处理模型来响应需求。实践发现，目前针对用于实现二次元定制服务的图像处理模型的训练包括无监督训练和监督训练两种主流方案，无监督训练方案是指从互联网中获取大量的无标注训练数据作为样本数据来对模型进行训练的方案，这种方案训练得到的模型的通用性较差，无法实现卡通风格的定制；而监督训练方案是指通过大量的标注数据作为样本数据进行模型训练的方案，但目前卡通域空间的标注数据需要通过画师绘制，绘制成本较高，这使得监督训练方案的成本较高，通用性较差。由此可见，目前针对二次元定制服务的模型训练效果较差，训练好的模型并不能较好地实现二次元定制服务。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法、装置、设备及介质，可以提升模型训练效果，提升训练好的图像处理模型的通用性和稳定性。
[0005]一方面，本申请实施例提供一种图像处理方法，该图像处理方法包括：<br/>[0006]获取用于模型训练的样本数据，样本数据包括标注真实人脸图像A
i
、与标注真实人脸图像A
i
相匹配的标注卡通人脸图像B
i
，以及非标注真实人脸图像C
i
；
[0007]调用图像处理模型对标注真实人脸图像A
i
进行转换处理，得到标注真实人脸图像A
i
对应的重构卡通人脸图像B'
i
；调用图像处理模型对非标注真实人脸图像C
i
进行转换处理，得到非标注真实人脸图像C
i
对应的重构卡通人脸图像B”i
；并调用图像处理模型对重构卡通人脸图像B”i
进行逆转换处理，得到非标注真实人脸图像C
i
对应的重构真实人脸图像C”i
；以及调用图像处理模型对标注卡通人脸图像B
i
进行逆转换处理，得到标注卡通人脸图像B
i
对应的重构真实人脸图像C'
i
；
[0008]根据重构卡通人脸图像B'
i
与标注卡通人脸图像B
i
之间的差异性获取图像处理模型的第一损失；根据重构卡通人脸图像B'
i
、重构卡通人脸图像B”i
及标注卡通人脸图像B
i
，获取图像处理模型的第二损失；根据非标注真实人脸图像C
i
与重构真实人脸图像C'
i
，获取图像处理模型的第三损失；以及根据非标注真实人脸图像C
i
与重构真实人脸图像C”i
之间的差异性，获取图像处理模型的第四损失；
[0009]基于第一损失、第二损失、第三损失和第四损失，更新图像处理模型的参数以训练
图像处理模型。
[0010]另一方面，本申请实施例提供一种图像处理装置，该图像处理装置包括：
[0011]获取单元，用于获取用于模型训练的样本数据，样本数据包括标注真实人脸图像A
i
、与标注真实人脸图像A
i
相匹配的标注卡通人脸图像B
i
，以及非标注真实人脸图像C
i
；
[0012]处理单元，用于调用图像处理模型对标注真实人脸图像A
i
进行转换处理，得到标注真实人脸图像A
i
对应的重构卡通人脸图像B'
i
；调用图像处理模型对非标注真实人脸图像C
i
进行转换处理，得到非标注真实人脸图像C
i
对应的重构卡通人脸图像B”i
；调用图像处理模型对重构卡通人脸图像B”i
进行逆转换处理，得到非标注真实人脸图像C
i
对应的重构真实人脸图像C”i
；以及调用图像处理模型对标注卡通人脸图像B
i
进行逆转换处理，得到标注卡通人脸图像B
i
对应的重构真实人脸图像C'
i
；
[0013]获取单元，还用于根据重构卡通人脸图像B'
i
与标注卡通人脸图像B
i
之间的差异性获取图像处理模型的第一损失；根据重构卡通人脸图像B'
i
、重构卡通人脸图像B”i
及标注卡通人脸图像B
i
，获取图像处理模型的第二损失；根据非标注真实人脸图像C
i
与重构真实人脸图像C'
i
，获取图像处理模型的第三损失；以及根据非标注真实人脸图像C
i
与重构真实人脸图像C”i
之间的差异性获取图像处理模型的第四损失；
[0014]处理单元，用于基于第一损失、第二损失、第三损失和第四损失，更新图像处理模型的参数以训练图像处理模型。
[0015]在一种实现方式中，获取单元具体用于：
[0016]获取训练数据集，并从训练数据集中采样出用于模型训练的样本数据；
[0017]其中，训练数据集包括标注真实人脸图像集A、标注卡通人脸图像集B及非标注真实人脸图像集C；标注真实人脸图像集A中包括属于真人域空间的N个标注真实人脸图像；标注卡通人脸图像集B中包括属于卡通域空间的N个标注卡通人脸图像；N个标注真实人脸图像与N个标注卡通人脸图像一一配对；非标注真实人脸图像集C中包括属于真人域空间的M个非标注真实人脸图像，M、N均为正整数，且N&lt;&lt;M；
[0018]标注真实人脸图像A
i
是标注真实人脸图像集A中的任一个或多个图像；标注卡通人脸图像B
i
是标注卡通人脸图像集B中的一个或多个图像；非标注真实人脸图像C
i
是非标注真实人脸图像集C中的任一个或多个图像，i为正整数且i≤N。
[0019]在一种实现方式中，图像处理模型包括第一生成器；处理单元具体用于：
[0020]调用第一生成器对标注真实人脸图像A
i
进行转换处理，得到重构卡通人脸图像B'
i
；以及调用第一生成器对非标注真实人脸图像C
i
进行转换处理，得到重构卡通人脸图像B”i
；
[0021]其中，转换处理是指将真人域空间的图像转换至卡通域空间的处理。
[0022]在一种实现方式中，图像处理模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取用于模型训练的样本数据，所述样本数据包括标注真实人脸图像A
i
、与所述标注真实人脸图像A
i
相匹配的标注卡通人脸图像B
i
，以及非标注真实人脸图像C
i
；调用图像处理模型对所述标注真实人脸图像A
i
进行转换处理，得到所述标注真实人脸图像A
i
对应的重构卡通人脸图像B'
i
；调用所述图像处理模型对所述非标注真实人脸图像C
i
进行转换处理，得到所述非标注真实人脸图像C
i
对应的重构卡通人脸图像B”i
；并调用所述图像处理模型对所述重构卡通人脸图像B”i
进行逆转换处理，得到所述非标注真实人脸图像C
i
对应的重构真实人脸图像C”i
；以及调用所述图像处理模型对所述标注卡通人脸图像B
i
进行逆转换处理，得到所述标注卡通人脸图像B
i
对应的重构真实人脸图像C'
i
；根据所述重构卡通人脸图像B'
i
与所述标注卡通人脸图像B
i
之间的差异性获取所述图像处理模型的第一损失；根据所述重构卡通人脸图像B'
i
、所述重构卡通人脸图像B”i
及所述标注卡通人脸图像B
i
，获取所述图像处理模型的第二损失；根据所述非标注真实人脸图像C
i
与所述重构真实人脸图像C'
i
，获取所述图像处理模型的第三损失；以及根据所述非标注真实人脸图像C
i
与所述重构真实人脸图像C”i
之间的差异性，获取所述图像处理模型的第四损失；基于所述第一损失、所述第二损失、所述第三损失和所述第四损失，更新所述图像处理模型的参数以训练所述图像处理模型。2.如权利要求1所述的方法，其特征在于，所述获取用于模型训练的样本数据，包括：获取训练数据集，并从所述训练数据集中采样出用于模型训练的所述样本数据；其中，所述训练数据集包括标注真实人脸图像集A、标注卡通人脸图像集B及非标注真实人脸图像集C；所述标注真实人脸图像集A中包括属于真人域空间的N个标注真实人脸图像；所述标注卡通人脸图像集B中包括属于卡通域空间的N个标注卡通人脸图像；所述N个标注真实人脸图像与所述N个标注卡通人脸图像一一配对；所述非标注真实人脸图像集C中包括属于所述真人域空间的M个非标注真实人脸图像，M、N均为正整数，且N&lt;&lt;M；所述标注真实人脸图像A
i
是所述标注真实人脸图像集A中的任一个或多个图像；所述标注卡通人脸图像B
i
是所述标注卡通人脸图像集B中的一个或多个图像；所述非标注真实人脸图像C
i
是所述非标注真实人脸图像集C中的任一个或多个图像，i为正整数且i≤N。3.如权利要求1或2所述的方法，其特征在于，所述图像处理模型包括第一生成器；所述调用图像处理模型对所述标注真实人脸图像A
i
进行转换处理，得到所述标注真实人脸图像A
i
对应的重构卡通人脸图像B'
i
，包括：调用所述第一生成器对所述标注真实人脸图像A
i
进行转换处理，得到所述重构卡通人脸图像B'
i
；所述调用所述图像处理模型对所述非标注真实人脸图像C
i
进行转换处理，得到所述非标注真实人脸图像C
i
对应的重构卡通人脸图像B”i
，包括：调用所述第一生成器对所述非标注真实人脸图像C
i
进行转换处理，得到所述重构卡通人脸图像B”i
；其中，所述转换处理是指将所述真人域空间的图像转换至所述卡通域空间的处理。4.如权利要求1或2所述的方法，其特征在于，所述图像处理模型包括第二生成器；所述调用所述图像处理模型对所述重构卡通人脸图像B”i
进行逆转换处理，得到所述非标注真实人脸图像C
i
对应的重构真实人脸图像C”i
，包括：调用所述第二生成器对所述重构卡通人脸图像B”i
进行逆转换处理，得到所述重构真实人脸图像C”i
；
所述调用所述图像处理模型对所述标注卡通人脸图像B
i
进行逆转换处理，得到所述标注卡通人脸图像B
i
对应的重构真实人脸图像C'
i
，包括：调用所述第二生成器对所述标注卡通人脸图像B
i
进行逆转换处理，得到所述重构真实人脸图像C'
i
；其中，所述逆转换处理是指将所述卡通域空间的图像转换至所述真人域空间的处理。5.如权利要求1或2所述的方法，其特征在于，所述第一损失包括像素重构损失和视觉重构损失中的至少一种；所述像素重构损失用于衡量所述重构卡通人脸图像B'
i
与所述标注卡通人脸图像B
i
之间在像素维度上的差异性；所述视觉重构损失用于衡量所述重构卡通人脸图像B'
i
与所述标注卡通人脸图像B
i
之间在视觉维度上的差异性；所述图像处理模型包括第一生成器和第二生成器，所述第四损失用于衡量所述第一生成器与所述第二生成器的循环一致性损失。6.权利要求5所述的方法，其特征在于，所述根据所述重构卡通人脸图像B'
i
与所述标注卡通人脸图像B
i
之间的差异性获取所述图像处理模型的第一损失...

【专利技术属性】
技术研发人员：陈健，王超，贲有成，申瑞雪，任国栋，徐昊，程培，俞刚，傅斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：