一种图像融合的方法、模型训练的方法以及相关装置制造方法及图纸

本申请公开了一种图像融合的方法，包括：获取第一待融合图像以及第二待融合图像；根据第一待融合图像获取第一特征集合，根据第二待融合图像获取第二特征集合，第一特征集合包括多个第一编码特征，第二特征集合包括多个第二编码特征；通过形状融合网络模型对第一待融合图像以及第二待融合图像进行融合处理得到第三待融合图像，第三待融合图像包括至少一个第一编码特征以及至少一个第二编码特征；通过条件融合网络模型对第三待融合图像以及第一待融合图像进行融合处理得到目标融合图像。本申请公开了一种模型训练的方法及装置。本申请可快速地对图像中的局部区域进行改变，形成融合图像，融合图像的身份信息与原始输入图像的身份信息未发生变化。

【技术实现步骤摘要】
一种图像融合的方法、模型训练的方法以及相关装置
本申请涉及人工智能
，尤其涉及一种图像融合的方法、模型训练的方法以及相关装置。
技术介绍
人脸融合是指依托人脸识别算法和深度学习引擎，快速精准地定位人脸关键点，将用户上传的照片与特定形象进行面部层面融合，使生成的图片同时具备用户与特定形象的外貌特征。在融合人脸的同时，支持对上传的照片进行识别，可提高活动的安全性，降低业务违规风险。目前，人脸融合的技术主要是利用对抗神经网络生成图像。在人脸图像解缠绕时采用无监督学习的方法，即把人脸图像中的特征划分为若干个语块，每一个语块单独编码某一方面的特征，最后生成融合后的人脸图像。然而，利用对抗神经网络生成的人脸图像不能保证该人脸图像的身份与原始输入的身份一致，从而降低到了人脸识别的准确度。此外，由于在编码的过程中采用无监督方法，因此，只能保证每个语块的独立性，但不能确定每个语块所表示的含义，从而不利于图像融合的灵活性。
技术实现思路
本申请实施例提供了一种图像融合的方法、模型训练的方法以及相关装置，可以快速地对一个图像中的局部区域进行改变，形成融合图像，且融合图像的身份信息与原始输入图像的身份信息本文档来自技高网...

【技术保护点】
1.一种图像融合的方法，其特征在于，包括：获取第一待融合图像以及第二待融合图像，其中，所述第一待融合图像包括多个第一区域，所述第二待融合图像包括多个第二区域；根据所述第一待融合图像获取第一特征集合，且根据所述第二待融合图像获取第二特征集合，其中，所述第一特征集合包括多个第一编码特征，且所述第一编码特征与所述第一区域一一对应，所述第二特征集合包括多个第二编码特征，且所述第二编码特征与所述第二区域一一对应；通过形状融合网络模型对所述第一待融合图像以及所述第二待融合图像进行融合处理，得到第三待融合图像，其中，所述第三待融合图像包括至少一个第一编码特征以及至少一个第二编码特征；通过条件融合网络模型对所...

【技术特征摘要】
1.一种图像融合的方法，其特征在于，包括：获取第一待融合图像以及第二待融合图像，其中，所述第一待融合图像包括多个第一区域，所述第二待融合图像包括多个第二区域；根据所述第一待融合图像获取第一特征集合，且根据所述第二待融合图像获取第二特征集合，其中，所述第一特征集合包括多个第一编码特征，且所述第一编码特征与所述第一区域一一对应，所述第二特征集合包括多个第二编码特征，且所述第二编码特征与所述第二区域一一对应；通过形状融合网络模型对所述第一待融合图像以及所述第二待融合图像进行融合处理，得到第三待融合图像，其中，所述第三待融合图像包括至少一个第一编码特征以及至少一个第二编码特征；通过条件融合网络模型对所述第三待融合图像以及所述第一待融合图像进行融合处理，得到目标融合图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一待融合图像获取第一特征集合，包括：采用解缠绕编码器对所述第一待融合图像中的所述多个第一区域进行编码处理，得到所述多个第一编码特征，其中，所述解缠绕编码器包括多个部件编码器，每个部件编码器用于对一个第一区域进行编码；所述根据所述第二待融合图像获取第二特征集合，包括：采用所述解缠绕编码器对所述第二待融合图像中的所述多个第二区域进行编码处理，得到所述多个第二编码特征，其中，所述解缠绕编码器包括所述多个部件编码器，每个部件编码器用于对一个第二区域进行编码。3.根据权利要求1所述的方法，其特征在于，所述通过形状融合网络模型对所述第一待融合图像以及所述第二待融合图像进行融合处理，得到第三待融合图像之前，所述方法还包括：从所述第一待融合图像中确定待替换区域，其中，所述待替换区域属于所述多个第一区域中的一个区域；根据所述待替换区域获取所述第一待融合图像中的第一待替换编码特征，并根据所述待替换区域获取所述第二待融合图像中的第二待替换编码特征，其中，所述第一待替换编码特征属于所述多个第一编码特征中的一个编码特征，所述第二待替换编码特征属于所述多个第二编码特征中的一个编码特征。4.根据权利要求3所述的方法，其特征在于，所述通过形状融合网络模型对所述第一待融合图像以及所述第二待融合图像进行融合处理，得到第三待融合图像，包括：通过所述形状融合网络模型，将所述第一待融合图像中的所述第一待替换编码特征替换为所述第二待融合图像中的所述第二待替换编码特征，得到待解码图像；通过所述形状融合网络模型，对所述待解码图像进行解码处理，得到所述第三待融合图像。5.根据权利要求3或4所述的方法，其特征在于，所述通过形状融合网络模型对所述第一待融合图像以及所述第二待融合图像进行融合处理，得到第三待融合图像之后，所述方法还包括：通过所述第三待融合图像接收区域调整指令，其中，所述区域调整指令用于调整图像中至少一个区域的形状；响应于所述区域调整指令，对所述待替换区域进行调整，得到所述待替换区域所对应的目标替换区域；根据所述目标替换区域对所述第三待融合图像进行处理，得到第四待融合图像；所述通过条件融合网络模型对所述第三待融合图像以及所述第一待融合图像进行融合处理，得到目标融合图像，包括：通过条件融合网络模型对所述第四待融合图像以及所述第一待融合图像进行融合处理，得到目标融合图像。6.根据权利要求1至4中任一项所述的方法，其特征在于，所述通过条件融合网络模型对所述第三待融合图像以及所述第一待融合图像进行融合处理，得到目标融合图像，包括：对所述第三待融合图像以及所述第一待融合图像进行拼接处理，得到多通道特征图像，其中，所述多通道特征图像用于将至少两个图像的色彩特征进行拼接；通过所述条件融合网络模型获取所述多通道特征图像所对应的所述目标融合图像。7.一种模型训练的方法，其特征在于，包括：获取第一待训练图像的第一特征集合以及第二待训练图像的第二特征集合，其中，所述第一待训练图像包括多个第一训练区域，所述第二待训练图像包括多个第二训练区域，所述第一特征集合包括多个第一编码特征，且所述第一编码特征与所述第一区域一一对应，所述第二特征集合包括多个第二编码特征，且所述第二编码特征与所述第二区域一一对应；通过待训练形状融合网络模型对所述第一待训练图像以及所述第二待训练图像进行融合处理，得到第三待训练图像，其中，所述第三待训练图像包括至少一个第一编码特征以及至少一个第二编码特征；通过待训练条件融合网络模型对所述第三待训练图像以及所述第一待训练图像进行融合处理，得到第四待训练图像；通过所述待训练形状融合网络模型对所述第四待训练图像以及所述第一待训练图像进行融合处理，得到第五待训练图像，其中，所述第五待训练图像与所述第一待训练图像具有对应的特征；通过所述待训练条件融合网络模型对所述第五待训练图像以及所述第四待训练图像进行融合处理，得到目标图像；采用目标损失函数以及所述目标图像，对所述待训练形状融合网络模型以及所述待训练条件融合网络模型进行训练，得到形状融合网络模型以及条件融合网络模型。8.根据权利要求7所述的方法，其特征在于，所述获取第一待训练图像的第一特征集合以及第二待训练图像的第二特征集合之前，所述方法还包括：获取待训练目标图像集合，其中，所述待训练目标图像集合包括至少一个待训练目标图像，每个待训练目标图像包括至少一个区域；通过待训练解缠绕编码器对所述待训练目标图像集合中待训练目标图像的各个区域进行编码处理，得到编码结果，其中，所述待训练解缠绕编码器包括多个待训练部件编码器，每个待训练部件编码器用于对一个区域进行编码；通过待训练解缠绕解码器对所述编码结果进行解码处理，得到解码结果，其中，所述待训练解缠绕解码器包括多个待训练部件解码器，每个待训练部件解码器用于对一个区域进行解码；采用损失函数以及解码结果对所述待训练解缠绕编码器进行训练，得到解缠绕编码器，其中，所述解缠绕编码器包括多个部件编码器；所述获取第一待训练图像的第一特征集合以及第二待训练图像的第二特征集合，包括：获取第一待训练图像以及第二待训练图像；采用所述解缠绕编码器对所述第一待训练图像中的所述多个第一区域进行编码处理，得到所述多个第一编码特征，其中，每个部件编码器用于对一个第一区域进行编码；采用所述解缠绕编码器对所述第二待训练图像中的所述多个第二区域进行编码处理，得到所述多个第二编码特征，其中，每个部件编码器用于对一个第二区域进行编码。9.根据权利要求7所述的方法，其特征在于，所述采用目标损失函数以及所述目标图像，对所述待训练形状融合网络模型以及所述待训练条件融合网络模型进行训练，得到形状融合网络模型以及条件融合网络模型之前，所述方法还包括：根据所述第五待训练图像以及真实图像，确定第一损失函数；根据所述目标图...

【专利技术属性】
技术研发人员：黄浩智，胥森哲，胡事民，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44