目标对象融合方法、装置、电子设备及存储介质制造方法及图纸

本公开提供一种目标对象融合方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及深度学习、图像处理、计算机视觉技术领域，可应用于人脸识别等场景。具体实现方案包括：获取第一图像中的目标对象的第一关键点、第一关键点的置信度、和第二图像中的目标对象的第二关键点；根据第一关键点中的第三关键点，将第一图像与第三图像对齐，得到对齐后的第四图像，第三关键点的置信度满足第一预设条件；根据第二关键点，将第二图像与第三图像对齐，得到对齐后的第五图像；通过预设的融合模型将第四图像中的目标对象替换为第五图像中的目标对象，得到融合图像。本公开可以提升目标对象图像融合的效果。目标对象图像融合的效果。目标对象图像融合的效果。

【技术实现步骤摘要】
目标对象融合方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，具体涉及深度学习、图像处理、计算机视觉
，可应用于人脸识别等场景，尤其涉及一种目标对象融合方法、装置、电子设备及存储介质。

技术介绍

[0002]人脸融合技术是一种可以将目标人脸图像(如用户1的人脸图像)替换为其他人脸图像(如用户2的人脸图像)的技术，该技术被广泛应用于广告、或者影视作品、又或者娱乐节目等进行人脸替换，以及人脸识别(face recognition)、表情识别(expression recognition)等场景中。
[0003]目前，人脸融合的主流实现方案中可以对包含目标人脸的图像和包含其他人脸的图像进行人脸关键点检测，得到目标人脸的人脸关键点和其他人脸的人脸关键点；然后可以根据目标人脸的人脸关键点和其他人脸的人脸关键点，将目标人脸替换为其他人脸。

技术实现思路

[0004]本公开提供了一种目标对象融合方法、装置、电子设备及存储介质，可以提升目标对象图像融合的效果。
[0005]根据本公开的第一方面，提供了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标对象融合方法，其特征在于，所述方法包括：获取第一图像中的目标对象的第一关键点、所述第一关键点的置信度、和第二图像中的目标对象的第二关键点；根据所述第一关键点中的第三关键点，将所述第一图像与第三图像对齐，得到对齐后的第四图像，所述第三关键点的置信度满足第一预设条件；根据所述第二关键点，将所述第二图像与所述第三图像对齐，得到对齐后的第五图像；通过预设的融合模型将所述第四图像中的目标对象替换为所述第五图像中的目标对象，得到融合图像。2.根据权利要求1所述的方法，其特征在于，所述第一预设条件包括：置信度大于第一置信度阈值。3.根据权利要求2所述的方法，其特征在于，所述第一置信度阈值为按照从高到低的顺序，排序在第K位的置信度的值；所述K为大于3的整数。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述方法还包括：获取所述第二关键点的置信度；所述根据所述第二关键点，将所述第二图像与所述第三图像对齐，得到对齐后的第五图像，包括：根据所述第二关键点中的第四关键点，将所述第二图像与所述第三图像对齐，得到所述第五图像，所述第四关键点的置信度满足第二预设条件。5.一种目标对象融合方法，其特征在于，所述方法包括：获取第一图像中的目标对象的第一关键点、第二图像中的目标对象的第二关键点、和所述第二关键点的置信度；根据所述第一关键点，将所述第一图像与第三图像对齐，得到对齐后的第四图像；根据所述第二关键点中的第四关键点，将所述第二图像与所述第三图像对齐，得到对齐后的第五图像，所述第四关键点的置信度满足第二预设条件；通过预设的融合模型将所述第四图像中的目标对象替换为所述第五图像中的目标对象，得到融合图像。6.根据权利要求4或5所述的方法，其特征在于，所述第二预设条件，包括：置信度大于第二置信度阈值。7.根据权利要求6所述的方法，其特征在于，所述第二置信度阈值为按照从高到低的顺序，排序在第H位的置信度的值；所述H为大于3的整数。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述第一图像为视频中的第T帧图像；所述方法还包括：当所述第T帧图像中的第一关键点检测失败时，根据所述视频中的第(T
‑
c)帧图像和第(T+c)帧图像中确定的第一关键点，确定所述第T帧图像中的第一关键点；c为大于0的整数。9.根据权利要求1
‑
8任一项所述的方法，其特征在于，所述融合模型是采用与所述第三图像对齐后的样本第一图像和与所述第三图像对齐后的样本第二图像对融合网络进行训练得到的；所述方法还包括：分别将样本第一图像和样本第二图像与所述第三图像进行对齐，得到对齐后的样本第一图像和对齐后的样本第二图像；
将所述对齐后的样本第二图像输入目标对象识别器，得到所述目标对象识别器输出的第一特征向量，所述第一特征向量是所述对齐后的样本第二图像中的第二目标对象对应的特征向量；将所述对齐后的样本第一图像和所述第一特征向量输入融合网络，得到所述融合网络输出的融合后的样本第一图像；将所述融合后的样本第一图像输入所述目标对象识别器，得到所述目标对象识别器输出的第二特征向量，所述第二特征向量是所述融合后的样本第一图像中的第二目标对象对应的特征向量；根据所述第一特征向量和所述第二特征向量之间的损失，对所述融合网络的参数进行更新。10.根据权利要求9所述的方法，其特征在于，所述将所述对齐后的样本第一图像输入融合网络之前，所述方法还包括：对所述对齐后的样本第一图像进行仿射变换。11.根据权利要求10所述的方法，其特征在于，所述仿射变换包括以下一种或多种：平移、缩放、翻转、旋转和剪切。12.根据权利要求10或11所述的方法，其特征在于，所述将所述融合后的样本第一图像输入所述目标对象识别器之前，所述方法还包括：根据对所述对齐后的样本第一图像进行仿射变换时所使用的仿射变换矩阵的逆，对所述融合后的样本第一图像进行逆仿射变换。13.根据权利要求9
‑
12任一项所述的方法，其特征在于，所述将所述融合后的样本第一图像输入所述目标对象识别器之前，所述方法还包括：屏蔽所述融合后的样本第一图像中的非人脸区域的梯度。14.一种目标对象融合装置，其特征在于，所述装置包括：获取单元，用于获取第一图像中的目标对象的第一关键点、所述第一关键点的置信度、和第二图像中的目标对象的第二关键点；预处理单元，用于根据所述第一关键点中的第三关键点，将所述第一图像与第三图像对齐，得到对齐后的第四图像，所述第三关键点的置信度满足第一预设条件；根据所述第二关键点，将所述第二图像与所述第三图...

【专利技术属性】
技术研发人员：颜剑锋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：