图像处理方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供一种图像处理方法、装置、系统及电子设备，其中，方法包括：获取第一人脸图像和第二人脸图像；分别确定所述第一人脸图像和所述第二人脸图像中人脸区域像素点与设定人脸图像中像素点位置的映射关系信息；根据所述第一人脸图像和所述第二人脸图像中人脸区域像素点与所述设定人脸图像中像素点位置的映射关系信息，将所述第二人脸图像中人脸区域像素点对应替换为所述第一人脸图像中人脸区域像素点，形成变换后的第二人脸图像。本发明专利技术实施例的方案，能够实现大角度姿态下的人脸图像换脸，使交换后的人脸姿态和表情更自然，提高图像换脸的泛化能力。

【技术实现步骤摘要】
图像处理方法、装置及电子设备
本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置及电子设备。
技术介绍
图像换脸，是指假设有两张人脸图像分别为人脸图像A和人脸图像B，图像换脸的任务是把人脸图像B中的人脸替换为人脸图像A中的人脸，同时替换后形成的人脸图像仍保持原人脸图像B中人脸的姿态、表情等。图像换脸具有较广大的应用前景，如影视制作方面，通过替身完成整部电视剧或电影的拍摄，后期通过图像换脸技术，对视频的主角进行换脸，降低拍摄成本；用户娱乐方面，用户可以选择自己喜欢的电视剧并将感兴趣的人物替换为自己，从而实现人人都可以做主角，即娱乐了观众，同时又能为网站、业务等等吸引大量的流量等。现有的图像换脸方法主要是将人脸图像A的人脸切分成多个小块面积(比如3mmx3mm)，然后将切分后的小块面积贴合到人脸图像B的人脸相应的位置，实现图像换脸。这种图像换脸方法比较粗糙，并且仅适用于受限场景(如人脸图像具有固定姿态、表情、光照等)条件：首先，对人脸图像B需要精心设计，如姿态必须是正面、表情必须为自然表情、脸型必须为大众脸、人脸图像质量要求较高等；其次本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n获取第一人脸图像和第二人脸图像；/n分别确定所述第一人脸图像和所述第二人脸图像中人脸区域像素点与设定人脸图像中像素点位置的映射关系信息；/n根据所述第一人脸图像和所述第二人脸图像中人脸区域像素点与所述设定人脸图像中像素点位置的映射关系信息，将所述第二人脸图像中人脸区域像素点对应替换为所述第一人脸图像中人脸区域像素点，形成变换后的第二人脸图像。/n

【技术特征摘要】
1.一种图像处理方法，包括：
获取第一人脸图像和第二人脸图像；
分别确定所述第一人脸图像和所述第二人脸图像中人脸区域像素点与设定人脸图像中像素点位置的映射关系信息；
根据所述第一人脸图像和所述第二人脸图像中人脸区域像素点与所述设定人脸图像中像素点位置的映射关系信息，将所述第二人脸图像中人脸区域像素点对应替换为所述第一人脸图像中人脸区域像素点，形成变换后的第二人脸图像。


2.根据权利要求1所述的方法，其中，所述分别确定所述第一人脸图像和所述第二人脸图像中人脸区域像素点与设定人脸图像中像素点位置的映射关系信息包括：
分别确定所述第一人脸图像和所述第二人脸图像中人脸区域像素点变换到所述设定人脸图像中像素点位置所对应的位置变换信息M1和位置变换信息M2。


3.根据权利要求2所述的方法，其中，所述根据所述第一人脸图像和所述第二人脸图像中人脸区域像素点与所述设定人脸图像中像素点位置的映射关系信息，将所述第二人脸图像中人脸区域像素点对应替换为所述第一人脸图像中人脸区域像素点，形成变换后的第二人脸图像包括：
对所述第一人脸图像的人脸区域像素点执行所述位置变换信息M1对应的变换处理，得到所述第一人脸图像对应的设定人脸图像；
确定所述位置变换信息M2对应的位置逆变换信息(M2)-1；
对所述第一人脸图像对应的设定人脸图像中像素点执行所述位置逆变换信息(M2)-1对应的变换处理，得到变换人脸；
以所述变换人脸替换所述第二人脸图像中的人脸区域，形成变换后的第二人脸图像。


4.根据权利要求2所述的方法，其中，所述方法还包括：
对已标注的样本图像中人脸区域像素点变换到所述设定人脸图像中像素点位置所对应的位置变换信息，采用U-Net神经网络进行训练学习，构建U-Net神经网络模型；
所述确定人脸图像中人脸区域像素点变换到设定人脸图像中像素点位置所对应的位置变换信息包括：
采用所述U-Net神经网络模型对所述人脸图像中人脸区域像素点进行模型计算，得到该人脸图像中人脸区域像素点变换到所述设定人脸图像中像素点位置所对应的位置变换信息。


5.根据权利要求1-4任一种所述的方法，其中，所述方法包括：
根据所述第一人脸图像和/或第二人脸图像中的图像肤色对所述变换后的第二人脸图像进行肤色融合处理，得到所述变换后的第二人脸图像对应的肤色融合图像。


6.根据权利要求5所述的方法，其中，所述方法还包括：
分别形成所述第一人脸图像和第二人脸图像对应的拉普拉斯金字塔；
对所述第一人脸图像和第二人脸图像所对应的拉普拉斯金字塔中对应图层进行融合处理，得到融合拉普拉斯金字塔；
所述根据所述第一人脸图像和第二人脸图像中的图像肤色对所述变换后的第二人脸图像进行肤色融合处理，得到所述变换后的第二人脸图像对应的肤色融合图像包括：
构建所述变换后的第二人脸图像对应的高斯金字塔，并从所述高斯金字塔顶层开始自顶向下，采用所述融合拉普拉斯金字塔的相应图层进行图层重构，得到所述变换后的第二人脸图像对应的肤色融合图像。


7.根据权利要求6所述的方法，其中，所述从所述高斯金字塔顶层开始自顶向下，采用所述融合拉普拉斯金字塔的相应图层进行图层重构，得到所述变换后的第二人脸图像对应的肤色融合图像包括：
以所述高斯金字塔的顶层图像作为该图层的肤色融合图像，对所述顶层的肤色融合图像上采样并高斯卷积之后得到下一图层的预测图像；
将所述下一图层的预测图像和所述融合拉普拉斯金字塔中对应图层相加，得到所述下一图层对应的肤色融合图像；
以此类推，直到形成所述高斯金字塔的底层对应的肤色融合图像作为所述变换后的第二人脸图像对应的肤色融合图像。


8.根据权利要求6所述的方法，其中，所述对所述第一人脸图像和第二人脸图像所对应的拉普拉斯金字塔中对应图层进行融合处理，得到融合拉普拉斯金字塔包括：
选取所述对应图层中所述第一人脸图像所对应的拉普拉斯图像中人脸对应的区域，以及所述第二人脸图像所对应的拉普拉斯图像中人脸以外对应的区域进行融合处理，得到所述融合拉普拉斯金字塔。


9.一种图像处理装置，包括：
人脸图像获取模块，用于获取第一人脸图像和第二人脸图像；
映射信息确定模块，用于分别确定...

【专利技术属性】
技术研发人员：吕江靖，李晓波，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY