图像处理方法、装置、设备及存储介质制造方法及图纸

本公开提供了图像处理方法、装置设备及存储介质，涉及人工智能领域，具体为深度学习、计算机视觉技术领域，可应用于人脸图像处理、人脸识别等场景下。具体实现方案为：获取参考图像和目标人员头部图；利用目标人员头部替换参考图像中参考人员头部得到待合成图像，待合成图像包括部分参考背景、目标人员头部，以及位于部分参考背景和目标人员头部之间的待填充区域；对参考图像和待合成图像进行特征提取得到肤色样例特征图和填充样例特征图；基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像。通过提取肤色样例特征图和填充样例特征图用于图像合成使得合成图像更加自然、真实。实。实。

【技术实现步骤摘要】
图像处理方法、装置、设备及存储介质


[0001]本公开涉及人工智能
，具体为深度学习、计算机视觉
，可应用于人脸图像处理、人脸识别等场景下，尤其涉及一种图像处理方法、装置、设备、存储介质以及计算机程序产品。

技术介绍

[0002]随着计算技术以及人工智能发展，藉由融合网络具有肤色对齐、脖子以及背景填充等功能，其被广泛应用于人脸图像编辑和融合等场景下，例如将某人的头像融合到特定人员身体或者特定场景或背景中。

技术实现思路

[0003]本公开提供了一种图像处理方法、装置、设备、存储介质以及计算机程序产品。
[0004]根据本公开的第一方面，提供了一种图像处理方法，包括：获取参考图像和目标人员头部图像，其中，参考图像包括参考背景和参考人员头部；利用目标人员头部替换参考图像中参考人员头部，得到待合成图像，其中，待合成图像包括部分参考背景、目标人员头部，以及位于部分参考背景和目标人员头部之间的待填充区域；对参考图像和待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图；基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像。
[0005]根据本公开的第二方面，提供了一种图像处理装置，包括：获取模块，被配置为获取参考图像和目标人员头部图像，其中，参考图像包括参考背景和参考人员头部；替换模块，被配置为利用目标人员头部图像替换参考图像中参考人员头部，得到待合成图像，其中，待合成图像包括部分参考背景、目标人员头部，以及位于部分参考背景和目标人员头部之间的待填充区域；特征提取模块，被配置为对参考图像和待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图；图像生成模块，被配置为基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像。
[0006]根据本公开的第三方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个出来器执行，以使至少一个处理器能够实现如第一方面中任意实现方式描述的方法。
[0007]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如第一方面中任意实现方式描述的方法。
[0008]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任意实现方式描述的方法。
[0009]本公开提供的一种图像处理方法、装置、设备、存储介质以及计算机程序产品，首先利用目标人员头部替换参考图像中参考人员头部得到待合成图像，然后对参考图像和待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图，最后基于肤色样例特征
图、填充样例特征图和待合成图像生成合成图像，所生成的合成图像更加自然、真实。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是本公开可以应用于其中的示例性系统架构；
[0013]图2是本公开的图像处理方法的一个实施例的流程图；
[0014]图3是本公开的图像处理方法的另一个实施例的流程图；
[0015]图4是本公开图像处理方法的又一个实施例中的流程图；
[0016]图5A是本公开图像处理方法的应用场景示意图；
[0017]图5B是图5A的场景下提取肤色样例特征图和填充样例特征图的示意图；
[0018]图6是本公开图像处理装置的一个实例的结构示意图；
[0019]图7是用来实现本公开实施例的图像处理的方法的电子设备的框图。
具体实施方式
[0020]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0021]图1示出了可以应用本公开的图像处理方法或图像处理装置的实施例的示例性系统架构100。
[0022]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0023]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以获取图像处理结果等。终端设备101、102、103上可以安装有各种客户端应用，例如图像合成应用等等。
[0024]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
[0025]服务器105可以提供各种基于图像合成的服务或应用。例如，服务器105可以对从终端设备101、102、103获取到参考图像和目标人员头部图像进行处理，并生成处理结果(例如生成合成图像)。
[0026]需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0027]需要说明的是，本公开实施例所提供的图像处理方法一般由服务器105执行，相应地，图像处理装置一般设置于服务器105中。
[0028]应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0029]请参考图2，图2示出了本公开实施例提供的一种图像处理方法的流程图，其中流程200包括以下步骤：
[0030]步骤201、获取参考图像和目标人员头部图像。
[0031]在本实施例中，图像处理方法的执行主体(例如图1所示的服务器105)可以获取参考图像和目标人员头部图像。其中，参考图像包括参考背景和参考人员头部。参考图像的获取方式可以是直接用图像传感器采集得到，示例性的，图像传感器可以是摄像头，也可以从存储了大量图像的本地文件中获取。举例来说参考图像可以是以参考人员为目标，以参考人员所在的环境为背景通过摄像头拍摄得到的图像。目标人员头部图像可以从摄像头拍摄的图像中将某一人员的头部区域单独划分出来所得到的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取参考图像和目标人员头部图像，其中，所述参考图像包括参考背景和参考人员头部；利用所述目标人员头部图像替换所述参考图像中参考人员头部，得到待合成图像，其中，所述待合成图像包括部分参考背景、目标人员头部，以及位于所述部分参考背景和所述目标人员头部之间的待填充区域；对所述参考图像和所述待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图；基于所述肤色样例特征图、所述填充样例特征图和所述待合成图像生成合成图像。2.根据权利要求1所述的方法，其中，所述对所述参考图像和所述待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图，包括：利用特征提取网络提取所述参考图像的特征和所述待合成图像的特征；采用注意力机制从所述参考图像的特征和所述待合成图像的特征中提取肤色样例特征图和填充样例特征图。3.根据权利要求2所述的方法，其中，所述采用注意力机制从所提取的所述参考图像和所述待合成图像的特征中提取肤色样例特征图和填充样例特征图，包括：基于所述待合成图像的特征确定目标人员头部特征和待填充区域特征；利用所述目标人员头部特征和所述参考图像的特征计算注意力矩阵，得到颜色注意力特征图；将所述颜色注意力特征图与所述参考图像的特征相乘，得到所述肤色样例特征图；利用所述待填充区域特征和所述参考图像的特征计算注意力矩阵，得到填充区域注意力特征图；将所述填充区域注意力特征图与所述参考图像的特征相乘，得到所述填充样例特征图。4.根据权利要求1
‑
3任一项所述的方法，所述利用所述目标人员头部图像替换所述参考图像中参考人员头部，得到待合成图像，包括：对所述参考图像中的所述参考人员头部进行五官分割，得到头部掩膜，并将所述参考图像中除所述头部掩膜以外的区域作为所述参考背景；对所述头部掩膜进行膨胀，得到膨胀区域，其中，所述膨胀区域的面积大于所述目标人员头部图像的面积；将所述参考背景中与所述膨胀区域不相交的区域确定为所述部分参考背景，将所述目标人员头部图像添加至所述膨胀区域，以及将所述膨胀区域中与所述目标人员头部不相交的区域确定为所述待填充区域；对所述目标人员头部图像、所述部分参考背景、所述待填充区域进行整合，得到所述待合成图像。5.根据权利要求4所述的方法，其中，所述基于肤色样例特征图、填充样例特征图和所述待合成图像生成合成图像，包括：对所述目标人员头部图像进行颜色处理，得到头部灰度图；对所述肤色样例特征图、所述填充样例特征图、所述头部掩膜、所述头部灰度图以及所
述部分参考背景进行合成处理，得到所述合成图像。6.根据权利要求5所述的方法，其中，所述对所述肤色样例特征图、所述填充样例特征图、所述头部掩膜、所述头部灰度图以及所述部分参考背景进行合成处理，得到所述合成图像，包括：对所述肤色样例特征图、所述填充样例特征图、所述头部掩膜、所述头部灰度图以及所述部分参考背景进行拼接，得到拼接图；将所述拼接图输入至预先训练的融合网络中进行融合，得到所述合成图像。7.根据权利要求1所述的方法，其中，所述参考图像还包括除参考人员头部以外的皮肤裸露区域。8.一种图像处理装置，包括：获取模块，被配置为获取参考图像和目标人员头部图像，其中，所述参考图像包括参考背景和参考人员头部；替换模块，被配置为利用所述目标人员头部图像替换所述参考图像中参考人员头部，得到待合成图像，其中，所述待合成图像包括部分参考背景、目标人员头部，以及位于所述部分参考背景和所述目标人员...

【专利技术属性】
技术研发人员：束长勇，刘家铭，洪智滨，韩钧宇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：