图像处理方法及其装置制造方法及图纸

本申请公开了一种图像处理方法及其装置，属于图像数据处理技术领域。该方法包括：获取第一人脸图像；通过N个图像处理网络模型对第一人脸图像并行进行图像处理，得到N个第二人脸图像；其中，N≥2，N个图像处理网络模型中的不同的图像处理网络模型对应不同的图像处理功能；根据用户输入的图像处理参数，对N个第二人脸图像进行融合处理，得到第三人脸图像。得到第三人脸图像。得到第三人脸图像。

【技术实现步骤摘要】
图像处理方法及其装置


[0001]本申请属于图像数据处理
，具体涉及一种图像处理方法及其装置。

技术介绍

[0002]随着移动设备拍照功能的广泛应用，用户需要对拍摄出的人脸图像中的人脸部分进行美颜。目前，通常会利用人脸增强模型对人脸去噪、去模糊、生成细节等来提升人脸清晰度，提升清晰度的人脸图像再通过肤质增强模型对人脸图像中人脸的肤质如祛斑痘、磨皮等。使得人脸增强模型和肤质增强模型通过串联的方式对人脸图像进行处理以达到相应的美化效果，进而会占用移动设备较多的内存。

技术实现思路

[0003]本申请实施例的目的是提供一种图像处理方法及其装置，能够解决模型通过串联的方式对人脸图像处理导致设备内存占用率较高的问题。
[0004]第一方面，本申请实施例提供了一种图像处理方法，该方法包括：获取第一人脸图像；通过N个图像处理网络模型对所述第一人脸图像并行进行图像处理，得到N个第二人脸图像；其中，N≥2，所述N个图像处理网络模型中的不同的图像处理网络模型对应不同的图像处理功能；根据用户输入的图像处理参数，对所述N个第二人脸图像进行融合处理，得到第三人脸图像。
[0005]第二方面，本申请实施例提供了一种图像处理的装置，该装置包括：人脸图像获取模块，用于获取第一人脸图像；人脸图像处理模块，用于通过N个图像处理网络模型对所述第一人脸图像并行进行图像处理，得到N个第二人脸图像；其中，N≥2，所述N个图像处理网络模型中的不同的图像处理网络模型对应不同的图像处理功能；人脸图像得到模块，用于根据用户输入的图像处理参数，对所述N个第二人脸图像进行融合处理，得到第三人脸图像。
[0006]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0007]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0008]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0009]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0010]在本申请实施例中，第一人脸图像输入到图像处理模型中，N个图像处理模型中对第一人脸图像进行处理，得到对应N个图像处理模型的第二人脸图像，再对N个图像处理模
型的第二人脸图像融合成第三人脸图像。通过本申请实施例提供的方式对人脸图像进行处理，能够有效降低移动设备在对图像处理时内存的占用率。
附图说明
[0011]图1是一个实施例中的图像处理方法的应用环境示意图；
[0012]图2是另一个实施例中的图像处理方法的流程框图；
[0013]图3是另一个实施例中的图像处理模型的结构示意图；
[0014]图4是另一个实施例中的图像处理的装置的结构示意图；
[0015]图5是另一个实施例中的一种电子设备的结构示意图；
[0016]图6是另一个实施例中的一种电子设备的硬件结构示意图。
具体实施方式
[0017]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0018]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0019]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的一种图像处理方法及其装置进行详细地说明。
[0020]本申请实施例提供的图像处理方法，可以应用于电子设备100中的应用程序中。其中，电子设备100可以但不限于是各种智能手机、个人计算机、笔记本电脑和平板电脑等。本申请以智能手机为例，使得用户在点击该应用程序对应图标后屏幕110显示如图1所示的操作界面，用户可以通过点击操作界面中的按钮以对人脸图像进行编辑。
[0021]在一个实施例中，如图2所示，提供了一种图像处理方法，本实施例以该方法应用于电子设备进行举例说明。
[0022]步骤201，获取第一人脸图像。
[0023]可选地，用户可以通过电子设备启动相应的应用程序，电子设备的屏幕展示相应的操作界面，具体如图1所示，用户可以点击“拍照”或者“录像”的按钮启动电子设备配置的摄像头以拍摄人脸，电子设备即可获得摄像头输出的第一人脸图像，也可以选取电子设备设置的照片库选取相应的图像作为第一人脸图像。
[0024]步骤202，通过N个图像处理网络模型对第一人脸图像并行进行图像处理，得到N个第二人脸图像；其中，N≥2，N个图像处理网络模型中的不同的图像处理网络模型对应不同的图像处理功能。
[0025]其中，N个图像处理模型中的不同的图像处理模型对应不同的图像处理功能，也就是说，每一个图像处理模型都可以实现某一种美颜功能，例如：滤镜、磨皮以及祛斑痘等功
能。由于每一个网络模型都需要对输入的图像进行预处理如调整图像尺寸、去除图像中的空白区域等。因此每一个网络模型可以共用部分的网络节点以对输入的图像进行预处理，即N个图像处理网络模型共用部分网络节点，以减少每一个网络模型对图像进行重复预处理造成的内存消耗。同样地，共用部分的网络节点也可以是在每一个网络模型完成相应图像处理功能所对应的任务之后的节点，该节点可以对每一个网络模型输出的图像进行后期处理，如统一图像尺寸、调整图像亮度和色彩等。
[0026]具体地，在获取到第一人脸图像之后，第一人脸图像输入到N个图像处理模型中，N个图像处理模型共用的部分网络节点可以对第一人脸图像进行预处理后，将预处理后的第一人脸图像分别输出给N个图像处理模型未共用的部分，使得N个图像处理模型未共用的部分可以对预处理后的第一人脸图像进行并行图像处理，得到N个第二人脸图像。同时，N个第二人脸图像可以与N个图像处理模型一一对应。
[0027]在一个实施例中，为了进一步减少图像处理时电子设备的内存消耗，每一个图像处理模型可以包括N个分支网络模型中一个网络模型和共用的主干网络模型，主干网络模型与第i分支网络模型连接构成第i网络模型。其中，1≤i≤N，主干网络模型为N个图像处理模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一人脸图像；通过N个图像处理网络模型对所述第一人脸图像并行进行图像处理，得到N个第二人脸图像；其中，N≥2，所述N个图像处理网络模型中的不同的图像处理网络模型对应不同的图像处理功能；根据用户输入的图像处理参数，对所述N个第二人脸图像进行融合处理，得到第三人脸图像。2.根据权利要求1所述的方法，其特征在于，所述图像处理参数包括人脸调整参数；所述根据用户输入的图像处理参数，对所述N个第二人脸图像进行融合处理，得到第三人脸图像，包括：根据用户输入的人脸调整参数，获得每一所述第二人脸图像的融合权重值；根据每一所述第二人脸图像的融合权重值，对所述N个第二人脸图像进行加权融合处理，得到第三人脸图像。3.根据权利要求1所述的方法，其特征在于，在所述获取第一人脸图像之前，所述方法还包括：获取第一图像；在所述第一图像包含人脸特征的情况下，从所述第一图像中获取对应人脸区域的待处理图像；将所述待处理图像由原始尺寸调整至对应于所述图像处理模型的设定尺寸，得到所述第一人脸图像；所述得到第三人脸图像之后，所述方法还包括：将所述第三人脸图像的尺寸调整至所述原始尺寸，得到对应所述人脸区域的处理后图像；将所述第一图像中的待处理图像替换为所述处理后图像，得到第二图像。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述N个图像处理网络模型中的第1网络模型为主网络模型，其他的第j网络模型为辅网络模型，2≤j≤N；所述通过N个图像处理模型对所述第一人脸图像并行进行图像处理之前，所述方法还包括：获取对应所述第1网络模型的第1训练样本集；通过所述第1训练样本集训练所述第1网络模型，得到所述第1网络模型的模型参数值，并通过所述第1网络模型的模型参数值更新所述第1网络模型；其中，所述第1网络模型的模型参数值包括所述主干网络模型的第一模型参数值；获取对应所述第j网络模型的第j训练样本集；保持所述主干网络模型不变，通过所述第j训练样本集训练第j网络模型，得到第j网络模型的分支网络模型的第二模型参数值，并通过所述第二模型参数值更新对应的分支网络模型；其中，所述第j网络模型的模型参数值包括所述第一模型参数值和所述第二模型参数值。5.根据权利要求4所述的方法，其特征在于，所述第1网络模型为对应人脸肤质增强功能的网络模型，所述N个图像处理网络模型中的一个辅网络模型为对应人脸增强功能的网络模型；
对应第i网络模型的第i训练样本集包括多个训练样本，其中，1≤i≤N，所述训练样本包括输入图像样本和标签图像样本，不同训练样本集中的第一训练样本对应相同的第一输入图像样本和不同的第一标签图像样本，第i训练样本集中的第一标签图像样本为对所述第一输入图像样本、进行对应于第i网络模型的图像处理功能的图像处理所得到的样本。6.一种图像处理的装置，其特征在于，所述装置包括：人脸图像获取模块，用于获...

【专利技术属性】
技术研发人员：张旭，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：