图像处理方法及装置、计算机可读存储介质和电子设备制造方法及图纸

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，涉及图像处理技术领域。该图像处理方法包括：对待处理图像进行关键点检测，以确定出待处理图像的关键区域掩膜图；结合关键区域掩膜图，对待处理图像进行下采样处理，得到中间特征图；对中间特征图进行上采样处理，得到与待处理图像对应的修复后的图像。本公开可以提高图像修复效果。果。果。

【技术实现步骤摘要】
图像处理方法及装置、计算机可读存储介质和电子设备


[0001]本公开涉及图像处理
，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。

技术介绍

[0002]在图像处理
，由于场景或拍摄装置等原因，可能导致获取到的图像出现不清楚、失真等问题。在这种情况下，可以对图像进行修复，以提高图像质量。
[0003]目前，图像修复的算法普遍存在细节表现不足，修复效果差的问题。

技术实现思路

[0004]本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服图像修复效果差的问题。
[0005]根据本公开的第一方面，提供了一种图像处理方法，包括：对待处理图像进行关键点检测，以确定出待处理图像的关键区域掩膜图；结合关键区域掩膜图，对待处理图像进行下采样处理，得到中间特征图；对中间特征图进行上采样处理，得到与待处理图像对应的修复后的图像。
[0006]根据本公开的第二方面，提供了一种图像处理装置，包括：关键点检测模块，用于对待处理图像进行关键点检测，以确定出待处理图像的关键区域掩膜图；下采样模块，用于结合关键区域掩膜图，对待处理图像进行下采样处理，得到中间特征图；上采样模块，用于对中间特征图进行上采样处理，得到与待处理图像对应的修复后的图像。
[0007]根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。
[0008]根据本公开的第四方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的图像处理方法。
[0009]在本公开的一些实施例所提供的技术方案中，对待处理图像进行关键点检测，以确定出待处理图像的关键区域掩膜图，结合该关键区域掩膜图，对待处理图像进行下采样处理，得到中间特征图，再对该中间特征图进行上采样处理，得到与该待处理图像对应的修复后的图像。本公开方案结合了关键区域掩膜图来实现图像修复，可以更好地恢复关键区域的细节，提高了细节表现力，有助于提升图像修复效果。
[0010]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0011]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开
的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0012]图1示出了应用本公开实施例的图像处理方案的示例性系统架构的示意图；
[0013]图2示出了适于用来实现本公开实施例的电子设备的结构示意图；
[0014]图3示意性示出了根据本公开示例性实施方式的图像处理方法的流程图；
[0015]图4示出了本公开实施例的用于图像处理的网络结构示意图；
[0016]图5示出了本公开实施例的结合关键区域掩膜图的生成网络的结构示意图；
[0017]图6示出了本公开实施例的判别网络的结构示意图；
[0018]图7示意性示出了采用本公开示例性实施方式的图像处理方法对图像进行修复的效果对比图；
[0019]图8示意性示出了根据本公开示例性实施方式的图像处理装置的方框图；
[0020]图9示意性示出了根据本公开另一示例性实施方式的图像处理装置的方框图。
具体实施方式
[0021]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
[0022]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0023]附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”仅是为了区分的目的，不应作为本公开内容的限制。
[0024]图1示出了本公开实施例的图像处理方案的示例性系统架构的示意图。
[0025]如图1所示，系统架构可以包括终端设备1001和服务器1002。终端设备1001与服务器1002可以通过网络连接，网络的连接类型可以例如包括有线、无线通信链路或者光纤电缆等。
[0026]应当理解，终端设备1001和服务器1002的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备和服务器。比如服务器1002可以是多个服务器组成的服务器集群等。服务器1002还可以被称为云端或云端服务器。
[0027]终端设备1001可以通过网络与服务器1002交互，以接收或发送消息等。虽然图1中
以智能手机为例示出，然而，终端设备1001还包括平板电脑、智能可穿戴设备、个人计算机等具有拍摄功能的设备。其中，终端设备1001还可以被称为终端、移动终端、移动端、智能终端等。
[0028]在由终端设备1001执行本公开示例性实施方式的图像处理过程的情况下，首先，终端设备1001可以对待处理图像进行关键点检测，以确定出待处理图像的关键区域掩膜图，再结合该关键区域掩膜图，对待处理图像进行下采样处理，得到中间特征图；接下来，终端设备1001可以对该中间特征图进行上采样处理，得到与待处理图像对应的修复后的图像。
[0029]以待处理图像为人脸图像为例，终端设备1001可以基于关键点检测算法确定出人脸图像中眼睛、鼻子、嘴等的矩形框坐标，以此形成关键区域掩膜图。终端设备1001可以将此掩膜作为注意力，融入下采样处理的过程中。也就是说，结合关键区域掩膜图，对人脸图像进行下采样处理，得到中间特征图。然后，终端设备1001对该中间特征图进行上采样处理，得到与修复后的人脸图像。
[0030]另外，该人脸图像还可以是从原始图像上裁剪得到的图像。本公开对人脸图像或原始图像的来源不做限制，例如，其可以是终端设备1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：对待处理图像进行关键点检测，以确定出所述待处理图像的关键区域掩膜图；结合所述关键区域掩膜图，对所述待处理图像进行下采样处理，得到中间特征图；对所述中间特征图进行上采样处理，得到与所述待处理图像对应的修复后的图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述下采样处理包括多个下采样过程；其中，结合所述关键区域掩膜图，对所述待处理图像进行下采样处理，得到中间特征图，包括：将第i次下采样过程得到的特征图与所述关键区域掩膜图进行融合，并对融合后的特征图执行第i+1次下采样过程，直至所述多个下采样过程执行完毕，以得到所述中间特征图；其中，i为正整数。3.根据权利要求2所述的图像处理方法，其特征在于，将第i次下采样过程得到的特征图与所述关键区域掩膜图进行融合，包括：将所述关键区域掩膜图的尺寸与所述第i次下采样过程得到的特征图的尺寸进行比较；如果所述关键区域掩膜图的尺寸与所述第i次下采样过程得到的特征图的尺寸不匹配，则将所述关键区域掩膜图的尺寸调整为与所述第i次下采样过程得到的特征图的尺寸匹配，并将第i次下采样过程得到的特征图与尺寸调整后的关键区域掩膜图进行融合。4.根据权利要求1所述的图像处理方法，其特征在于，所述待处理图像为人脸图像；其中，所述图像处理方法还包括：获取原始图像；利用一标准人脸数据对所述原始图像进行对齐操作，以在所述原始图像上确定出所述待处理图像的区域；基于所述原始图像上所述待处理图像的区域，对所述原始图像进行裁剪，以得到所述待处理图像和所述原始图像中除所述待处理图像之外的背景图像。5.根据权利要求4所述的图像处理方法，其特征在于，在得到与所述待处理图像对应的修复后的图像之后，所述图像处理方法还包括：将所述修复后的图像与所述背景图像进行拼接，得到与所述原始图像对应的修复人脸区域后的图像。6.根据权利要求1至5中任一项所述的图像处理方法，其特征在...

【专利技术属性】
技术研发人员：杨健榜，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：