图像处理方法及装置、计算机可读存储介质和电子设备制造方法及图纸

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，涉及图像处理技术领域。该图像处理方法包括：获取原始图像和掩码图像，掩码图像用于标识原始图像的待编辑区域；根据待编辑区域确定裁剪框，利用裁剪框对原始图像进行裁剪以得到待编辑子图像，并利用裁剪框对掩码图像进行裁剪以得到掩码子图像；基于待编辑子图像、掩码子图像和文本信息生成编辑后的子图像；将编辑后的子图像与原始图像融合。本公开可以提高图像编辑效果。果。果。

【技术实现步骤摘要】
图像处理方法及装置、计算机可读存储介质和电子设备


[0001]本公开涉及图像处理
，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。

技术介绍

[0002]图像编辑作为用户使用需求较高的一种功能，能够根据用户自身需求对图像进行编辑加工。如在图像上对目标进行新增、删除或替换，修改某个目标的属性(如颜色、发型等)，创意性地替换图像背景等等。
[0003]然而，目前的图像编辑算法可能存在图像编辑效果差的问题。

技术实现思路

[0004]本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服图像编辑效果差的问题。
[0005]根据本公开的第一方面，提供了一种图像处理方法，包括：获取原始图像和掩码图像，掩码图像用于标识原始图像的待编辑区域；根据待编辑区域确定裁剪框，利用裁剪框对原始图像进行裁剪以得到待编辑子图像，并利用裁剪框对掩码图像进行裁剪以得到掩码子图像；基于待编辑子图像、掩码子图像和文本信息生成编辑后的子图像；将编辑后的子图像与原始图像融合。
[0006]根据本公开的第二方面，提供了一种图像处理装置，包括：图像获取模块，用于获取原始图像和掩码图像，掩码图像用于标识原始图像的待编辑区域；图像裁剪模块，用于根据待编辑区域确定裁剪框，利用裁剪框对原始图像进行裁剪以得到待编辑子图像，并利用裁剪框对掩码图像进行裁剪以得到掩码子图像；图像生成模块，用于基于待编辑子图像、掩码子图像和文本信息生成编辑后的子图像；图像融合模块，用于将编辑后的子图像与原始图像融合。
[0007]根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。
[0008]根据本公开的第四方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的图像处理方法。
[0009]在本公开的一些实施例所提供的技术方案中，根据掩码图像中标识的待编辑区域确定裁剪框，利用裁剪框分别对原始图像和掩码图像进行图像裁剪，以得到待编辑子图像和掩码子图像，基于该待编辑子图像和该掩码子图像以及文本信息生成编辑后的子图像，并将编辑后的子图像与原始图像融合，以得到与原始图像对应的编辑后的图像。本公开提供了一种基于图像裁剪操作的文本指导图像编辑方案，相比于一些技术中编辑操作针对的是整张原始图像，本公开的编辑操作针对的是基于裁剪操作而确定出的子图像，图像编辑处理范围的缩小使得后续算法对编辑区域聚焦，可以有效减少编辑失败、编辑错误情况的
发生，提升图像编辑效果，尤其对于编辑区域较小或背景复杂的图像，本公开的方案可以显著优化图像编辑效果。
[0010]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0011]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0012]图1示出了本公开实施方式的实现图像处理方案的系统架构的示意图；
[0013]图2示出了本公开实施方式的图像处理方案的输入和输出的示意图；
[0014]图3示意性示出了本公开一种实施方式的图像处理方案的示意图；
[0015]图4示意性示出了采用图3所示方案后可能出现的编辑失败的示意图；
[0016]图5示意性示出了本公开示例性实施方式的图像处理方法的流程图；
[0017]图6示意性示出了本公开实施例的掩码图像的示意图；
[0018]图7示意性示出了本公开一种实施例的确定裁剪框的过程的示意图；
[0019]图8示意性示出了本公开实施例的矩形框的示意图；
[0020]图9示意性示出了本公开另一种实施例的确定裁剪框的过程的示意图；
[0021]图10示意性示出了与图9对应的确定裁剪框过程的流程图；
[0022]图11示意性示出了本公开实施例的利用裁剪框对原始图像进行裁剪以生成待编辑子图像的示意图；
[0023]图12示意性示出了本公开实施例的利用裁剪框对掩码图像进行裁剪以生成掩码子图像的示意图；
[0024]图13示出了生成编辑后的子图像的方式的示意图；
[0025]图14示意性示出了图13中图像编辑模型的架构图；
[0026]图15示出了与图4场景对应的通过直接融合拼接的方式得到的图像示意图；
[0027]图16示出了本公开实施例的生成填充图像的示意图；
[0028]图17示出了本公开实施例的透明度遮罩图的示意图；
[0029]图18示出了本公开一些实施例的图像融合的过程的示意图；
[0030]图19示出了与图15对应的采用透明度融合算法得到的图像的示意图；
[0031]图20示意性示出了本公开实施方式的图像处理方法的整个处理过程的流程图；
[0032]图21示意性示出了应用本公开示例性的图像处理方案生成的图像的效果图；
[0033]图22示意性示出了本公开示例性实施方式的图像处理装置的方框图；
[0034]图23示意性示出了根据本公开的示例性实施方式的电子设备的方框图。
具体实施方式
[0035]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加
全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
[0036]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0037]附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”等仅是为了区分的目的，不应作为本公开内容的限制。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取原始图像和掩码图像，所述掩码图像用于标识所述原始图像的待编辑区域；根据所述待编辑区域确定裁剪框，利用所述裁剪框对所述原始图像进行裁剪以得到待编辑子图像，并利用所述裁剪框对所述掩码图像进行裁剪以得到掩码子图像；基于所述待编辑子图像、所述掩码子图像和文本信息生成编辑后的子图像；将所述编辑后的子图像与所述原始图像融合。2.根据权利要求1所述的图像处理方法，其特征在于，根据所述待编辑区域确定裁剪框包括：确定所述待编辑区域的最小外接框；根据所述待编辑区域的最小外接框确定所述裁剪框。3.根据权利要求2所述的图像处理方法，其特征在于，根据所述待编辑区域的最小外接框确定所述裁剪框包括：对所述待编辑区域的最小外接框进行等比例放大，以确定出所述裁剪框。4.根据权利要求2所述的图像处理方法，其特征在于，根据所述待编辑区域的最小外接框确定所述裁剪框包括：确定所述待编辑区域在所述待编辑区域的最小外接框中的面积占比；根据所述待编辑区域在所述待编辑区域的最小外接框中的面积占比对所述待编辑区域的最小外接框进行扩张，以确定出所述裁剪框。5.根据权利要求4所述的图像处理方法，其特征在于，根据所述待编辑区域在所述待编辑区域的最小外接框中的面积占比对所述待编辑区域的最小外接框进行扩张，以确定出所述裁剪框，包括：如果所述待编辑区域在所述待编辑区域的最小外接框中的面积占比大于或等于占比阈值，则对所述最小外接框进行一次扩张操作，以得到所述待编辑区域的中间外接框；确定所述待编辑区域在所述中间外接框中的面积占比，如果所述待编辑区域在所述中间外接框中的面积占比大于或等于所述占比阈值，则对所述中间外接框进行所述一次扩张操作，并利用所述一次扩张操作后得到的外接框更新所述中间外接框；如果所述待编辑区域在所述中间外接框中的面积占比小于所述占比阈值，或者所述中间外接框的尺寸与所述原始图像的尺寸相同，则将所述中间外接框确定为所述裁剪框。6.根据权利要求1所述的图像处理方法，其特征在于，基于所述待编辑子图像、所述掩码子图像和文本信息生成编辑后的子图像包括：将所述待编辑子图像缩放至与图像编辑模型的输入尺寸一致的尺寸，以得到第一输入图像；将所述掩码子图像缩放至与所述图像编辑模型的输入尺寸一致的尺寸，以得到第二输入图像；将所述第一输入图像、所述第二输入图像和所述文本信息输入所述图像编辑模型，以生成所述编辑后的子图像。7.根据权利要求6所述的图像处理方法，其特征在于，将所述编辑后的子图像与所述原始图像融合包括：将所述编辑后的子图像缩放至与所述待编辑子图像的尺寸一致的尺寸，以得到待融合
子图像；将所述待融合子图像与所述原始图像融合。8.根据权利要求1所述的图像处理方法，其特征在于，将所述编辑后的子图像与所述原始图像融合包括：利用所述编...

【专利技术属性】
技术研发人员：王瑞琛，马建，陈宸，鲁浩楠，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：