【技术实现步骤摘要】
本公开涉及图像处理技术，具体涉及一种图像处理方法、装置、电子设备和存储介质。
技术介绍
1、相关技术中，当图像画面中出现干扰部分时，处理方案为：识别干扰部分，去除干扰部分，根据干扰部分的周围环境计算干扰部分可能的内容，将推算结果放置到干扰部分对应的待填补部分。
2、然而，若图像中的被干扰部分为独立个体，与周围环境没有直接关联时，将会使补图效果不尽如人意、显得生硬。例如，若被完全干扰、遮挡的地方有个小动物，相关的补图方案将无法测算出该小动物。
技术实现思路
1、本公开的示例性实施例提供的图像处理方法、装置、电子设备和存储介质，至少解决上述技术问题和上文未提及的其它技术问题。
2、根据本公开的一个方面，提供一种图像处理方法，包括：获取输入图像中包含的多个实例区域，其中，所述多个实例区域中的至少一个实例区域为待补图区域；基于所述待补图区域在所述输入图像中确定补丁区域；基于所述补丁区域对待填补图像执行补图操作，得到输出图像，其中，所述待填补图像为不包括所述待补图区域的图像内容的所述输入图像。
3、可选的，所述基于所述待补图区域在所述输入图像中确定补丁区域，包括：在所述多个实例区域中，确定与所述待补图区域相邻的至少一个实例区域为第一实例区域；基于所述多个实例区域间特征点信息的匹配关系获取各实例区域间的对应关系；基于所述各实例区域间的对应关系，在所述多个实例区域中确定与所述第一实例区域相关联的第二实例区域；基于所述第二实例区域中与所述第一实例区域对应的特征点
4、可选的，所述在所述多个实例区域中，确定与所述待补图区域相邻的至少一个实例区域为第一实例区域，包括：获取所述多个实例区域中各实例区域的像素坐标；将各实例区域中有像素坐标在所述待补图区域周围第一预设范围内的至少一个实例区域确定为所述第一实例区域。
5、可选的，所述基于所述第二实例区域中与所述第一实例区域对应的特征点信息，在所述输入图像中提取与所述待补图区域对应的所述补丁区域，包括：基于所述第一实例区域与所述第二实例区域间对应的所述特征点的位置信息，将所述第二实例区域划分为重合区域和参考补丁区域；其中，所述重合区域为所述第二实例区域中，与第一实例区域中的特征点对应的特征点所在的第二预设范围的区域；基于所述参考补丁区域，在所述输入图像中提取与所述待补图区域对应的所述补丁区域。
6、可选的，所述基于所述补丁区域对所述待补图区域执行补图操作，得到输出图像，包括：获取所述待填补图像的图像风格和/或图像色调；对所述补丁区域的图像进行超分辨处理；将所述超分辨处理后的所述补丁区域的图像，与所述图像风格和/或图像色调进行融合，得到参考图像；将所述参考图像和所述待填补图像输入到预设模型中，得到所述输出图像。
7、可选的，所述基于所述补丁区域对所述待补图区域执行补图操作，包括：对所述补丁区域的图像进行预处理，并基于经过预处理的所述补丁区域的图像对所述待补图区域执行补图操作；所述预处理的步骤包括：获取所述待填补图像的图像参数；根据获取的所述图像参数对所述补丁区域的图像执行以下项中的至少一项：缩放，平移，旋转。
8、根据本公开实施例的另一方面，提供一种图像处理装置，包括：实例获取模块，被配置为：获取输入图像中包含的多个实例区域，其中，所述多个实例区域中的至少一个实例区域为待补图区域；补丁确定模块，被配置为：基于所述待补图区域在所述输入图像中确定补丁区域；补图模块，被配置为：基于所述补丁区域对待填补图像执行补图操作，得到输出图像，其中，所述待填补图像为不包括所述待补图区域的图像内容的所述输入图像。
9、可选的，补丁确定模块被配置为：在所述多个实例区域中，确定与所述待补图区域相邻的至少一个实例区域为第一实例区域；基于所述多个实例区域间特征点信息的匹配关系获取各实例区域间的对应关系；基于所述各实例区域间的对应关系，在所述多个实例区域中确定与所述第一实例区域相关联的第二实例区域；基于所述第二实例区域中与所述第一实例区域对应的特征点信息，在所述输入图像中提取与所述待补图区域对应的所述补丁区域。
10、可选的，补丁确定模块被配置为：获取所述多个实例区域中各实例区域的像素坐标；将各实例区域中有像素坐标在所述待补图区域周围第一预设范围内的至少一个实例区域确定为所述第一实例区域。
11、可选的，补丁确定模块被配置为：基于所述第一实例区域与所述第二实例区域间对应的所述特征点的位置信息，将所述第二实例区域划分为重合区域和参考补丁区域；其中，所述重合区域为所述第二实例区域中，与第一实例区域中的特征点对应的特征点所在的第二预设范围的区域；基于所述参考补丁区域，在所述输入图像中提取与所述待补图区域对应的所述补丁区域。
12、可选的，补图模块被配置为：获取所述待填补图像的图像风格和/或图像色调；对所述补丁区域的图像进行超分辨处理；将所述超分辨处理后的所述补丁区域的图像，与所述图像风格和/或图像色调进行融合，得到参考图像；将所述参考图像和所述待填补图像输入到预设模型中，得到所述输出图像。
13、可选的，补图模块被配置为：对所述补丁区域的图像进行预处理，并基于经过预处理的所述补丁区域的图像对所述待补图区域执行补图操作；所述预处理的步骤包括：获取所述待填补图像的图像参数；根据获取的所述图像参数对所述补丁区域的图像执行以下项中的至少一项：缩放，平移，旋转。
14、根据本公开实施例的另一方面，还提供一种电子设备，其中，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行上述的图像处理方法。
15、根据本公开实施例的另一方面，还提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行上述的图像处理方法。
16、本公开实施例提供的技术方案至少带来以下有益效果：
17、根据本公开的图像处理方法、装置、电子设备和存储介质，通过对输入图像中的实例区域进行区分后，根据区分后的实例区域定位待补图区域和补丁区域，最后就可以根据补丁区域对待填补图像(也就是不包括待补图区域的图像内容的输入图像)执行补图操作，得到输出图像，从而对与周围环境没有直接关联的独立个体图像等类似情形进行准确的补图。
18、另外，在确定补丁区域时，可以在对输入图像中的实例区域进行区分后，根据区分后的实例区域定位待补图区域和可能被待补图区域中的实例图像遮挡的第一实例区域，并且可以通过特征点检测和匹配结果得到特征点之间的匹配关系，得到匹配的特征点所在的实例区域间即存在对应关系，基于上述实例间存在的对应关系，可以在输入图像中挑选出和第一实例区域相关联的、可能未被待补图区域中的实例图像遮挡的第二实例区域，由于第一实例区域和第二实例区域之间存在对应特征点的区域可能为图像内容重复的本文档来自技高网...
【技术保护点】
1.一种图像处理方法，其特征在于，包括：
2.如权利要求1所述的图像处理方法，其特征在于，所述基于所述待补图区域在所述输入图像中确定补丁区域，包括：
3.如权利要求1所述的图像处理方法，其特征在于，所述在所述多个实例区域中，确定与所述待补图区域相邻的至少一个实例区域为第一实例区域，包括：
4.如权利要求2所述的图像处理方法，其特征在于，所述基于所述第二实例区域中与所述第一实例区域对应的特征点信息，在所述输入图像中提取与所述待补图区域对应的所述补丁区域，包括：
5.如权利要求1所述的图像处理方法，其特征在于，所述基于所述补丁区域对所述待补图区域执行补图操作，得到输出图像，包括：
6.如权利要求1所述的图像处理方法，其特征在于，所述基于所述补丁区域对所述待补图区域执行补图操作，包括：
7.一种图像处理装置，其特征在于，包括：
8.一种电子设备，其特征在于，包括：
9.一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到6中
...【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
2.如权利要求1所述的图像处理方法，其特征在于，所述基于所述待补图区域在所述输入图像中确定补丁区域，包括：
3.如权利要求1所述的图像处理方法，其特征在于，所述在所述多个实例区域中，确定与所述待补图区域相邻的至少一个实例区域为第一实例区域，包括：
4.如权利要求2所述的图像处理方法，其特征在于，所述基于所述第二实例区域中与所述第一实例区域对应的特征点信息，在所述输入图像中提取与所述待补图区域对应的所述补丁区域，包括：
5....
【专利技术属性】
技术研发人员：罗舒仪，杨逸文，
申请(专利权)人：广州三星通信技术研究有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。