本申请适用于图像处理技术领域，提供了一种图像的处理方法、装置、终端设备和可读存储介质。上述图像的处理方法包括：获取待处理图像，待处理图像中包含遮挡物；将待处理图像输入SAM图像分割模型，得到遮挡物的掩膜；将待处理图像以及遮挡物的掩膜输入LaMa图像修复模型，得到修复图像，修复图像为所述待处理图像被所述遮挡物遮挡之前的图像。本申请实施例利用SAM图像分割模型在待处理图像上分割出遮挡物的掩膜，并利用LaMa图像修复模型，根据待处理图像以及遮挡物的掩膜对待处理图像进行修复，得到修复图像，适用于绝大部分被遮挡物遮挡的图像，能提高对遮挡物的去除准确率。能提高对遮挡物的去除准确率。能提高对遮挡物的去除准确率。
【技术实现步骤摘要】
图像的处理方法、装置、终端设备和可读存储介质
[0001]本申请属于图像处理
，尤其涉及一种图像的处理方法、装置、终端设备和可读存储介质。
技术介绍
[0002]随着智能终端的普及，越来越多的人在网络上向其他人分享图像。由于多种原因，人们分享的图像中可能存在各种各样的遮挡物(例如水印、弹幕等)，影响了图像的观感。
[0003]在相关技术中，通常是将图像中的遮挡物与遮挡物模板进行匹配，匹配成功后确定出遮挡物，进而去除图像中的遮挡物。但遮挡物的种类多种多样，有很多遮挡物不存在对应的遮挡物模板，此时这些遮挡物就无法被确定出来，从而导致这些遮挡物无法被准确去除，也即相关技术对遮挡物的去除准确率不高。
技术实现思路
[0004]本申请实施例提供一种图像的处理方法、装置、终端设备和可读存储介质，可以解决相关技术对遮挡物的去除准确率不高的问题。
[0005]第一方面，本申请实施例提供了一种图像的处理方法，包括：
[0006]获取待处理图像，待处理图像中包含遮挡物；
[0007]将待处理图像输入SAM图像分割模型，得到遮挡物的掩膜；
[0008]将待处理图像以及遮挡物的掩膜输入LaMa图像修复模型，得到修复图像，修复图像为所述待处理图像被所述遮挡物遮挡之前的图像。
[0009]在本申请的一些实施方式中，上述将待处理图像输入SAM图像分割模型，得到遮挡物的掩膜，包括：将待处理图像输入SAM图像分割模型的编码器，得到待处理图像的特征图；接收输入的选择提示，对选择提示进行编码，得到编码后的选择提示，选择提示包括点击提示、框选提示中的一种或多种，选择提示用于确定遮挡物在待处理图像上的范围；将待处理图像的特征图以及编码后的选择提示输入SAM图像分割模型的解码器，得到遮挡物的掩膜。
[0010]在本申请的一些实施方式中，在上述将待处理图像输入SAM图像分割模型，得到遮挡物的掩膜之前，上述方法还包括；获取训练集，训练集包括若干包含遮挡物的待处理图像；利用训练集对SAM图像分割模型进行训练。
[0011]在本申请的一些实施方式中，上述利用训练集对SAM图像分割模型进行训练，包括：在训练集中的待处理图像上合成不同的遮挡物，得到新的待处理图像；基于新的待处理图像对训练集进行扩充，得到扩充后的训练集；利用扩充后的训练集对SAM图像分割模型进行训练。
[0012]在本申请的一些实施方式中，上述将待处理图像以及遮挡物的掩膜输入LaMa图像修复模型，得到修复图像，包括：将待处理图像以及遮挡物的掩膜输入LaMa图像修复模型，对遮挡物的掩膜进行取反并与待处理图像相乘，得到被掩膜覆盖的待处理图像；对被掩膜覆盖的待处理图像进行快速傅立叶卷积处理，得到待处理图像的局部信息以及全局信息；
对局部信息以及全局信息进行交叉融合，得到修复图像。
[0013]第二方面，本申请实施例提供了一种图像的处理装置，包括：
[0014]获取模块，用于获取待处理图像，待处理图像中包含遮挡物；
[0015]分割模块，用于将待处理图像输入SAM图像分割模型，得到遮挡物的掩膜；
[0016]修复模块，用于将待处理图像以及遮挡物的掩膜输入LaMa图像修复模型，得到修复图像，修复图像为待处理图像被遮挡物遮挡之前的图像。
[0017]在本申请的一些实施方式中，上述分割模块还用于：将待处理图像输入SAM图像分割模型的图像编码器，得到待处理图像的特征图；接收输入的选择提示，利用提示编码器对选择提示进行编码，得到编码后的选择提示，选择提示包括点击提示、框选提示中的一种或多种，选择提示用于确定遮挡物在待处理图像上的范围；将待处理图像的特征图以及编码后的选择提示输入SAM图像分割模型的掩膜解码器，得到遮挡物的掩膜。
[0018]在本申请的一些实施方式中，上述修复模块还用于：将待处理图像以及遮挡物的掩膜输入LaMa图像修复模型，对遮挡物的掩膜进行取反并与待处理图像相乘，得到被掩膜覆盖的待处理图像；对被掩膜覆盖的待处理图像进行快速傅立叶卷积处理，得到待处理图像的局部信息以及全局信息；对局部信息以及全局信息进行交叉融合，得到修复图像。
[0019]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像的处理方法的步骤。
[0020]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像的处理方法的步骤。
[0021]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述图像的处理方法。
[0022]本申请实施例与现有技术相比的有益效果是：本申请实施例利用SAM图像分割模型在待处理图像上分割出遮挡物的掩膜，并利用LaMa图像修复模型，根据待处理图像以及遮挡物的掩膜对待处理图像进行修复，得到修复图像，适用于绝大部分被遮挡物遮挡的图像，能提高对遮挡物的去除准确率。
附图说明
[0023]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是本申请实施例提供的一种图像的处理方法的实现流程示意图；
[0025]图2是本申请实施例提供的得到遮挡物的掩膜的实现流程示意图；
[0026]图3是本申请实施例提供的SAM图像分割模型的结构示意图；
[0027]图4是本申请实施例提供的得到修复图像的实现流程示意图；
[0028]图5是本申请实施例提供的训练SAM图像分割模型的实现流程示意图；
[0029]图6是本申请实施例提供的对训练集进行扩充的实现流程示意图；
[0030]图7是本申请实施例提供的一种图像的处理装置的结构示意图；
[0031]图8是本申请实施例提供的终端设备的结构示意图。
具体实施方式
[0032]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进移动一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护。
[0033]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、终端、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本申请的权利要求书、说明书以及说明书附本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像的处理方法，其特征在于，包括：获取待处理图像，所述待处理图像中包含遮挡物；将所述待处理图像输入SAM图像分割模型，得到所述遮挡物的掩膜；将所述待处理图像以及所述遮挡物的掩膜输入LaMa图像修复模型，得到修复图像，所述修复图像为所述待处理图像被所述遮挡物遮挡之前的图像。2.如权利要求1所述的图像的处理方法，其特征在于，所述将所述待处理图像输入SAM图像分割模型，得到所述遮挡物的掩膜，包括：将所述待处理图像输入所述SAM图像分割模型的图像编码器，得到待处理图像的特征图；接收输入的选择提示，利用提示编码器对所述选择提示进行编码，得到编码后的选择提示，所述选择提示包括点击提示、框选提示中的一种或多种，所述选择提示用于确定所述遮挡物在所述待处理图像上的范围；将所述待处理图像的特征图以及所述编码后的选择提示输入所述SAM图像分割模型的掩膜解码器，得到所述遮挡物的掩膜。3.如权利要求1所述的图像的处理方法，其特征在于，在所述将所述待处理图像输入SAM图像分割模型，得到所述遮挡物的掩膜之前，所述方法还包括；获取训练集，所述训练集包括若干包含所述遮挡物的待处理图像；利用所述训练集对所述SAM图像分割模型进行训练。4.如权利要求3所述的图像的处理方法，其特征在于，所述利用所述训练集对所述SAM图像分割模型进行训练，包括：在所述训练集中的所述待处理图像上合成不同的所述遮挡物，得到新的待处理图像；基于所述新的待处理图像对所述训练集进行扩充，得到扩充后的训练集；利用所述扩充后的训练集对所述SAM图像分割模型进行训练。5.如权利要求1所述的图像的处理方法，其特征在于，所述将所述待处理图像以及所述遮挡物的掩膜输入LaMa图像修复模型，得到修复图像，包括：将所述待处理图像以及所述遮挡物的掩膜输入LaMa图像修复模型，对所述遮挡物的掩膜进行取反并与所述待处理图像相乘，得到被掩膜覆盖的待处理图像；对所述被掩膜覆盖的待处理图像...
【专利技术属性】
技术研发人员：冯智辉，
申请(专利权)人：深圳软牛科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。