一种目标移除制造技术

本申请涉及图像处理技术领域，尤其涉及一种目标移除

【技术实现步骤摘要】
一种目标移除、基于分割大模型的目标移除方法及设备


[0001]本申请涉及图像处理
，尤其涉及一种目标移除
、
基于分割大模型的目标移除方法及设备
。

技术介绍

[0002]在一些应用场景中，为了图像的美观，一般只在图像中保留“主角”，而把一些其他的“非主角”的目标移除，其中，目标可以是树
、
灯
、
人
、
动物
、
车辆等
。
例如，可以将一个图像中的“路人”移除，如果由人工对图像进行
P
图将花费大量的时间，效率极低
。
[0003]随着分割一切模型（
Segment Anything Model
，
SAM
）的出现，
SAM
能够实现对图像中的目标进行分割，但是，
SAM
无法将阴影部分单独分割出来，例如无法将待移除目标的影子单独分割出来，在目标移除过程中也就无法将图像中待移除目标的影子移除
。
也就是说，目前将待移除目标移除之后的目标图像中会包括已经移除的目标的影子，从而导致目标图像不真实
、
不和谐
。
[0004]因此，如何将图像中的待移除目标的影子移除成为亟待解决的问题
。

技术实现思路

[0005]本申请实施例提供了一种目标移除
、
基于分割大模型的目标移除方法及设备，用以解决现有技术中无法将影子移除的问题r/>。
[0006]第一方面，本申请提供了一种目标移除方法，所述方法包括：获取待处理图像，以及所述待处理图像中待移除目标的影子的第一位置信息；对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第一位置信息的候选区域，确定为所述待移除目标的影子对应的第一目标区域；在所述待处理图像中将所述第一目标区域移除，得到目标移除图像
。
[0007]在本申请实施例中，获取待处理图像，以及待处理图像中待移除目标的影子的第一位置信息，由于影子是因为物体遮住了光的传播，不能穿过不透明物体而形成的较暗区域，即饱和度较低的区域，因此，对待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，即筛选出饱和度在预设饱和度范围的像素点构成的候选区域，将包含第一位置信息的候选区域，确定为待移除目标的影子对应的第一目标区域，在待处理图像中将第一目标区域移除，即可得到准确的将待移除目标的影子移除后的目标移除图像
。
[0008]进一步地，所述确定为所述待移除目标的影子对应的第一目标区域之后，所述在所述待处理图像中将所述第一目标区域移除之前，所述方法还包括：获取所述待处理图像中所述待移除目标的第二位置信息；将所述待处理图像输入到分割模型中，确定所述待处理图像中包括的目标对应的移除区域；
将包含所述第二位置信息的移除区域，确定为所述待移除目标对应的第二目标区域；所述在所述待处理图像中将所述第一目标区域移除，得到目标移除图像包括：在所述待处理图像中将所述第一目标区域和所述第二目标区域移除，得到目标移除图像
。
[0009]进一步地，所述在所述待处理图像中将所述第一目标图像移除之前，所述方法还包括：确定所述第一目标区域与所述第二目标区域是否存在重叠区域，若存在，则对所述第一目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠
。
[0010]进一步地，所述方法还包括：将所述目标移除图像输入到图像修复模型中，得到修复图像，所述修复图像为对所述待处理图像中被移除区域进行填充修复后的图像
。
[0011]进一步地，所述将所述目标移除图像输入到图像修复模型中，得到修复图像包括：确定所述第一目标区域在所述待处理图像中对应的影子图像，并基于灰度共生矩阵算法对所述影子图像进行处理，得到目标影子纹理图；将所述目标移除图像和所述目标影子纹理图输入到所述图像修复模型中，所述图像修复模型对所述目标移除图像和所述目标影子纹理图进行下采样处理，得到第一目标移除图像和第一目标影子纹理图；所述图像修复模型对所述第一目标移除图像进行局部特征提取处理和全局特征提取处理，得到局部特征矩阵和全局特征矩阵，并基于局部二值模式算子对所述目标影子纹理图进行处理，得到纹理特征矩阵；将所述纹理特征矩阵和所述局部特征矩阵进行第一融合处理，得到第一融合矩阵，并将所述局部特征矩阵和所述全局特征矩阵进行交叉融合处理，得到第二融合矩阵；基于所述第一融合矩阵和所述第二融合矩阵，确定所述第一目标移除图像对应的第一修复图像；并对所述第一修复图像进行快速傅里叶卷积处理，得到第二修复图像，对所述第二修复图像进行上采样处理，得到所述修复图像
。
[0012]进一步地，所述确定所述第一目标区域在所述待处理图像中对应的影子图像包括：确定所述第一目标区域在所述待处理图像中对应的掩码图，所述掩码图中所述第一目标区域包括的像素点的掩码为1，非所述第一目标区域包括的像素点的掩码为0；将所述掩码图和所述待处理图像相乘，得到所述第一目标区域在所述待处理图像中对应的影子图像
。
[0013]进一步地，若所述待处理图像为视频中的图像帧，所述方法还包括：将所述目标移除图像，以及与所述待处理图像相邻的下一图像帧输入到光流模型中，得到与所述待处理图像相邻的下一图像帧中，所述待移除目标和
/
或所述待移除目标的影子对应的预测区域；将所述下一图像帧更新为待处理图像，并在更新后的待处理图像中将所述待移除目标和
/
或所述待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像
。
[0014]进一步地，所述将所述下一图像帧更新为待处理图像之后，所述在更新后的待处理图像中将所述待移除目标和
/
或所述待移除目标的影子对应的预测区域移除之前，所述
方法还包括：若得到了所述待移除目标的影子对应的预测区域，则对更新后的待处理图像进行滤波处理，确定符合所述预设饱和度范围的像素点构成的候选区域；将与所述待移除目标的影子对应的预测区域存在重叠的候选区域，确定为所述待移除目标的影子对应的第一目标预测区域；使用所述第一目标预测区域对所述待移除目标的影子对应的预测区域进行更新
。
[0015]进一步地，所述将所述下一图像帧更新为待处理图像之后，所述在更新后的待处理图像中将所述待移除目标和
/
或所述待移除目标的影子对应的预测区域移除之前，所述方法还包括：若得到了所述待移除目标对应的预测区域，则将更新后的待处理图像输入到所述分割模型中，确定更新后的待处理图像中包括的目标对应的移除区域；将与所述待移除目标对应的预测区域存在重叠的移除区域，确定为所述待移除目标对应的第二目标预测区域；使用所述第二目标预测区域对所述待移除目标对应的预测区域进行更新
。
[0016]第二方面，本申请实施例还提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种目标移除方法，其特征在于，所述方法包括：获取待处理图像，以及所述待处理图像中待移除目标的影子的第一位置信息；对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第一位置信息的候选区域，确定为所述待移除目标的影子对应的第一目标区域；在所述待处理图像中将所述第一目标区域移除，得到目标移除图像
。2.
根据权利要求1所述的方法，其特征在于，所述确定为所述待移除目标的影子对应的第一目标区域之后，所述在所述待处理图像中将所述第一目标区域移除之前，所述方法还包括：获取所述待处理图像中所述待移除目标的第二位置信息；将所述待处理图像输入到分割模型中，确定所述待处理图像中包括的目标对应的移除区域；将包含所述第二位置信息的移除区域，确定为所述待移除目标对应的第二目标区域；所述在所述待处理图像中将所述第一目标区域移除，得到目标移除图像包括：在所述待处理图像中将所述第一目标区域和所述第二目标区域移除，得到目标移除图像
。3.
根据权利要求2所述的方法，其特征在于，所述在所述待处理图像中将所述第一目标图像移除之前，所述方法还包括：确定所述第一目标区域与所述第二目标区域是否存在重叠区域，若存在，则对所述第一目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠
。4.
根据权利要求1‑3任一项所述的方法，其特征在于，所述方法还包括：将所述目标移除图像输入到图像修复模型中，得到修复图像，所述修复图像为对所述待处理图像中被移除区域进行填充修复后的图像
。5.
根据权利要求4所述的方法，其特征在于，所述将所述目标移除图像输入到图像修复模型中，得到修复图像包括：确定所述第一目标区域在所述待处理图像中对应的影子图像，并基于灰度共生矩阵算法对所述影子图像进行处理，得到目标影子纹理图；将所述目标移除图像和所述目标影子纹理图输入到所述图像修复模型中，所述图像修复模型对所述目标移除图像和所述目标影子纹理图进行下采样处理，得到第一目标移除图像和第一目标影子纹理图；所述图像修复模型对所述第一目标移除图像进行局部特征提取处理和全局特征提取处理，得到局部特征矩阵和全局特征矩阵，并基于局部二值模式算子对所述目标影子纹理图进行处理，得到纹理特征矩阵；将所述纹理特征矩阵和所述局部特征矩阵进行第一融合处理，得到第一融合矩阵，并将所述局部特征矩阵和所述全局特征矩阵进行交叉融合处理，得到第二融合矩阵；基于所述第一融合矩阵和所述第二融合矩阵，确定所述第一目标移除图像对应的第一修复图像；并对所述第一修复图像进行快速傅里叶卷积处理，得到第二修复图像，对所述第二修复图像进行上采样处理，得到所述修复图像
。6.
根据权利要求5所述的方法，其特征在于，所述确定所述第一目标区域在所述待处理图像中对应的影子图像包括：确定所述第一目标区域在所述待处理图像中对应的掩码图，所述掩码图中所述第一目
标区域包括的像素点的掩码为1，非所述第一目标区域包括的像素点的掩码为...

【专利技术属性】
技术研发人员：张玉，刘微，孙萁浩，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：