目标去除模型建立方法、装置及可读存储介质制造方法及图纸

本发明专利技术实施例提出目标去除模型建立方法、装置及可读存储介质。方法包括：将各原始图像分别输入已训练好的目标分割神经网络，将得到的二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络，将得到的目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络，将得到的目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理；调整第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型。本发明专利技术实施例提高了目标去除的精度。精度。精度。

【技术实现步骤摘要】
目标去除模型建立方法、装置及可读存储介质


[0001]本专利技术涉及图像处理
，尤其涉及目标去除模型建立方法、装置及可读存储介质。

技术介绍

[0002]在实际应用中，若图像中存在特定目标如：敏感标志物、水印、商标等，需要将这些目标去除。
[0003]现有的目标去除方法为：S1，先采集图像数据和制作目标移除的Mask掩码图，再制作超分辨图像训练数据集和制作图像修复训练数据集；S2，设计图像超分辨算法模型，并使用步骤S1的制作的超分辨图像训练数据集来训练超分辨算法模型；S3，设计图像修复算法模型，并使用步骤S1的制作的图像修复训练数据集来训练图像修复算法模型；S4，根据步骤S2及步骤S3设计的图像超分辨算法模型和图像修复算法模型来构建图像修复推导框架，然后输入待修复图像和Mask掩码图到所述图像修复推导框架进行计算，得到修复后的图像。这种方法的缺点是：只针对去除水印等相似目标，应用场景受限；且移除效果不佳、局部细节不够逼真。

技术实现思路

[0004]本专利技术实施例提出目标去除模型建立方法、装置及可读存储介质，以提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标去除模型建立方法，其特征在于，该方法包括：获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集；将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像；将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像；将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像；将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果；调整所述目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络、和判别器神经网络构成的模型作为最终使用的目标去除模型。2.根据权利要求1所述的方法，其特征在于，所述获取原始图像集之后、所述将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标分割处理之前，进一步包括：分别对每帧原始图像中的目标和背景进行二值掩膜处理，得到原始图像集对应的二值掩膜标注图像集；将原始图像集中的各原始图像分别输入待训练的目标分割神经网络进行目标分割处理；根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值；根据第一损失函数值调整待训练的目标分割神经网络的参数，直至目标分割神经网络收敛。3.根据权利要求2所述的方法，其特征在于，所述根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值，包括：根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算所述目标分割神经网络的像素角度的损失函数值；计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度；对所述目标分割神经网络的像素角度的损失函数值、所述局部相似度和所述整体相似度进行加权求和计算，得到第一损失函数值。4.根据权利要求3所述的方法，其特征在于，所述根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算所述目标分割神经网络的像素角度
的损失函数值，包括：计算：其中，l
pixel
为所述目标分割神经网络的像素角度的损失函数值，P(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，L(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，ln为自然对数运算符，H、W分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，H、W的单位为像素，α和γ为预设超参数；所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度，包括：计算：其中，l
ssim
为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；I为分别在二值掩膜预测图像和二值掩膜标注图像上滑动的滑动窗的总数，i为滑动窗的序号；
µ
xi
为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值均值，
µ
yi
为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值均值；σ
xi
为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值方差，σ
yi
为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值方差；σ
xyi
表示待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值协方差；C1和C2为预设常数；所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，包括：计算其中，l
iou
为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，P(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，L(a,b)为对应的二值掩膜标注图像上的像素点(a,b)...

【专利技术属性】
技术研发人员：高思斌，范晓，杨作兴，艾国，
申请(专利权)人：深圳比特微电子科技有限公司，
类型：发明
国别省市：