图像处理方法和设备技术

本申请提供了一种图像处理方法和设备，能够获得较好的去除反光的效果，提高背景图像的质量，提升用户体验。该方法包括：获取待处理图像，待处理图像是隔着透明介质对目标对象进行拍摄得到的；基于待处理图像的第一左视图和第一右视图，确定第一指导图，第一指导图包括目标对象的高频信息；将待处理图像和第一指导图输入至训练好的重建网络模型中，得到处理后图像，处理后图像为对待处理图像进行去反射处理得到的图像，其中，重建网络模型是基于样本图像、样本图像的背景图像和样本图像的反射图像进行训练得到的，样本图像的背景图像是未隔着透明介质进行拍摄得到的，样本图像的反射图像是对透明介质进行拍摄得到的。是对透明介质进行拍摄得到的。是对透明介质进行拍摄得到的。

【技术实现步骤摘要】
图像处理方法和设备


[0001]本申请涉及图像
，尤其涉及一种图像处理方法和设备。

技术介绍

[0002]用户在使用终端设备进行拍摄时，经常会拍出由玻璃造成的反射现象，这种反射现象是不美观的，因此用户希望可以将反射去除。上述反射主要是由于用户通过如玻璃、橱窗等透明介质对目标对象进行拍摄时产生的，它不仅会影响图片的质量和使用率，同时也会影响一些计算机视觉任务的处理效果，比如图像分类、检测等。
[0003]目前存在一种去除图像反光区域的方法，通过将单张图像输入至训练好的网络模型，得到预测的背景图像和预测的反射图像，该预测的背景图像即为该单张图像去除反光后的图像。上述方式去除反光的效果不好，得到的背景图像质量较差，导致用户体验感不好。

技术实现思路

[0004]本申请提供了一种图像处理方法和设备，能够获得较好的去除反光的效果，提高背景图像的质量，提升用户体验。
[0005]第一方面，提供了一种图像处理方法，包括：获取待处理图像，待处理图像是隔着透明介质对目标对象进行拍摄得到的；基于待处理图像的第一左视图和第一右视图，确定第一指导图，第一指导图包括目标对象的高频信息；将待处理图像和第一指导图输入至训练好的重建网络模型中，得到处理后图像，处理后图像为对待处理图像进行去反射处理得到的图像，其中，重建网络模型是基于样本图像、样本图像的背景图像和样本图像的反射图像进行训练得到的，样本图像的背景图像是未隔着透明介质进行拍摄得到的，样本图像的反射图像是对透明介质进行拍摄得到的。
[0006]本申请实施例的图像处理方法，通过给训练好的重建网络模型中输入指导图和待处理图像，得到处理后图像，处理后图像为对待处理图像进行去反射处理得到的图像，本申请实施例的方法在对待处理图像进行去反射处理的过程中结合了指导图，由于指导图中包括的目标对象的高频信息(边缘信息)，将指导图与待处理图像均输入至重建网络模型中，重建网络模型可以根据指导图中的信息对待处理图像进行去反射处理，提高了去反射处理效果，从而使得到的处理后图像的图像质量更高，提升用户体验。
[0007]应理解，待处理图像可以由配置了DP传感器的图像处理设备自己拍摄得到(在图像处理设备具备图像采集功能的情况下)，也可以由配置了DP传感器的图像采集设备拍摄得到。
[0008]应理解，由于图像处理设备或图像采集设备配置了DP传感器，因此，可以得到待处理图像的第一左视图和第一右视图。
[0009]应理解，高频信息表示图像中灰度值变化剧烈的区域，对应着图像中的边缘信息。
[0010]结合第一方面，在第一方面的某些实现方式中，上述基于待处理图像的第一左视
图和第一右视图，确定第一指导图，包括：利用立体匹配算法，基于第一左视图和第一右视图，确定第一视差图，第一视差图包括第一左视图和第一右视图的多个像素点之间的视差值；基于第一视差图所包括的多个像素点之间的视差值，确定多个像素点的置信度；基于多个像素点的置信度，对第一视差图的像素值进行处理，得到第一指导图。
[0011]结合第一方面，在第一方面的某些实现方式中，上述利用立体匹配算法，基于第一左视图和第一右视图，确定第一视差图，包括：对第一左视图和第一右视图分别进行边缘提取处理，得到第一左边缘图像和第一右边缘图像；将第一左边缘图像和第一右边缘图像输入至立体匹配算法，得到所述第一视差图。
[0012]应理解，边缘图像是指周围像素灰度有变化的那些像素的集合。第一左边缘图像和第一右边缘图像，是对得到的第一左灰度图像和第一右灰度图像分别进行边缘检测和边缘提取而得到的。例如，基于梯度进行边缘提取，其中，可以采用的梯度膜算子可以为Roberts算子，Sobel算子，Prewitt算子和Krisch算子等。
[0013]结合第一方面，在第一方面的某些实现方式中，在上述将待处理图像和第一指导图输入至训练好的重建网络模型中，得到处理后图像之前，上述方法还包括：获取样本图像、样本图像的背景图像和样本图像的反射图像；基于样本图像的背景图像的第二左视图和第二右视图，确定第二指导图，第二指导图包括背景图像中的高频信息；将样本图像和第二指导图输入至所述重建网络模型中，得到预测背景图像和预测反射图像；基于预测背景图像和样本图像的背景图像之间的差异、预测反射图像和样本图像的反射图像之间的差异，对重建网络模型进行训练，得到训练好的重建网络模型。
[0014]应理解，确定第二指导图的方法有两种，在一种可能的实现方式中，可以基于样本图像的背景图像的第二左视图和第二右视图，确定第二指导图；在另一种可能的实现方式中，可以基于样本图像，确定第二指导图。样本图像是隔着透明介质对目标样本进行拍摄得到的，在拍摄样本图像时，图像处理设备可以获取样本图像的左视图和右视图，因此，图像处理设备可以基于样本图像(即样本图像的左视图和右视图)，确定第二指导图。基于样本图像的背景图像的第二左视图和第二右视图，确定的第二指导图和基于样本图像，确定的第二指导图是相同的。
[0015]结合第一方面，在第一方面的某些实现方式中，上述获取样本图像，包括：对样本图像的背景图像和样本图像的反射图像进行合成处理，得到样本图像。
[0016]应理解，得到样本图像的方法有两种，在一种可能的实现方式中，样本图像是图像处理设备或图像采集设备隔着透明介质对目标样本进行拍摄得到的；在另一种可能的实现方式中，样本图像是通过对样本图像的背景图像和样本图像的反射图像进行合成处理而得到的。
[0017]在模型训练过程中，需要大量的样本图像，逐个拍摄样本图像不仅增加了模型训练人员的工作量，而且耗时较长，人力成本高。通过获取样本图像的背景图像和样本图像的反射图像，将同一样本图像的背景图像和不同的样本图像的发射图像进行合成处理，就会得到基于同一的背景图像的不同样本图像，以此类推，就可以得到更多的样本图像。通过对样本图像的背景图像和样本图像的反射图像进行合成处理可以得到更多的样本图像，可以减轻模型训练人员的工作量，降低人力成本。
[0018]结合第一方面，在第一方面的某些实现方式中，上述对样本图像的背景图像和样
本图像的反射图像进行合成处理，得到所述样本图像，包括：对样本图像的反射图像进行模糊处理，得到样本图像的模糊反射图像；对样本图像的背景图像和样本图像的模糊反射图像进行合成处理，得到样本图像的第一合成图像；基于样本图像的第一合成图像的像素值，对样本图像的模糊反射图像的像素值进行调整，得到样本图像的抑制反射图像；对样本图像的背景图像和样本图像的抑制反射图像进行合成处理，得到样本图像的第二合成图像；对样本图像的第二合成图像的像素值进行调整，得到样本图像。
[0019]应理解，图像处理设备对样本图像的背景图像和样本图像的反射图像进行合成处理，可能会导致样本图像曝光，使样本图像的不清晰，因此需要对样本图像的背景图像和样本图像的反射图像做进一步处理，降低曝光，提高样本图像的背景图像和样本图像的反射图像合成后的图像清晰度，使样本图像的背景图像和样本图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像，所述待处理图像是隔着透明介质对目标对象进行拍摄得到的；基于所述待处理图像的第一左视图和第一右视图，确定第一指导图，所述第一指导图包括所述目标对象的高频信息；将所述待处理图像和所述第一指导图输入至训练好的重建网络模型中，得到处理后图像，所述处理后图像为对所述待处理图像进行去反射处理得到的图像，其中，所述重建网络模型是基于样本图像、所述样本图像的背景图像和所述样本图像的反射图像进行训练得到的，所述样本图像的背景图像是未隔着透明介质进行拍摄得到的，所述样本图像的反射图像是对所述透明介质进行拍摄得到的。2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像的第一左视图和第一右视图，确定第一指导图，包括：利用立体匹配算法，基于所述第一左视图和所述第一右视图，确定第一视差图，所述第一视差图包括所述第一左视图和所述第一右视图的多个像素点之间的视差值；基于所述第一视差图所包括的多个像素点之间的视差值，确定所述多个像素点的置信度；基于所述多个像素点的置信度，对所述第一视差图的像素值进行处理，得到所述第一指导图。3.根据权利要求2所述的方法，其特征在于，所述利用立体匹配算法，基于所述第一左视图和所述第一右视图，确定第一视差图，包括：对所述第一左视图和所述第一右视图分别进行边缘提取处理，得到第一左边缘图像和第一右边缘图像；将所述第一左边缘图像和所述第一右边缘图像输入至所述立体匹配算法，得到所述第一视差图。4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述将所述待处理图像和所述第一指导图输入至训练好的重建网络模型中，得到处理后图像之前，所述方法还包括：获取所述样本图像、所述样本图像的背景图像和所述样本图像的反射图像；基于所述样本图像的背景图像的第二左视图和第二右视图，确定第二指导图，所述第二指导图包括所述背景图像中的高频信息；将所述样本图像和所述第二指导图输入至所述重建网络模型中，得到预测背景图像和预测反射图像；基于所述预测背景图像和所述样本图像的背景图像之间的差异、所述预测反射图像和所述样本图像的反射图像之间的差异，对所述重建网络模型进行训练，得到所述训练好的重建网络模型。5.根据权利要求4所述的方法，其特征在于，所述获取所述样本图像，包括：对所述样本图像的背景图像和所述样本图像的反射图像进行合成处理，得到所述样本图像。6.根据权利要求5所述的方法，其特征在于，所述对所述样本图像的背景图像和所述样本图像的反射图像进行合成处理，得到所述样本图像，包括：对所述样本图像的反射图像进行模糊处理，得到所述样本图像的模糊反射图像；
对所述样本图像的背景图像和所述样本图像的模糊反射图像进行合成处理，得到所述样本图像的第一合成图像；基于所述样本图像的第一合成图像的像素值，对所述样本图像的模糊反射图像的像素值进行调整，得到所述样本图像的抑制反射图像；对所述样本图像的背景图像和所述样本图像的抑制反射图像进行合成处理，得到所述样本图像的第二合成图像；对所述样本图像的第二合成图像的像素值进行调整，得到所述样本图像。7.根据权利要求6所述的方法，其特征在于，所述基于所述样本图像的第一合成图像的像素值，对所述样本图像的模糊反射图像的像素值进行调整，得到所述样本图像的抑制反射图像，包括：基于所述样本图像的第一合成图像的像素值，计算所述样本图像的第一合成图像中像素值大于第一阈值的R通道、G通道和B通道对应的像素值的均值；基于所述R通道、G通道和B通道对应的像素值的均值，对所述样本图像的模糊反射图像的像素值进行调整，得到所述样本图像的抑制反射图像。8.根据权利要求7所述的方法，其特征在于，所述样本图像的抑制反射图像中的像素值等于所述样本图像的模糊反射图像中的像素值减去对应通道的衰减值，各个通道的衰减值是分别基于所述各个通道对应的像素值的均值确定的。9.一种图像处理设备，其特征在于，包括：获取模块：用于获取待处理图像，所述待处理图像是隔着透明介质对目标对...

【专利技术属性】
技术研发人员：史廓，姚洋，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：