一种用于去除图像反射分量的方法及系统技术方案

本发明专利技术公开了一种用于去除图像反射分量的方法及系统，所述方法包括获取预设的图像处理模型；将待处理图像输入至所述预设的图像处理模型，所述图像处理模型中的第一解码网络、第二解码网络和第三解码网络接收由编码网络处理过的数据后，分别生成预测的传输层图像、与原图通道数相同的alpha混合掩模图像和预测的反射层图像，以所述alpha混合掩模图像为桥梁，将所述预测的传输层图像和反射层图像根据alpha混合掩模图像中对应像素点上的alpha参数为混合参数进行alpha混合，得到去除反射分量的图像。本发明专利技术使用alpha掩模作为桥梁，在训练图像处理模型的阶段，使得最终需要得到的传输层和反射层更好地结合。

A method and system for removing image reflection component

【技术实现步骤摘要】
一种用于去除图像反射分量的方法及系统
本专利技术属于图像处理
，具体涉及一种用于去除图像反射分量的方法及系统。
技术介绍
单幅图像去反射是计算机视觉领域中一个非常有意义的课题。当透过玻璃对玻璃之后的景物进行成像，所成的像中往往会包含有玻璃的反射影像。而如何从这样单张包含反射影像的混合图像中分解得到两张图像(玻璃后的传输图像以及玻璃前的反射图像)，缺少图像先验信息，实际上可以得到无穷多组解，因此是一个ill-posed的问题。目前现有技术提出了多种不同的图像先验来约束解的范围，使其尽可能接近理想的结果。但是这些先验知识大多是基于低层的像素细节的，这使得它们无法适用于更复杂的、更一般化的场景。
技术实现思路
针对上述问题，本专利技术提出一种用于去除图像反射分量的方法及系统，利用来自实际应用场景的数据对图像处理模型进行训练，提高了应用场景上的普适性。为了实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：第一方面，本专利技术提供了一种用于去除图像反射分量的方法，包括：获取预设的图像处理模型；所述图像处理模型包括编码网络，以及分别与所述编码网络相连的第一解码网络、第二解码网络和第三解码网络；将待处理图像输入至所述预设的图像处理模型，所述编码网络对所述待处理图像进行预处理后生成向量数据；所述第一解码网络、第二解码网络和第三解码网络接收所述编码网络输出的向量数据后，分别生成预测的传输层图像、与原图通道数相同的alpha混合掩模图像和预测的反射层图像，以所述alpha混合掩模图像为桥梁，将所述预测的传输层图像和反射层图像根据alpha混合掩模图像中对应像素点上的alpha参数为混合参数进行alpha混合，得到去除反射分量的图像。作为本专利技术的进一步改进，所述编码网络包括多个串联的卷积层，以及与所述卷积层输出端相连的批归一化层和激活层，所述编码网络将接收到的输入图像中的设定信息转换为一连串向量。作为本专利技术的进一步改进，所述第一解码网络、第二解码网络和第三解码网络均包括多个串联的反卷积层，以及与所述反卷积层输出端相连的批归一化层和激活层。作为本专利技术的进一步改进，所述图像处理模型通过以下步骤构建：设定损失函数；建立初始图像处理模型，所述初始图像处理模型中包括编码网络、第一解码网络、第二解码网络和第三解码网络；获取实用场景的数据集，所述实用场景的数据集中包含传输层、反射层、混合图像三者的三元组图像；将所述实用场景的数据集输入至初始图像处理模型，以所述设定损失函数为约束，对所述初始图像处理模型的参数进行训练，获得最终的图像处理模型。作为本专利技术的进一步改进，所述将所述实用场景的数据集输入至初始图像处理模型，以所述设定损失函数为约束，对所述初始图像处理模型的参数进行训练，获得最终的图像处理模型，具体为：将所述实用场景的数据集输入至初始图像处理模型；所述编码网络基于接收到的实用场景的数据，生成一连串向量；所述第一解码网络、第二解码网络和第三解码网络接收编码网络输出的一连串向量，分别生成预测的传输层图像、与原图通道数相同的alpha掩模图像、预测的反射层图像；将所述预测的传输层和反射层根据alpha混合掩模图像中对应像素点上的alpha参数为混合参数进行alpha混合，生成混合图像，与原图像进行对比，计算出损失函数，将计算出的损失函数与预设的损失函数对比，并基于设定的更新规则，更新图像处理模型的网络权值；不断执行上述过程，得到最终的图像处理模型。第二方面，本专利技术提供了一种用于去除图像反射分量的系统，所述：获取单元，用于获取预设的图像处理模型；所述图像处理模型包括编码网络，以及分别与所述编码网络相连的第一解码网络、第二解码网络和第三解码网络；处理单元，用于将待处理图像输入至所述预设的图像处理模型，所述编码网络对所述待处理图像进行预处理后生成向量数据；所述第一解码网络、第二解码网络和第三解码网络接收所述编码网络输出的向量数据后，分别生成预测的传输层图像、与原图通道数相同的alpha混合掩模图像和预测的反射层图像，以所述alpha混合掩模图像为桥梁，将所述预测的传输层图像和反射层图像根据alpha混合掩模图像中对应像素点上的alpha参数为混合参数进行alpha混合，得到去除反射分量的图像。作为本专利技术的进一步改进，所述编码网络包括多个串联的卷积层，以及与所述卷积层输出端相连的批归一化层和激活层，所述编码网络将接收到的输入图像中的设定信息转换为一连串向量；所述第一解码网络、第二解码网络和第三解码网络均包括多个串联的反卷积层，以及与所述反卷积层输出端相连的批归一化层和激活层。作为本专利技术的进一步改进，所述图像处理模型通过以下步骤构建：设定损失函数；建立初始图像处理模型，所述初始图像处理模型中包括编码网络、第一解码网络、第二解码网络和第三解码网络；获取实用场景的数据集，所述实用场景的数据集中包含传输层、反射层、混合图像三者的三元组图像；将所述实用场景的数据集输入至初始图像处理模型，以所述设定损失函数为约束，对所述初始图像处理模型的参数进行训练，获得最终的图像处理模型。作为本专利技术的进一步改进，所述将所述实用场景的数据集输入至初始图像处理模型，以所述设定损失函数为约束，对所述初始图像处理模型的参数进行训练，获得最终的图像处理模型，具体为：将所述实用场景的数据集输入至初始图像处理模型；所述编码网络基于接收到的实用场景的数据，生成一连串向量；所述第一解码网络、第二解码网络和第三解码网络接收编码网络输出的一连串向量，分别生成预测的传输层图像、与原图通道数相同的alpha掩模图像、预测的反射层图像；将所述预测的传输层和反射层根据alpha混合掩模图像中对应像素点上的alpha参数为混合参数进行alpha混合，生成混合图像，与原图像进行对比，计算出损失函数，将计算出的损失函数与预设的损失函数对比，并基于设定的更新规则，更新图像处理模型的网络权值；不断执行上述过程，得到最终的图像处理模型。与现有技术相比，本专利技术的有益效果：(1)相比传统方法，本专利技术中采用的是来自实际应用场景的数据对图像处理模型进行训练，提高了算法在应用场景上的普适性。(2)相比利用低级图像信息的传统方法，本专利技术应用了更高级的图像信息，恢复结果效果的更好。(3)本专利技术使用alpha掩模作为桥梁，在训练图像处理模型的阶段，使得最终需要得到的传输层和反射层更好地结合。附图说明为了使本专利技术的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本专利技术作进一步详细的说明，其中：图1为本专利技术一种实施例的用于去除图像反射分量方法的原理示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术本文档来自技高网...

【技术保护点】
1.一种用于去除图像反射分量的方法，其特征在于，包括：/n获取预设的图像处理模型；所述图像处理模型包括编码网络，以及分别与所述编码网络相连的第一解码网络、第二解码网络和第三解码网络；/n将待处理图像输入至所述预设的图像处理模型，所述编码网络对所述待处理图像进行预处理后生成向量数据；所述第一解码网络、第二解码网络和第三解码网络接收所述编码网络输出的向量数据后，分别生成预测的传输层图像、与原图通道数相同的alpha混合掩模图像和预测的反射层图像，以所述alpha混合掩模图像为桥梁，将所述预测的传输层图像和反射层图像根据alpha混合掩模图像中对应像素点上的alpha参数为混合参数进行alpha混合，得到去除反射分量的图像。/n

【技术特征摘要】
1.一种用于去除图像反射分量的方法，其特征在于，包括：
获取预设的图像处理模型；所述图像处理模型包括编码网络，以及分别与所述编码网络相连的第一解码网络、第二解码网络和第三解码网络；
将待处理图像输入至所述预设的图像处理模型，所述编码网络对所述待处理图像进行预处理后生成向量数据；所述第一解码网络、第二解码网络和第三解码网络接收所述编码网络输出的向量数据后，分别生成预测的传输层图像、与原图通道数相同的alpha混合掩模图像和预测的反射层图像，以所述alpha混合掩模图像为桥梁，将所述预测的传输层图像和反射层图像根据alpha混合掩模图像中对应像素点上的alpha参数为混合参数进行alpha混合，得到去除反射分量的图像。


2.根据权利要求1所述的一种用于去除图像反射分量的方法，其特征在于：所述编码网络包括多个串联的卷积层，以及与所述卷积层输出端相连的批归一化层和激活层，所述编码网络将接收到的输入图像中的设定信息转换为一连串向量。


3.根据权利要求2所述的一种用于去除图像反射分量的方法，其特征在于：所述第一解码网络、第二解码网络和第三解码网络均包括多个串联的反卷积层，以及与所述反卷积层输出端相连的批归一化层和激活层。


4.根据权利要求1所述的一种用于去除图像反射分量的方法，其特征在于：所述图像处理模型通过以下步骤构建：
设定损失函数；
建立初始图像处理模型，所述初始图像处理模型中包括编码网络、第一解码网络、第二解码网络和第三解码网络；
获取实用场景的数据集，所述实用场景的数据集中包含传输层、反射层、混合图像三者的三元组图像；
将所述实用场景的数据集输入至初始图像处理模型，以所述设定损失函数为约束，对所述初始图像处理模型的参数进行训练，获得最终的图像处理模型。


5.根据权利要求4所述的一种用于去除图像反射分量的方法，其特征在于：所述将所述实用场景的数据集输入至初始图像处理模型，以所述设定损失函数为约束，对所述初始图像处理模型的参数进行训练，获得最终的图像处理模型，具体为：
将所述实用场景的数据集输入至初始图像处理模型；
所述编码网络基于接收到的实用场景的数据，生成一连串向量；
所述第一解码网络、第二解码网络和第三解码网络接收编码网络输出的一连串向量，分别生成预测的传输层图像、与原图通道数相同的alpha掩模图像、预测的反射层图像；
将所述预测的传输层和反射层根据alpha混合掩模图像中对应像素点上的alpha参数为混合参数进行alpha混合，生成混合图像，与原图像进行对比，计算出损失函数，将计算出的损失函数与预设的损失函数对比，并基于设定的更新规则，更新图像处理模型的网络权值；
不断执行上述过...

【专利技术属性】
技术研发人员：林斌，张梦玥，
申请(专利权)人：苏州江奥光电科技有限公司，
类型：发明
国别省市：江苏;32