一种基于深度残差优化的立体图像颜色校正方法及系统技术方案

本发明专利技术涉及一种基于深度残差优化的立体图像颜色校正方法，包括以下步骤：S1：对数据集中无失真立体图像的左或右视图进行颜色失真处理，产生失真立体图像，建立包括无失真立体图像和失真立体图像的训练集；S2：用立体匹配模型计算所有失真立体图像的视差图，利用图像变形技术生成初始化匹配图像；S3：构建基于神经网络的颜色校正残差图优化模型，将残差图作为模型的输入，并设计损失函数；S4：使用损失函数训练模型，通过最小化损失函数学习模型的最优参数，得到训练好的模型；S5：用训练好的模型对待校正的失真立体图像进行颜色校正。该方法及系统有利于提高颜色校正结果与参考图像的颜色一致性，并保持与目标图像的结构一致性。

【技术实现步骤摘要】
一种基于深度残差优化的立体图像颜色校正方法及系统
本专利技术涉及图像处理和计算机视觉领域，特别是一种基于深度残差优化的立体图像颜色校正方法及系统。
技术介绍
随着多媒体技术和计算机视觉的不断发展，立体视觉带来的视觉效果使其得到了广泛关注并迅速发展。相较于传统的二维图像的平面感，立体图像带给人们的是更加真实和自然的视觉体验。在针对一些特定的研究时，如立体视觉、全景图像拼接、医学图像分析与遥感图像融合，人们希望从图像采集设备中得到的图像序列有较好的颜色一致性。但是，由于受图像采集设备、光源分布变化和物体表面漫反射等因素的影响，摄像机在不同视点下拍摄的相同物体的亮度和颜色可能存在较大差异。人类视觉系统具有颜色恒常性，能在一定程度上消除各种颜色差异的影响，正确感知物体固有的颜色。而使用计算机进行图像分析时，这种差异不仅会影响到与颜色一致性有关的后期制作，在双目立体视觉中也会影响到深度信息重建，进而使观众感到视觉疲劳。因此计算机系统也需要具备对图像间的这种差异进行处理的能力，否则会影响后续处理的效果。图像颜色校正算法的应用领域十分广泛，目前已经在本文档来自技高网...

【技术保护点】
1.一种基于深度残差优化的立体图像颜色校正方法，其特征在于，包括以下步骤：/n步骤S1：对数据集中无失真立体图像的左或右视图进行颜色失真处理，产生具有颜色差异的失真立体图像，失真立体图像中进行了颜色失真处理的视图为目标图像，另一个视图为参考图像，建立包括无失真立体图像和失真立体图像的训练集；/n步骤S2：用预训练好的立体匹配模型计算训练集中所有失真立体图像的视差图，然后根据视差图利用图像变形技术生成初始化匹配图像；/n步骤S3：构建基于神经网络的颜色校正残差图优化模型，将基于各初始化匹配图像与对应的目标图像计算得到的残差图作为模型的输入，并设计适用于颜色校正的损失函数；/n步骤S4：使用所述损...

【技术特征摘要】
1.一种基于深度残差优化的立体图像颜色校正方法，其特征在于，包括以下步骤：
步骤S1：对数据集中无失真立体图像的左或右视图进行颜色失真处理，产生具有颜色差异的失真立体图像，失真立体图像中进行了颜色失真处理的视图为目标图像，另一个视图为参考图像，建立包括无失真立体图像和失真立体图像的训练集；
步骤S2：用预训练好的立体匹配模型计算训练集中所有失真立体图像的视差图，然后根据视差图利用图像变形技术生成初始化匹配图像；
步骤S3：构建基于神经网络的颜色校正残差图优化模型，将基于各初始化匹配图像与对应的目标图像计算得到的残差图作为模型的输入，并设计适用于颜色校正的损失函数；
步骤S4：使用所述损失函数训练模型，通过最小化损失函数学习模型的最优参数，得到训练好的颜色校正残差图优化模型；
步骤S5：用训练好的模型对待校正的失真立体图像进行颜色校正。


2.根据权利要求1所述的一种基于深度残差优化的立体图像颜色校正方法，其特征在于，所述步骤S1中，对数据集中无失真立体图像的左或右视图进行颜色失真处理，产生具有颜色差异的失真立体图像，建立包括无失真立体图像和失真立体图像的训练集，包括以下步骤：
步骤S11：将无失真立体图像的左视图作为参考图像，右视图作为理想目标图像；对数据集中每幅无失真立体图像的右视图进行多种颜色失真处理，得到多幅目标图像，每幅目标图像与相应的参考图像组成参考-目标图像对，每个参考图像-目标图像对构成一幅失真立体图像，从而每幅无失真立体图像得到多幅失真立体图像；所有无失真立体图像和失真立体图像组成训练集；
步骤S12：对训练集中的无失真立体图像和失真立体图像进行一致的尺寸调整及裁剪，即每幅失真立体图像及其对应的无失真立体图像的尺寸调整及裁剪操作使用的参数相同，从而得到新的更多的无失真立体图像和失真立体图像，将每幅失真立体图像及其对应的无失真立体图像按照参考图像-目标图像-理想目标图像对的形式存储，从而步骤S11中的每幅无失真立体图像得到多个参考图像-目标图像-理想目标图像对，并形成新的训练集。


3.根据权利要求2所述的一种基于深度残差优化的立体图像颜色校正方法，其特征在于，所述步骤S2中，用预训练好的立体匹配模型计算训练集中所有失真立体图像的视差图，然后根据视差图利用图像变形技术生成初始化匹配图像，包括以下步骤：
步骤S21：用预训练好的PSMNet立体匹配模型计算训练集中所有失真立体图像中参考图像与目标图像之间的视差图；利用所述视差图进行虚拟视点视差图的合成，设视差图为Dr，虚拟视点视差图为Dv，虚拟视点视差图的合成过程表示为：



其中，(x,y)表示像素点在图像上的位置，d表示视差值，dr(x,y)表示视差图Dr中(x,y)处像素的视差值，w表示图像的宽度；
步骤S22：对虚拟视点视差图的裂纹进行空洞填充，根据填充后的虚拟视点视差图确定参考图像中的像素点与目标图像对应的位置，使用线性插值确定初始化匹配图像的颜色值，初始化匹配图像Im的计算公式如下：
Im(x,y)＝αIr(x,index(|y+dv(x,y)+1|,w))+(1-α)Ir(x,index(|y+dv(x,y)|,w))
其中，Ir为参考图像，dv(x,y)表示填充后的虚拟视点视差图Dv中(x,y)处像素的视差值；α与index的计算过程如下：
α＝y+dv(x,y)-|y+dv(x,y)|






步骤S23：使用训练集中每个参考图像-目标图像-理想目标图像对计算一个初始化匹配图像，并组成参考图像-目标图像-理想目标图像-初始化匹配图像对，然后将所有参考图像-目标图像-理想目标图像-初始化匹配图像对中的图像进行归一化处理，得到归一化后的参考图像-目标图像-理想目标图像-初始化匹配图像对，其中归一化后的理想目标图像是训练标签，其它归一化后的图像是训练模型的输入。


4.根据权利要求3所述的一种基于深度残差优化的立体图像颜色校正方法，其特征在于，所述步骤S3中，构建基于神经网络的颜色校正残差图优化模型，将基于各初始化匹配图像与对应的目标图像计算得到的残差图作为模型的输入，并设计适用于颜色校正的...

【专利技术属性】
技术研发人员：陈羽中，林冠妙，范媛媛，牛玉贞，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35