不同曝光低动态范围图像的无监督光流估计方法及系统技术方案

本发明专利技术公开了一种面向不同曝光低动态范围图像的无监督光流估计方法及系统，涉及光流估计技术领域，首先基于强度映射函数IMF，对不同曝光的低动态范围图像进行亮度归一化；基于RAFT算法，对亮度归一化后的低动态范围图像进行初步光流估计；基于初步光流估计的结果，采用无监督学习法训练所述RAFT算法；使用训练完成后的RAFT算法，对亮度归一化后的低动态范围图像进行最终光流估计。本发明专利技术不仅可以应用于不同曝光的图像，还可以应用于更复杂照明条件下的图像，实现最佳的光流估计结果，比现有方法更高效、更稳健。更稳健。更稳健。

【技术实现步骤摘要】
不同曝光低动态范围图像的无监督光流估计方法及系统


[0001]本专利技术涉及光流估计
，更具体的说是涉及一种面向不同曝光低动态范围图像的无监督光流估计方法及系统。

技术介绍

[0002]光流记录着两个图像之间的像素位移(或对应关系)，可用于运动估计、语义理解和图像对齐。光流的改进直接有利于下游任务，例如视觉里程计、目标跟踪和HDR成像。
[0003]光度一致性是光流估计中的一个重要假设。它假设两个图像之间的对应像素具有相同的强度。最近基于深度学习的光流方法通过构建相关量来执行这一假设，相关量计算图像的深度特征表示之间的点积。相关量被证明是一个有效的组件，并已广泛用于现有的神经网络中。对于光流的无监督学习，在训练过程中真实光流标签不可用的情况下，光度一致性变得更加关键。无监督方法通常被形式化为最小化已通过光流对齐的两个图像之间的光度误差。由于根据假设，物体的外观不会随着它们的移动而改变，因此较小的误差表明光流更准确。
[0004]当应用于视觉里程计和目标跟踪时，可以通过现成的方法轻松估计光流。而对于HDR成像，估计光流变得困难。HDR是在智能手机和数码相机上进行移动摄影的流行模式。多个不同曝光的LDR图像被顺序捕获，然后将它们合并在一起以生成HDR图像。值得注意的是，如果输入图像中存在相机或物体运动，HDR图像可能会出现模糊或重影伪影。这个问题可以通过光流来缓解，它能够将输入LDR图像与一个选定的参考图像对齐。因此，同步的LDR图像可以被视为静态场景的图像，它们可以通过融合到HDR图像中，或者通过融合到增强的LDR图像中。然而，由于曝光的不同，不同曝光的LDR图像之间存在较大的像素强度变化。光度一致性假设变得站不住脚，因此估计光流变得十分困难。
[0005]为了缓解这个问题，现有方法在估计光流之前通常应用伽马校正来统一LDR图像的亮度。然而，这些方法有两个局限性：a)伽马函数只能用于归一化使用特殊相机响应函数(CRF)捕获的不同曝光图像；b)光流是通过传统方法估计的，这通常在计算上很昂贵。
[0006]因此，如何克服上述技术缺陷，是本领域技术人员亟需解决的问题。

技术实现思路

[0007]有鉴于此，本专利技术提供了一种面向不同曝光低动态范围图像的无监督光流估计方法及系统。
[0008]为了实现上述目的，本专利技术提供如下技术方案：
[0009]一种面向不同曝光低动态范围图像的无监督光流估计方法，包括以下步骤：
[0010]步骤1、基于强度映射函数IMF，对不同曝光的低动态范围图像进行亮度归一化；
[0011]步骤2、基于RAFT算法，对亮度归一化后的低动态范围图像进行初步光流估计；
[0012]步骤3、基于初步光流估计的结果，采用无监督学习法训练所述RAFT算法；
[0013]步骤4、使用训练完成后的RAFT算法，对亮度归一化后的低动态范围图像进行最终
光流估计。
[0014]可选的，所述步骤1中，基于强度映射函数IMF，对不同曝光的低动态范围图像进行亮度归一化的具体步骤为：
[0015]选取一对低动态范围图像Z1和图像Z2；
[0016]计算从图像Z1到图像Z2的强度映射函数IMF，为Λ1→2(z)；
[0017]使用Λ1→2(z)将图像Z1的亮度归一化到图像Z2的亮度，得到Λ1→2(Z1)。
[0018]可选的，所述步骤1中，进行亮度归一化的标准为：将输入的不同曝光的低动态范围图像的亮度归一化到亮度最高的图像的亮度。
[0019]可选的，所述步骤2中，基于RAFT算法，对亮度归一化后的低动态范围图像进行初步光流估计的方法为：
[0020]将Λ1→2(Z1)和Z2作为输入，计算从Z2到Z1的光流，
[0021]O2→1＝F(Z2，Λ1→2(Z1)；θ)；
[0022]其中，O2→1表示从Z2到Z1的光流，θ表示RAFT算法的可训练参数。
[0023]可选的，所述步骤3中，基于初步光流估计的结果，采用无监督学习法训练所述RAFT算法的方法为：
[0024]计算光度一致性项L
photo
；
[0025]计算平滑项L
smooth
；
[0026]所述光度一致性项L
photo
和平滑项L
smooth
共同构成学习目标L；
[0027]依据所述学习目标L确定RAFT算法的最优参数实现对RAFT算法的训练。
[0028]可选的，最优参数为：
[0029][0030]其中，λ是平衡光度一致性项L
photo
和平滑项L
smooth
的超参数。
[0031]一种面向不同曝光低动态范围图像的无监督光流估计系统，包括：
[0032]亮度归一化模块，用于基于强度映射函数IMF，对不同曝光的低动态范围图像进行亮度归一化；
[0033]初步光流估计模块，用于基于RAFT算法，对亮度归一化后的低动态范围图像进行初步光流估计；
[0034]无监督学习模块，用于基于初步光流估计的结果，采用无监督学习法训练所述RAFT算法；
[0035]最终光流估计模块，用于使用训练完成后的RAFT算法，对亮度归一化后的低动态范围图像进行最终光流估计。
[0036]经由上述的技术方案可知，本专利技术通过融合数据驱动网络(RAFT)和基于模型的算法(IMF)，提供了一种针对不同曝光低动态范围图像的无监督光流估计方法及系统，与现有技术相比，具有以下有益效果：
[0037](1)与伽马校正相比，IMF利用两个图像的直方图之间的对应关系来识别亮度变化，这两个图像不需要对齐，进一步的，IMF考虑了所有可能影响亮度的因素。因此本专利技术不仅可以用于研究不同曝光的图像，还可以用于研究更复杂照明条件下的图像。
[0038](2)使用基于IMF的无监督学习目标来训练光流网络，自适应地从IMF归一化图像或非归一化图像中选择像素来计算光度误差，可以扩展到亮度变化很大的其他情况，以帮助网络解决亮度不一致难题。
[0039](3)本专利技术方法实现了最佳的光流估计结果，所有的LDR图像合并为HDR图像或增强的LDR图像，比现有方法更高效、更稳健。
[0040](4)采用强度映射函数(IMF)对输入LDR图像的亮度进行归一化，避免了将匹配模糊性引入RAFT的相关量，保留了不同曝光图像之间的光度一致性。
附图说明
[0041]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0042]图1为本专利技术的方法步骤示意图；
[0043]图2为不同消融法估计的光流的可视化图像；第一列为源图像和参考图像的重叠图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向不同曝光低动态范围图像的无监督光流估计方法，其特征在于，包括以下步骤：步骤1、基于强度映射函数IMF，对不同曝光的低动态范围图像进行亮度归一化；步骤2、基于RAFT算法，对亮度归一化后的低动态范围图像进行初步光流估计；步骤3、基于初步光流估计的结果，采用无监督学习法训练所述RAFT算法；步骤4、使用训练完成后的RAFT算法，对亮度归一化后的低动态范围图像进行最终光流估计。2.根据权利要求1所述的一种面向不同曝光低动态范围图像的无监督光流估计方法，其特征在于，所述步骤1中，基于强度映射函数IMF，对不同曝光的低动态范围图像进行亮度归一化的具体步骤为：选取一对低动态范围图像Z1和图像Z2；计算从图像Z1到图像Z2的强度映射函数IMF，为Λ1→2(z)；使用Λ1→2(z)将图像Z1的亮度归一化到图像Z2的亮度，得到Λ1→2(Z1)。3.根据权利要求1所述的一种面向不同曝光低动态范围图像的无监督光流估计方法，其特征在于，所述步骤1中，进行亮度归一化的标准为：将输入的不同曝光的低动态范围图像的亮度归一化到亮度最高的图像的亮度。4.根据权利要求2所述的一种面向不同曝光低动态范围图像的无监督光流估计方法，其特征在于，所述步骤2中，基于RAFT算法，对亮度归一化后的低动态范围图像进行初步光流估计的方法为：将Λ1→2(Z1)和Z2作为输入，计算从Z2到Z1的光流，O2→1＝F(Z2，Λ1→2(Z1)；θ)；其中，...

【专利技术属性】
技术研发人员：陈伟海，刘子扬，张桂林，孙崇尚，张建强，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：