【技术实现步骤摘要】
本专利技术涉及计算机视觉图像处理，尤其涉及一种面向复杂光照变化场景的流体光流测速方法及系统。
技术介绍
1、在计算机视觉中，光流估计是一种重要的技术，用于确定图像中每个像素点随时间的运动方向和速度。在复杂光照变化场景中，由于光照条件的不稳定和变化，准确估计光流成为一个具有挑战性的问题。现有的常规流体图像测速方法主要有：相关基础的流体光流方法、变分基础的流体光流方法和深度卷积网络基础的流体光流方法。
2、对于相关基础的流体光流方法，是通过寻找两个图像块之间互相关最大值的方式来找到最佳匹配。然而，这种方法无法获得所有像素的位移，只能得到稀疏的匹配结果。目前，主要采用插值方法作为后置处理来获得高分辨率的运动场，但这种方法的结果在准确性和可靠性上存在不足。同时，当流场速度梯度较大时，图像块的大小会导致匹配的模糊性，从而引起错误的匹配。
3、对于变分基础的流体光流方法，在运动过程中，由于周围环境的变化，流体通常会发生形态变化，如收缩和膨胀等，这无疑增加了特征匹配的难度。流体的特点通常表现为透明且弱纹理，导致区分性较差。此外，流体容易受到光照变化的影响，进而导致亮度变化。
4、对于深度卷积网络基础的流体光流方法，流动运动通常包含多种复杂的运动模式，例如旋转运动、散射运动、仿射运动等。然而，当前光流模型的正则化项并未考虑流体的物理运动规律，因此无法有效地捕捉这些复杂的运动模式。
5、因此相关技术至少存在以下问题：在复杂环境影响下流体形态变化和复杂光照变化导致流体光流估计不准确；现有的流体光流方法
技术实现思路
1、为了解决上述技术问题，本专利技术的目的是提供一种面向复杂光照变化场景的流体光流测速方法及系统，能够提高在复杂环境影响下流体形态变化和复杂光照变化下的流体光流估计准确度，恢复遮挡和弱纹理区域的光流场。
2、本专利技术所采用的第一技术方案是：一种面向复杂光照变化场景的流体光流测速方法，包括以下步骤：
3、获取源图像和目标图像对，所述源图像和所述目标图像对表示一对连续流体的运动图像；
4、引入数据项网络模块和正则化项网络模块，构建深度卷积网络的流体光流估计模型；
5、基于源图像和目标图像对以及所述运动图像对应的真实光流场，对深度卷积网络的流体光流估计模型进行迭代训练，得到训练后的深度卷积网络的流体光流估计模型；
6、基于训练后的深度卷积网络的流体光流估计模型，进行流体运动图像的光流测速，得到流体运动图像的光流估计结果。
7、进一步，所述深度卷积网络的流体光流估计模型包括特征提取网络模块、相关性金字塔模块、多尺度搜寻模块、数据项网络模块、正则化项网络模块和cnn插值网络模块，其中，所述特征提取网络模块的输入端接收所述源图像和目标图像对，所述特征提取网络模块的输出端输出图像特征对和背景特征，基于所述特征提取网络模块输出的图像特征对，构建互相关性金字塔模块，根据所述正则化项网络模块输出的正则化项匹配，在所述互相关性金字塔模块中通过所述多尺度搜寻模块进行多尺度查询，输出匹配代价容量，基于所述特征提取网络模块输出的背景特征，构建自相关性金字塔模块，通过所述多尺度搜寻模块进行多尺度搜索，输出自相似代价容量，将获取的背景特征、匹配代价容量和正则化项匹配作为所述数据项网络模块的输入，输出数据项匹配，将获取的背景特征、自相似代价容量和数据项项匹配作为所述正则化项网络模块的输入，输出正则化项匹配，所述数据项网络模块的输出端和所述正则化项网络模块的输出端分别与所述cnn插值网络模块的输入端连接，所述cnn插值网络模块输出运动图像全分辨率的光流场。
8、进一步，所述基于源图像和目标图像对以及所述运动图像对应的真实光流场，对深度卷积网络的流体光流估计模型进行迭代训练，得到训练后的深度卷积网络的流体光流估计模型这一步骤，其具体包括：
9、将源图像和目标图像对输入至深度卷积网络的流体光流估计模型；
10、基于深度卷积网络的流体光流估计模型的特征提取网络模块，对源图像和目标图像分别进行特征提取处理，构建图像特征对，所述图像特征对包括源图像特征和目标图像特征，其中，所述源图像特征作为背景特征；
11、基于图像特征对，采用互相关系数来构建全互相关代价容量，并对全互相关代价容量后两维连续地进行平均池化的下采样操作，获取多尺度互相关代价容量，构建互相关金字塔，基于背景特征，采用自相关系数来构建全自相关代价容量，并对全自相关代价容量后两维连续进行平均池化的下采样操作，获取多尺度自相似代价容量，构建自相关金字塔；
12、基于深度卷积网络的流体光流估计模型的多尺度搜寻模块，根据正则化项匹配，对互相关金字塔进行多尺度搜索，获取匹配代价容量，对自相关金字塔进行多尺度搜索，获取背景特征的自相似代价容量；
13、整合背景特征、匹配代价容量和正则化项匹配构建数据项网络模块的输入数据，整合背景特征、自相似代价容量和数据化项匹配构建正则化项网络模块的输入数据；
14、基于深度卷积网络的流体光流估计模型的数据项网络模块，对数据项网络模块的输入数据进行处理，得到数据项匹配结果；
15、基于深度卷积网络的流体光流估计模型的正则化项网络模块，对正则化项网络模块的输入数据进行处理，得到正则化项匹配结果；
16、整合数据项匹配结果与正则化项匹配结果并分别输入至cnn插值网络模块，进行插值处理，得到全分辨率的数据项匹配和正则化项匹配；
17、获取所述运动图像对应的真实光流场；
18、根据全分辨率的数据项匹配、正则化项匹配和运动图像对应的真实光流场，获取损失值；
19、根据损失值对深度卷积网络的流体光流估计模型进行优化处理，循环深度卷积网络的流体光流估计模型的训练步骤，直至深度卷积网络的流体光流估计模型满足预设要求，输出训练后的深度卷积网络的流体光流估计模型。
20、进一步，所述基于深度卷积网络的流体光流估计模型的特征提取网络模块，对源图像和目标图像分别进行特征提取处理，构建图像特征对这一步骤，其具体包括：
21、将源图像和目标图像输入至特征提取网络模块，所述特征提取网络模块采用siamese网络模型，所述siamese网络模型包括第一卷积层、若干残差块和第二卷积层；
22、基于特征提取网络模块对源图像进行特征提取，得到源图像特征，并作为背景特征；
23、基于特征提取网络模块对目标图像进行特征提取，得到目标图像特征；
24、整合源图像特征与目标图像特征，得到图像特征对。
25、进一步，所述基于图像特征对，采用互相关系数来构建全互相关代价容量，并对全互相关代价容量后两维连续地进行平均池化的下采样操作，获取多尺度互相关代价容量，构建互相关金字塔，基于背景特征，采用自相关系数来构建全自相关代价容本文档来自技高网...
【技术保护点】
1.一种面向复杂光照变化场景的流体光流测速方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述深度卷积网络的流体光流估计模型包括特征提取网络模块、相关性金字塔模块、多尺度搜寻模块、数据项网络模块、正则化项网络模块和CNN插值网络模块，其中，所述特征提取网络模块的输入端接收所述源图像和目标图像对，所述特征提取网络模块的输出端输出图像特征对和背景特征，基于所述特征提取网络模块输出的图像特征对，构建互相关性金字塔模块，根据所述正则化项网络模块输出的正则化项匹配，在所述互相关性金字塔模块中通过所述多尺度搜寻模块进行多尺度查询，输出匹配代价容量，基于所述特征提取网络模块输出的背景特征，构建自相关性金字塔模块，通过所述多尺度搜寻模块进行多尺度搜索，输出自相似代价容量，将获取的背景特征、匹配代价容量和正则化项匹配作为所述数据项网络模块的输入，输出数据项匹配，将获取的背景特征、自相似代价容量和数据项项匹配作为所述正则化项网络模块的输入，输出正则化项匹配，所述数据项网络模块的输出端和所述正则化项网络模块的输出端分别与所述C
3.根据权利要求1所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述基于源图像和目标图像对以及所述运动图像对应的真实光流场，对深度卷积网络的流体光流估计模型进行迭代训练，得到训练后的深度卷积网络的流体光流估计模型这一步骤，其具体包括：
4.根据权利要求3所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述基于深度卷积网络的流体光流估计模型的特征提取网络模块，对源图像和目标图像分别进行特征提取处理，构建图像特征对这一步骤，其具体包括：
5.根据权利要求3所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述基于图像特征对，采用互相关系数来构建全互相关代价容量，并对全互相关代价容量后两维连续地进行平均池化的下采样操作，获取多尺度互相关代价容量，构建互相关金字塔，基于背景特征，采用自相关系数来构建全自相关代价容量，并对全自相关代价容量后两维连续进行平均池化的下采样操作，获取多尺度自相似代价容量，构建自相关金字塔这一步骤，其具体包括：
6.根据权利要求3所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述基于深度卷积网络的流体光流估计模型的多尺度搜寻模块，根据正则化项匹配，对互相关金字塔进行多尺度搜索，获取匹配代价容量，对自相关金字塔进行多尺度搜索，获取背景特征的自相似代价容量这一步骤，其具体包括：
7.根据权利要求3所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述基于深度卷积网络的流体光流估计模型的数据项网络模块，对数据项网络模块的输入数据进行处理，得到数据项匹配结果这一步骤，其具体包括：
8.根据权利要求3所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述基于深度卷积网络的流体光流估计模型的正则化项网络模块，对正则化项网络模块的输入数据进行处理，得到正则化项匹配结果这一步骤，其具体包括：
9.根据权利要求3所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述CNN插值网络模块包括：
10.一种面向复杂光照变化场景的流体光流测速系统，其特征在于，包括以下模块：
...【技术特征摘要】
1.一种面向复杂光照变化场景的流体光流测速方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述深度卷积网络的流体光流估计模型包括特征提取网络模块、相关性金字塔模块、多尺度搜寻模块、数据项网络模块、正则化项网络模块和cnn插值网络模块，其中，所述特征提取网络模块的输入端接收所述源图像和目标图像对，所述特征提取网络模块的输出端输出图像特征对和背景特征，基于所述特征提取网络模块输出的图像特征对，构建互相关性金字塔模块，根据所述正则化项网络模块输出的正则化项匹配，在所述互相关性金字塔模块中通过所述多尺度搜寻模块进行多尺度查询，输出匹配代价容量，基于所述特征提取网络模块输出的背景特征，构建自相关性金字塔模块，通过所述多尺度搜寻模块进行多尺度搜索，输出自相似代价容量，将获取的背景特征、匹配代价容量和正则化项匹配作为所述数据项网络模块的输入，输出数据项匹配，将获取的背景特征、自相似代价容量和数据项项匹配作为所述正则化项网络模块的输入，输出正则化项匹配，所述数据项网络模块的输出端和所述正则化项网络模块的输出端分别与所述cnn插值网络模块的输入端连接，所述cnn插值网络模块输出运动图像全分辨率的光流场。
3.根据权利要求1所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述基于源图像和目标图像对以及所述运动图像对应的真实光流场，对深度卷积网络的流体光流估计模型进行迭代训练，得到训练后的深度卷积网络的流体光流估计模型这一步骤，其具体包括：
4.根据权利要求3所述一种面向复杂光照变化场景的流体光流测速方法，其特征在于，所述基于深度卷积网络的流体光流估计模型的特征...
【专利技术属性】
技术研发人员：陈军，王贺，段辉，唐明，杨光光，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。