【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别是涉及一种基于遮挡物体检测及运动连续性的光流估计方法。
技术介绍
1、目前光流算法包括有监督和无监督模式，有监督方法需要有标注数据，即需要人工标注光流场中每个像素的运动信息。有监督方法分为特征提取，代价体计算和迭代优化。无监督方法则不需要标注数据，可以通过学习图像中的时空信息来训练模型。两者的区别在于无监督方法遵循一些手工设计的特征原则，包括光度一致性等自然原理同时优化损失函数，而有监督的方法通常从光流预测开始，然后通过学习数据特来学习生成靠近真实标注的光流值。因此有监督方法模型消耗更多的计算资源以得到更加优秀的性能。
2、在shihao jiang,dylan campbell,yao lu,hongdong li,richard hartle于2021年发表在2021ieee/cvf international conference on computer vision(iccv)的<learning to estimate hidden motions with global motionaggregation>一文中，给出了遮挡点的定义。他们认为被遮挡的点是在参考帧中成像而不在下一帧中成像的点。他们认为估计这些点的运动是极其困难的，尤其是在两帧设置中。他们以前的工作依赖于cnn来学习遮挡，没有太大的成功，或者需要多个帧来使用时间平滑来推理遮挡。他们引入了全局运动聚合模块，这是一种基于transformer model的方法，用于查找第一幅图像中像素之间的长程相关性，并
技术实现思路
1、本专利技术所要解决的技术问题是提供一种基于遮挡物体检测及运动连续性的光流估计方法，能够提升光流估计精度。
2、本专利技术解决其技术问题所采用的技术方案是：提供一种基于遮挡物体检测及运动连续性的光流估计方法，包括以下步骤：
3、接收连续的两帧图像；
4、将所述连续的两帧图像输入至光流估计模型中，得到光流估计值；
5、其中，所述光流估计模型包括：
6、特征提取部分，用于提取所述连续的两帧图像的图像特征和上下文特征；
7、匹配部分，用于基于所述连续的两帧图像的图像特征计算相关像素点匹配，得到4d代价体；
8、遮挡点估计部分，用于对所述4d代价体进行特征相似度判断函数处理并通过卷积网络，得到遮挡点；
9、关联优化部分，用于根据所述遮挡点估计出潜在匹配位置，并与所述4d代价体给出的位置计算对比整合，得到优化后的4d代价体；
10、迭代优化部分，用于将优化后的4d代价体分为两个2d特征，并生成一个光流初值，将上下文特征与优化后的4d代价体作为迭代优化的中间特征，进行迭代优化，得到光流估计值。
11、所述遮挡点估计部分包括：
12、特征扭曲模块，用于根据扭曲函数将两帧图像中的后一帧图像的图像特征f2扭曲映射回到前一帧图像的图像特征，得到图像特征f1w；
13、相似度评判模块，用于根据图像结构相似性评判函数找出图像特征f1w和两帧图像中的前一帧图像的图像特征f1不相似的部分，得到潜在遮挡点；
14、遮挡估计模块，用于将所述潜在遮挡点输入至遮挡点估计模型中，得到遮挡点。
15、所述图像结构相似性评判函数为：其中，mfs表示相似度值，b(f1w,f1)为图像特征f1w和图像特征f1的亮度比对部分，表示为：c(f1w,f1)为图像特征f1w和图像特征f1的对比度比对部分，表示为：s(f1w,f1)为图像特征f1w和图像特征f1的结构相似度比对部分，表示为：其中，和分别表示图像特征f1w和图像特征f1的特征平均灰度值，和分别表示图像特征f1w和图像特征f1的标准差，表示图像特征f1w和图像特征f1像素间的协方差。
16、所述遮挡点估计模型由多个卷积层构成。
17、所述关联优化部分根据所述遮挡点估计出潜在匹配位置时，通过当前像素点的位置和速度状态估计出的潜在匹配位置，具体为：设计状态空间为其中(x,y)表示遮挡点的位置坐标，表示遮挡点位置坐标(x,y)的运动状态；通过估计出潜在匹配位置，其中，pt+1表示潜在匹配位置，pt为当前时刻遮挡点的位置，vt为当前时刻遮挡点位置坐标的运动状态，a为当前时刻的位移增量矩阵，ε表示4d代价体位置匹配信息，gt()表示将zt作为测量扰动值r的卡尔曼增益函数，zt表示由4d代价体相似度匹配给出当前位置的不精准的流量估计值，gt表示当前时刻的卡尔曼增益，pt表示当前时刻预测的运动噪声扰动值，r为测量扰动值。
18、所述关联优化部分将潜在匹配位置与所述4d代价体给出的位置计算对比整合是指，将所述潜在匹配位置八邻域内与所述4d代价体给出的位置最接近的像素点取代所述4d代价体给出的位置，得到优化后的4d代价体。
19、本专利技术解决其技术问题所采用的技术方案是：提供一种电子设备，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于遮挡物体检测及运动连续性的光流估计方法的步骤。
20、本专利技术解决其技术问题所采用的技术方案是：提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于遮挡物体检测及运动连续性的光流估计方法的步骤。
21、有益效果
22、由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：
23、本专利技术基于端到端的光流估计框架，基于多因素特征相似度判断函数的遮挡检测模块，该模块利用特征相似度判断函数，将扭曲的第一帧和第二帧的特征映射的均值、方差和协方差进行汇总，提升了光流估计在复杂场景、恶劣条件下(如光照模糊，运动模糊，伽玛射线)的精度及稳健性，提升了针对遮挡部分光流估计的稳定性及可靠性。
24、本专利技术提出针对运动连续性处理遮挡点匹配的策略，根据运动信息在检测出遮挡点后进行匹配更新，由于遮挡点的匹配点无法直接找到，所以算法根据动力学原理的运动连续性，预测出其潜在的位置，从而更新匹配对，完善代价体的计算，减少了错误的匹配关系，提高了算法精度。
本文档来自技高网...【技术保护点】
1.一种基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，
3.根据权利要求2所述的基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，所述图像结构相似性评判函数为：其中，MFS表示相似度值，b(f1w,f1)为图像特征f1w和图像特征f1的亮度比对部分，表示为：
4.根据权利要求2所述的基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，所述遮挡点估计模型由多个卷积层构成。
5.根据权利要求1所述的基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，所述关联优化部分根据所述遮挡点估计出潜在匹配位置时，通过当前像素点的位置和速度状态估计出的潜在匹配位置，具体为：设计状态空间为其中(x,y)表示遮挡点的位置坐标，表示遮挡点位置坐标(x,y)的运动状态；通过估计出潜在匹配位置，其中，Pt+1表示潜在匹配位置，Pt为当前时刻遮挡点的位置，Vt为当前时刻遮挡点位置坐标的运动状态，A为当前时刻的位移增量矩阵，ε表示4D代价体位置匹
6.根据权利要求1所述的基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一所述基于遮挡物体检测及运动连续性的光流估计方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述基于遮挡物体检测及运动连续性的光流估计方法的步骤。
...【技术特征摘要】
1.一种基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，
3.根据权利要求2所述的基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，所述图像结构相似性评判函数为：其中，mfs表示相似度值，b(f1w,f1)为图像特征f1w和图像特征f1的亮度比对部分，表示为：
4.根据权利要求2所述的基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，所述遮挡点估计模型由多个卷积层构成。
5.根据权利要求1所述的基于遮挡物体检测及运动连续性的光流估计方法，其特征在于，所述关联优化部分根据所述遮挡点估计出潜在匹配位置时，通过当前像素点的位置和速度状态估计出的潜在匹配位置，具体为：设计状态空间为其中(x,y)表示遮挡点的位置坐标，表示遮挡点位置坐标(x,y)的运动状态；通过估计出潜在匹配位置，其中，p...
【专利技术属性】
技术研发人员：王磊，王梦斐，朱冬晨，石文君，李嘉茂，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。