一种基于非刚性稠密匹配的图像光流估计方法及系统技术方案

本发明专利技术公开了一种基于非刚性稠密匹配的图像光流估计方法及系统。该方法包括：获取图像序列中两帧连续的图像；划分两帧图像，得到多个第一区域块和多个第二区域块；将两帧图像进行稠密块匹配；计算每个第一区域块与对应的第二区域块的块间稠密匹配参数；计算第一匹配图像中每个第一区域块与对应的相邻区域块的不连续错误测量指标值；确定第一匹配图像的连续区域块和离散区域块；分别确定第一匹配图像和第二匹配图像的匹配一致性区域；分别计算第一帧图像与第二帧图像的像间非刚性稠密运动场以及像间变分光流，并将计算结果融合，得到图像序列的光流估计结果。本发明专利技术能够提高包含非刚性大位移运动的图像序列光流估计的精度和鲁棒性。

【技术实现步骤摘要】
一种基于非刚性稠密匹配的图像光流估计方法及系统
本专利技术涉及计算机视觉
，特别是涉及一种基于非刚性稠密匹配的图像光流估计方法及系统。
技术介绍
光流估计是计算机视觉领域中重要的图像序列处理技术之一。光流估计不仅包含图像中运动物体和场景的运动信息，还包含丰富的三维结构信息，因此，光流估计被应用于众多研究领域。如应用于无人机避障、汽车或机器人导航、视频的目标检测及跟踪，医学图像处理中人体器官的三维重建以及MR心脏图像分割等。目前，现有的变分光流优化算法对大部分自然场景图像序列均具有较高的光流估计精度与较好的鲁棒性。但是当图像序列中包含大位移运动、非刚性运动等困难运动类型时，现有光流估计方法的估计精度与鲁棒性仍有待进一步提高。
技术实现思路
基于此，有必要提供一种基于非刚性稠密匹配的图像光流估计方法及系统，以提高包含大位移运动、非刚性运动等困难运动类型的图像序列的光流估计的估计精度和鲁棒性。为实现上述目的，本专利技术提供了如下方案：一种基于非刚性稠密匹配的图像光流估计方法，包括：获取图像序列中两帧连续的图像，得到第一帧图像和第二帧图像；将所述第一帧图像划分为多个第一区域块，将所述第二帧图像划分为多个第二区域块；将所述第一帧图像和所述第二帧图像进行稠密块匹配，得到第一匹配图像和第二匹配图像；计算所述第一匹配图像中每个所述第一区域块与对应的第二匹配图像中第二区域块的块间稠密匹配参数；依据所述块间稠密匹配参数计算所述第一匹配图像中每个第一区域块与对应的相邻区域块的不连续错误测量指标值；依据多个所述不连续错误测量指标值确定所述第一匹配图像中的连续区域块和离散区域块；依据所述连续区域块和所述离散区域块确定第一匹配图像的匹配一致性区域和第二匹配图像的匹配一致性区域；利用第一匹配图像的匹配一致性区域和第二匹配图像的匹配一致性区域计算第一帧图像与第二帧图像的像间非刚性稠密运动场；计算所述第一帧图像与所述第二帧图像的像间变分光流；采用伪布尔函数多项式优化算法将所述像间非刚性稠密运动场与所述像间变分光流进行融合，得到所述图像序列的光流估计结果。可选的，所述计算所述第一匹配图像中每个所述第一区域块与对应的第二匹配图像中第二区域块的块间稠密匹配参数，具体为：Ta→b＝(Tx,Ty,Tr,Ts)其中，a表示第一匹配图像中任意一个第一区域块，b表示第二匹配图像中与第一区域块a对应的第二区域块，Ta→b表示a与b的块间稠密匹配参数，Tx表示b相对于a在x轴的平移参数，Ty表示b相对于a在y轴的平移参数，Tr表示b相对于a的旋转参数，Ts表示b相对于a的尺度缩放参数。可选的，所述依据所述块间稠密匹配参数计算所述第一匹配图像中每个第一区域块与对应的相邻区域块的不连续错误测量指标值，具体为：其中，a表示第一匹配图像中任意一个第一区域块，c表示第一区域块a的相邻区域块，b表示第二匹配图像中与第一区域块a对应的第二区域块，d表示与第一区域块a的相邻区域块c对应的第二区域块，e(a,c)表示第一区域块a与对应的相邻区域块c的不连续错误测量指标值，Ta→b表示a与b的块间稠密匹配参数，Tc→d表示c与d的块间稠密匹配参数，Ta→b(a)表示采用Ta→b计算后得到的a的中心点在第二匹配图像中的坐标，Tc→d(a)表示采用Tc→d计算后得到的a的中心点在第二匹配图像中的坐标，Tc→d(c)表示Tc→d计算后得到的c的中心点在第二匹配图像中的坐标。可选的，所述依据多个所述不连续错误测量指标值确定所述第一匹配图像中的连续区域块和离散区域块，具体包括：判断每个所述不连续错误测量指标值是否小于第一预设阈值；若所述不连续错误测量指标值小于第一预设阈值，则将对应的第一区域块确定为连续区域块；若所述不连续错误测量指标值大于或等于第一预设阈值，则将对应的第一区域块确定为离散区域块。可选的，所述依据所述连续区域块和所述离散区域块确定第一匹配图像的匹配一致性区域和第二匹配图像的匹配一致性区域，具体包括：将所述第一匹配图像划分为多个区域范围；统计每个所述区域范围内所述离散区域块所占的比例；判断所述比例是否小于第二预设阈值；若是，则将所述区域范围确定为第一匹配图像的匹配范围；确定第一匹配图像的匹配一致性区域；所述第一匹配图像的匹配一致性区域是由所有的第一匹配图像的匹配范围构成的；将第二匹配图像中与第一匹配图像的匹配一致性区域对应的区域确定为第二匹配图像的匹配一致性区域。可选的，所述统计每个所述区域范围内所述离散区域块所占的比例，具体为：其中，N(a)表示以第一匹配图像中任意一个第一区域块a为中心的区域范围，R(N(a))表示区域范围N(a)内离散区域块所占的比例，τlocal表示第一预设阈值，e(a,c)表示第一区域块a与对应的相邻区域块c的不连续错误测量指标值，|{(a,c)∈N(a)s.t.e(a,c)≥τlocal}|表示区域范围N(a)内离散区域块的总数量，|N(a)|表示区域范围N(a)内所有区域块的总数量。本专利技术还提供了一种基于非刚性稠密匹配的图像光流估计系统，所述系统包括：图像获取模块，用于获取图像序列中两帧连续的图像，得到第一帧图像和第二帧图像；划分模块，用于将所述第一帧图像划分为多个第一区域块，将所述第二帧图像划分为多个第二区域块；匹配模块，用于将所述第一帧图像和所述第二帧图像进行稠密块匹配，得到第一匹配图像和第二匹配图像；匹配参数计算模块，用于计算所述第一匹配图像中每个所述第一区域块与对应的第二匹配图像中第二区域块的块间稠密匹配参数；测量指标计算模块，用于依据所述块间稠密匹配参数计算所述第一匹配图像中每个第一区域块与对应的相邻区域块的不连续错误测量指标值；第一确定模块，用于依据多个所述不连续错误测量指标值确定所述第一匹配图像中的连续区域块和离散区域块；第二确定模块，用于依据所述连续区域块和所述离散区域块确定第一匹配图像的匹配一致性区域和第二匹配图像的匹配一致性区域；运动场计算模块，用于利用第一匹配图像的匹配一致性区域和第二匹配图像的匹配一致性区域计算第一帧图像与第二帧图像的像间非刚性稠密运动场；变分光流计算模块，用于计算所述第一帧图像与所述第二帧图像的像间变分光流；光流估计模块，用于采用伪布尔函数多项式优化算法将所述像间非刚性稠密运动场与所述像间变分光流进行融合，得到所述图像序列的光流估计结果。可选的，所述第一确定模块，具体包括：第一判断单元，用于判断每个所述不连续错误测量指标值是否小于第一预设阈值；第一确定单元，用于若所述不连续错误测量指标值小于第一预设阈值，则将对应的第一区域块确定为连续区域块；若所述不连续错误测量指标值大于或等于第一预设阈值，则将对应的第一区域块确定为离散区域块。可选的，所述第二确定模块，具体包括：划分单元，用于将所述第一匹配图像划分为多个区域范围；统计单元，用于统计每个所述区域范围内所述离散区域块所占的比例；第二判断单元，用于判断所述比例是否小于第二预设阈值；第二确定单元，用于若是，则将所述区域范围确定为第一匹配图像的匹配范围；第三确定单元，用于确定第一匹配图像的匹配一致性区域；所述第一匹配图像的匹配一致性区域是由所有的第一匹配图像的匹配范围构成的；第四确定单元，用于将第二匹配图像中与第一匹配图像的匹配一致性区域对应的区域确本文档来自技高网...

【技术保护点】
1.一种基于非刚性稠密匹配的图像光流估计方法，其特征在于，包括：获取图像序列中两帧连续的图像，得到第一帧图像和第二帧图像；将所述第一帧图像划分为多个第一区域块，将所述第二帧图像划分为多个第二区域块；将所述第一帧图像和所述第二帧图像进行稠密块匹配，得到第一匹配图像和第二匹配图像；计算所述第一匹配图像中每个所述第一区域块与对应的第二匹配图像中第二区域块的块间稠密匹配参数；依据所述块间稠密匹配参数计算所述第一匹配图像中每个第一区域块与对应的相邻区域块的不连续错误测量指标值；依据多个所述不连续错误测量指标值确定所述第一匹配图像中的连续区域块和离散区域块；依据所述连续区域块和所述离散区域块确定第一匹配图像的匹配一致性区域和第二匹配图像的匹配一致性区域；利用第一匹配图像的匹配一致性区域和第二匹配图像的匹配一致性区域计算第一帧图像与第二帧图像的像间非刚性稠密运动场；计算所述第一帧图像与所述第二帧图像的像间变分光流；采用伪布尔函数多项式优化算法将所述像间非刚性稠密运动场与所述像间变分光流进行融合，得到所述图像序列的光流估计结果。

【技术特征摘要】
1.一种基于非刚性稠密匹配的图像光流估计方法，其特征在于，包括：获取图像序列中两帧连续的图像，得到第一帧图像和第二帧图像；将所述第一帧图像划分为多个第一区域块，将所述第二帧图像划分为多个第二区域块；将所述第一帧图像和所述第二帧图像进行稠密块匹配，得到第一匹配图像和第二匹配图像；计算所述第一匹配图像中每个所述第一区域块与对应的第二匹配图像中第二区域块的块间稠密匹配参数；依据所述块间稠密匹配参数计算所述第一匹配图像中每个第一区域块与对应的相邻区域块的不连续错误测量指标值；依据多个所述不连续错误测量指标值确定所述第一匹配图像中的连续区域块和离散区域块；依据所述连续区域块和所述离散区域块确定第一匹配图像的匹配一致性区域和第二匹配图像的匹配一致性区域；利用第一匹配图像的匹配一致性区域和第二匹配图像的匹配一致性区域计算第一帧图像与第二帧图像的像间非刚性稠密运动场；计算所述第一帧图像与所述第二帧图像的像间变分光流；采用伪布尔函数多项式优化算法将所述像间非刚性稠密运动场与所述像间变分光流进行融合，得到所述图像序列的光流估计结果。2.根据权利要求1所述的一种基于非刚性稠密匹配的图像光流估计方法，其特征在于，所述计算所述第一匹配图像中每个所述第一区域块与对应的第二匹配图像中第二区域块的块间稠密匹配参数，具体为：Ta→b＝(Tx,Ty,Tr,Ts)其中，a表示第一匹配图像中任意一个第一区域块，b表示第二匹配图像中与第一区域块a对应的第二区域块，Ta→b表示a与b的块间稠密匹配参数，Tx表示b相对于a在x轴的平移参数，Ty表示b相对于a在y轴的平移参数，Tr表示b相对于a的旋转参数，Ts表示b相对于a的尺度缩放参数。3.根据权利要求1所述的一种基于非刚性稠密匹配的图像光流估计方法，其特征在于，所述依据所述块间稠密匹配参数计算所述第一匹配图像中每个第一区域块与对应的相邻区域块的不连续错误测量指标值，具体为：其中，a表示第一匹配图像中任意一个第一区域块，c表示第一区域块a的相邻区域块，b表示第二匹配图像中与第一区域块a对应的第二区域块，d表示与第一区域块a的相邻区域块c对应的第二区域块，e(a,c)表示第一区域块a与对应的相邻区域块c的不连续错误测量指标值，Ta→b表示a与b的块间稠密匹配参数，Tc→d表示c与d的块间稠密匹配参数，Ta→b(a)表示采用Ta→b计算后得到的a的中心点在第二匹配图像中的坐标，Tc→d(a)表示采用Tc→d计算后得到的a的中心点在第二匹配图像中的坐标，Tc→d(c)表示Tc→d计算后得到的c的中心点在第二匹配图像中的坐标。4.根据权利要求1所述的一种基于非刚性稠密匹配的图像光流估计方法，其特征在于，所述依据多个所述不连续错误测量指标值确定所述第一匹配图像中的连续区域块和离散区域块，具体包括：判断每个所述不连续错误测量指标值是否小于第一预设阈值；若所述不连续错误测量指标值小于第一预设阈值，则将对应的第一区域块确定为连续区域块；若所述不连续错误测量指标值大于或等于第一预设阈值，则将对应的第一区域块确定为离散区域块。5.根据权利要求4所述的一种基于非刚性稠密匹配的图像光流估计方法，其特征在于，所述依据所述连续区域块和所述离散区域块确定第一匹配图像的匹配一致性区域和第二匹配图像的匹配一致性区域，具体包括：将所述第一匹配图像划分为多个区域范围；统计每个所述区域范围内所述离散区域块所占的比例；判断所述比例是否小于第二预设阈值；若是，则将所述区域范围确定为第一匹配图像的匹配范围；确定第一匹配图像的匹配一致性区域；所述第一匹配图像的匹配一致性区域是由所有的第一匹配图像的匹配范围构成的；将第二匹配图像中与第一匹配图像的匹配...

【专利技术属性】
技术研发人员：张聪炫，陈震，熊帆，黎明，陈昊，葛利跃，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：江西,36