基于特征光流的流体运动矢量估计方法技术

本发明专利技术公开一种基于特征光流的流体运动矢量估计方法，包括如下步骤：首先对H.264视频码流中的连续两帧图像I

Method for estimating fluid motion vector based on characteristic optical flow

The invention discloses a method for estimating a fluid motion vector based on characteristic optical flow, comprising the following steps: firstly, a continuous two frame image I in H.264 video bitstream is adopted

【技术实现步骤摘要】
基于特征光流的流体运动矢量估计方法
本专利技术涉及一种流体运动矢量估计方法，尤其涉及一种基于特征光流的流体运动矢量估计方法，属于流场测量

技术介绍
流体中存在着大量不具有固定质量并存在相对运动的流体微团，使得流体的运动形态比刚体和固体更为复杂。在过去的二十多年间，光学、电子及计算机技术的发展促进了粒子图像测速(PIV)这种非接触式瞬时全场流速测量技术的实现和应用。它通过粒子图像序列的分析和计算获得局部流体运动位移及速度的大小、方向、特征和分布情况，极大提高了实验室环境下各种复杂流动的测量能力。其中从粒子图像估计流体的运动矢量是PIV技术的核心和难点，方法的选择不仅依赖于硬件系统而且取决于待测流体的特点。对于利用树叶、树枝等天然漂浮物以及漩滚、表面波等天然水面模式作为水流示踪物的大尺度粒子图像测速(LSPIV)应用而言，河流水面流场的运动矢量估计又面临着特有的挑战。首先，大多数天然水面模式产生于明渠紊流，它们没有明确的粒子特性，通常存在振荡、扩散及形变等非刚性运动，因而缺乏稳定的几何特征和统计特征，使得经典的粒子跟踪测速(PTV)方法难以直接适用。其次，现场条件下的待测流场面积往往覆盖数百至数千平方米，为满足流速测量的目标精度，图像分辨率需要达到百万至千万像素，远大于目前实验室中十万像素的数量级，使得基于直接互相关(DCC)等空域相关匹配的运动矢量估计方法计算量相当可观，难以满足流场、流量连续监测的实时性要求。再则，河流水面的流速分布在断面方向表现出从中泓区域向两岸递减的趋势，流速梯度加之图像透视畸变和水流示踪物分布不均的影响往往导致水面瞬时流场具有复杂的区域特征。采用固定大小的观测窗口不仅会降低测量的空间分辨率，而且会因为对局部流场的适应性较差而降低运动矢量估计的可靠性。基于图像序列的运动目标跟踪技术是图像处理、模式识别和计算机视觉领域的重要研究课题,在国防、工业和交通等领域有着广泛的应用前景。其中光流法利用图像中灰度模式的时域变化和相关性来确定像素点的二维瞬时速度，进而分析场景中目标的结构和运动。通常可以分为微分光流法和特征光流法。前者基于光流的微分基本方程，通过附加一定的约束条件，求得图像上任一点的运动速度，获得一个稠密的光流场；后者通过寻求序列图像间特征点的对应关系，依据相似性准则进行特征匹配，进而获得一个稀疏的光流场。特征点是图像上具有较好的可区分性、位置不变性和特征稳定性的点。相比LSPIV中基于图像灰度特征(PIV)、粒子形态特征或粒子运动特征(PTV)的方法，基于特征光流的方法具有以下优势：①可用于表征不同类型的示踪物，易于提取和分析。②特征相对稳定，对图像噪声、灰度变化、局部形变以及遮挡等具有较好的适应能力。③位置的度量值对局部灰度的变化比较敏感，可提高定位的精确度。④数目比图像像素点或其他特征要少的多，可以显著减少匹配的计算量。然而特征点在计算机视觉领域中主要被用于人物、车辆等大型目标的识别和分类，对于小目标的运动矢量估计，在检测和定位的精度上尚存在不足。例如，基于梯度的Harris算子提取图像灰度梯度的局部极大值点作为角点，具有旋转不变性和较高的稳定性；但抗噪能力较差，且角点的位置可能偏移或存在伪角点。基于灰度的SUSAN算子能够在较强噪声中提取出目标的角点及边缘，定位精度达到像素级；但不具有尺度不变性。基于多尺度思想的SIFT算子能够提取图像中具有尺度、旋转和仿射不变性的局部特征点；但往往并不对应于目标上的真实角点，由于需要从差分高斯(DoG)金字塔中提取128维的特征向量，运算量也很可观。因此研究针对河流水面这类特殊流体的特征光流运动矢量估计方法具有重要的理论意义和应用价值。
技术实现思路
专利技术目的：针对现有技术中存在的不足，本专利技术提供了一种基于特征光流的流体运动矢量估计方法。技术方案：本专利技术提出一种基于特征光流的流体运动矢量估计方法，包括如下步骤：1)对H.264视频码流中的连续两帧图像I1和I2分别采用多尺度SUSAN特征点检测算法实现不同分辨率下特征点的提取及亚像素定位，获得特征点集P1和P2，具体步骤如下：1.1)建立图像的高斯金字塔尺度空间：高斯核被证明是实现尺度变换唯一的变换核和线性核，因此利用高斯变换的多尺度特性构建高斯金字塔，获得不同尺度下的分层图像；数字图像I(x,y)的尺度空间L(x,y,σi)可以定义为一个变化尺度的高斯函数G(x,y,σi)与其自身的卷积，即：其中，(x,y)表示像素点的位置，m和n表示高斯模板的大小，σi是尺度因子，i＝1,…,level，其值越小表示图像被平滑的越少；在小尺度下定位准确，大尺度下抗噪能力强；1.2)检测尺度空间中的SUSAN特征点：采用SUSAN算子检测尺度空间中的分层图像，获得不同尺度下的候选角点；SUSAN算子采用一种圆形模板在图像上移动，模板内部每个图像像素点的灰度值都和模板中心像素的灰度值作比较，若模板内某个像素的灰度与核的灰度差值小于一定值，则认为该点与核具有相同或相近的灰度，由满足这一条件的像素组成的区域称为吸收核同值区USAN；位于图像上局部最小的USAN区的核像素就是图像的特征角点；图像中某像素的USAN区大小可由下式表示：n(r0)＝∑rC(r0,r)(2)其中，C(r0)是以r0为圆心的模板；C(r0,r)是模板内属于USAN区域的像素的判别函数，定义为：其中，t是亮度差门限，表示所检测的特征的最小对比度，也是噪声的最大容限，决定了提取特征量的多少；用模板扫描整个图像得到每个像素的USAN区域后，再由下式产生USAN特征图像：式中，g为几何门限，一般取nmax/2，nmax是n(r)所能达到的最大值，g的大小决定了所得特征角点的尖锐程度；1.3)筛选不同尺度下的均匀化的候选特征点：由于示踪物的密度低、时空分布不均，会造成真实河流水面图像中特征点的聚簇现象，采用图像分块和邻近点剔除的思想对有效特征点进行筛选；首先采用固定大小的均匀网格对图像进行分块，网格大小参考流速场测量的空间分辨率进行选取；然后将子块中检测出的角点按R值大小进行排序，筛选出R值相对较大的角点，以提高特征点检测的重复性；最后选用一个滑动模板对整幅图像进行处理，若在该模板下存在不止一个角点，则只保留R值最大的角点；至此获得具有局部最大特征强度的均匀化候选特征点集；1.4)定位候选特征点的亚像素坐标：由于单一尺度下SUSAN算子检测得到的角点坐标是像素级的，利用同一角点在多尺度下的冗余信息实现坐标精定位；首先把不同尺度下的候选特征点还原到原始图像中的相应位置构成候选特征点簇；然后依次扫描各候选特征点，对其邻域内特征点簇的坐标求算术平均作为精化的亚像素坐标，获得图像的特征点集，即具有亚像素坐标的均匀化候选特征点集。2)对P1中的特征点采用H.264视频压缩域先验的特征光流估计算法提取特征点所在宏块的运动矢量作为设置搜索半径的先验信息，在特征点集P2中搜索相匹配的特征点，进而估计光流运动矢量，获得稀疏的特征光流场，具体步骤如下：2.1)确定匹配空间：首先在图像I1中以坐标为(x,y)的特征点Pi为中心建立模板图像f(x,y)；然后对H.264视频码流依次进行熵解码、重排序、反量化和反变换分析，定位到宏块层句法元素并提取出特征点本文档来自技高网...

【技术保护点】
一种基于特征光流的流体运动矢量估计方法，其特征在于，包括如下步骤：1)对H.264视频码流中的连续两帧图像I

【技术特征摘要】
1.一种基于特征光流的流体运动矢量估计方法，其特征在于，包括如下步骤：1)对H.264视频码流中的连续两帧图像I1和I2分别采用多尺度SUSAN特征点检测算法实现不同分辨率下特征点的提取及亚像素定位，获得特征点集P1和P2；2)对P1中的特征点采用H.264视频压缩域先验的特征光流估计算法提取特征点所在宏块的运动矢量作为设置搜索半径的先验信息，在特征点集P2中搜索相匹配的特征点，进而估计光流运动矢量，获得稀疏的特征光流场；3)对稀疏的特征光流场采用基于反距离权重插值的流场网格化算法进行网格化处理，得到均匀的二维流速矢量场。2.根据权利要求1所述的基于特征光流的流体运动矢量估计方法，其特征在于：所述步骤1采用多尺度SUSAN特征点检测算法提取特征点集的具体步骤如下：1.1)建立图像的高斯金字塔尺度空间：利用高斯变换的多尺度特性构建高斯金字塔，获得不同尺度下的分层图像；1.2)检测尺度空间中的SUSAN特征点：采用SUSAN算子检测尺度空间中的分层图像，获得不同尺度下的候选角点；1.3)筛选不同尺度下的均匀化的候选特征点：首先采用固定大小的均匀网格对图像进行分块，网格大小参考流速场测量的空间分辨率进行选取；然后将子块中检测出的角点按R值大小进行排序，筛选出R值相对较大的角点，以提高特征点检测的重复性；最后选用一个滑动模板对整幅图像进行处理，若在该模板下存在不止一个角点，则只保留R值最大的角点，至此获得具有局部最大特征强度的均匀化候选特征点集；1.4)定位候选特征点的亚像素坐标：首先把不同尺度下的候选特征点还原到原始图像中的相应位置构成候选特征点簇；然后依次扫描各候选特征点，对其邻域内特征点簇的坐标求算术平均作为精化的亚像素坐标，获得图像的特征点集。3.根据权利要求1所述的基于特征光流的流体运动矢量估计方法，其特征在于：所述步骤2采用H.264视频压缩域先验的特征光流估计算法获取稀疏的特征光流场的具体步骤如下：2.1)确定匹配空间：首先在图像I1中以坐标为(x,y)的特征点Pi为中心建立模板图像f(x,y)；然后对H.264...

【专利技术属性】
技术研发人员：张振，高红民，严锡君，王慧斌，徐立中，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32