基于仿射不变点及光流计算的目标自动识别和跟踪方法技术

本发明专利技术公开了一种基于仿射不变点及光流计算的目标自动识别和跟踪方法。首先对目标图像和视频帧进行图像预处理，并提取仿射不变特征点，然后进行特征点匹配，并剔除掉误匹配的点，当特征点的匹配对达到一定数量，且能生成仿射变换矩阵时，确认目标识别成功。然后利用上一步采集到的仿射不变点，进行特征光流计算，实现实时目标跟踪；如中间目标跟丢，立刻返回第一步，重新进行目标识别。本发明专利技术使用的特征点算子是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子；而采用的特征光流计算方法法，计算量较小、准确度高，能实现实时跟踪。本发明专利技术广泛应用于视频监控、图像搜索、计算机辅助驾驶系统、机器人等领域。

【技术实现步骤摘要】

本专利技术涉及一种图像处理
的方法，具体是一种基于仿射不变点及光流计算的目标自动识别和跟踪方法。
技术介绍
目标识别与跟踪技术广泛应用于各类系统，例如视频监控系统、图像搜索系统、医疗图像系统、计算机辅助驾驶系统、机器人、智能房间等。实时、稳定地识别并跟踪运动中的目标是一件非常困难的任务，原因在于日益复杂的外界环境带来的图像噪声、模糊、光照的变化等给目标识别带来了巨大困难，同时，跟踪过程中目标的姿态、尺度随时会发生变化，这些都将影响着识别、跟踪算法的稳定性。 目标识别的主要任务是通过图像数据提取感兴趣的目标，并加以识别。目前目标识别方法主要分为由下而上的数据驱动型和由上而下的知识驱动型。由上而下的知识型目标识别方法针对图像中具体类型的目标而言，其缺点是代换性和兼容性差，识别目标改变，知识要随之改变。由下而上的数据驱动型目标识别方法不考虑目标的类型，对图像进行低层处理，适用面广，具有较强的代换性。本专利技术采用的就是一种由下而上的目标识别方法。 在识别成功的基础上跟踪目标会得到较好的跟踪效果。可将目标跟踪方法按照是否利用了帧间信息，分为基于运动分析的方法和基于图像匹配的方法。基于运动分析的跟踪方法完全依靠运动检测来跟踪运动的物体，比较典型的有帧差法和光流法。光流跟踪运用目标与背景之间的不同速度来检测运动目标，具有较好的抗噪能力。光流法可以分为连续光流法和特征光流法。特征光流法是通过序列图像的特征匹配求得特征点处的光流，通过光流聚类实现目标与背景的分离。特征光流法优点在于可以处理大的帧间位移，对噪声的敏感性降低，只处理图像中很少数的特征点，计算量较小。本专利技术采用的就是一种基于特征光流法的目标跟踪方法。
技术实现思路
本专利技术的目的在于提供一种快速、准确地识别目标并进行实时目标跟踪的方法。 实现本专利技术目的的技术解决方案为， 一种基于仿射不变点及光流计算的目标识别和跟踪方法，其步骤为 第一步，目标识别首先对目标图像和视频帧进行图像预处理，并提取仿射不变特征点，然后进行特征点匹配，并剔除掉误匹配的点，当特征点的匹配对达到一定数量，并且能生成仿射变换矩阵时，确认目标识别成功。 该步骤提取的特征点对图像尺度和旋转保持不变，对光线变化、噪声、仿射变化都具有鲁棒性。 第二步，目标跟踪利用上一步采集到的仿射不变点，进行特征光流计算，实现实时目标跟踪；如中间目标跟丢，立刻返回第一步，重新进行目标识别。 本专利技术与现有技术相比，其显著优点是1、本专利技术使用的特征点算子是一种基于尺度空间的、对图像縮放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，其匹配精度高，在图像具有较复杂的变形(包括几何变形、分辨率变化和光照变化等)的情况下，仍然可以准确地匹配到大量的稳定点；2、本专利技术采用特征光流法进行目标跟踪，可以处理大的帧间位移，对噪声的敏感性降低，只处理图像中很少数的特征点，计算量较小。 图1为本专利技术的基于仿射不变点及光流计算的目标识别和跟踪方法的流程框图。 图2为本专利技术的基于仿射不变点及光流计算的目标识别和跟踪方法的目标图像。 图3为本专利技术的基于仿射不变点及光流计算的目标识别和跟踪方法的目标识别并跟踪成功的视频截图。具体实施例方式以下结合附图对本专利技术的具体内容做进一步描述。 本专利技术公开了一种，该方法包括如下步骤 第一步，目标识别首先对目标图像和视频第一帧进行图像预处理，并提取仿射不变特征点，然后进行特征点匹配，并剔除掉误匹配的点，当特征点的匹配对达到一定数量，并且能生成仿射变换矩阵时，确认目标识别成功。若目标识别不成功，依次取视频的下一帧与目标图像进行匹配，直到目标识别成功； 第二步，目标跟踪利用视频本帧采集到的仿射不变点，进行特征光流计算，找到下帧中不变点的位置，实现实时目标跟踪；如中间目标跟丢，立刻返回第一步，重新进行目标识别； 这种算法的思想是首先提取图像和视频帧中的仿射不变点进行匹配，从而将目标识别出来并确定目标在视频帧中的位置，然后利用这些特征点进行光流计算，实现目标实时跟踪。 本专利技术，在目标识别过程中提取仿射不变特征点的步骤如下 第一步，利用高斯巻积核对目标图像及视频帧进行平滑处理，采用如下公式 "x， y， o ) = G(x， y， o )衬(x， y) 其中L(x， y，。)为平滑处理后尺度空间为。的图像，G(x， y，。)是高斯函数，f(x，y)为原来图像; 第二步，建立图像尺度空间金字塔。先对原图像放大一倍，并将此图像作为高斯尺度空间金字塔第一阶的图像原型，以后每阶的图像原型都由前一阶的图像原型下采样得到，大小为前阶原型的;。在高斯金字塔中每阶相邻两个高斯图像作差即得到高斯差分(DoG)金字塔。取金字塔第一阶第一层图像尺度坐标c7-^ 。金子塔的总阶数为附图说明 G(X,)=log2(min(W， h))-2，其中w为原始图像宽度，h为原始图像高度； 第三步，将待检测的图像中每个像素点与同阶上、下层两幅图像相邻的2X9个像素点，以及自己周围的8个像素点进行比较，找寻极值点，确定为候选特征点； 第四步，去除一些低对比度的特征点和不稳定的边缘响应点。采用拟合三维二次函数来精确特征点的DoG函数值并去除低对比度的特征点。若DoG图像中像素点值归一化在之间，可将所有l"(^)|<0.03的点判定为低对比度的侯选极值点而过滤掉。利用图像边缘处的特征点在高斯差分图像的峰值处与边缘交叉处有一较大的主曲率值，但在垂直方向曲率较小这个性质将边缘处的低对比度特征点过滤掉；第五步，确定特征点方向。对于一幅图像f (x， y)，像素点(x， y)处梯度的模值和方向求取如下<formula>formula see original document page 7</formula> 以特征点为中心的邻域窗口 (邻域窗口大小=3X1. 5X特征点尺度)内采样，并用直方图统计邻域像素的梯度方向。在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该特征点的辅方向； 第六步，生成特征点描述字。首先将坐标轴旋转为特征点的方向，接下来以特征点为中心取16X16的窗口，在每4X4的小块上计算8个方向的梯度方向直方图，得到每个梯度方向的累加值，形成一个种子点，这样对于一个特征点就可以产生128维的特征向量。再继续将特征向量的长度归一化； 这样得到的特征点算子是一种基于尺度空间的、对图像縮放、旋转甚至仿射变换保持不变性、在图像具有较复杂的变形的情况下，可以准确地匹配到大量的稳定点的图像局部特征描述算子。 本专利技术，目标识别过程中特征点匹配的步骤如下 第一步，如目标图像的特征点共有m个，描述字数组为(A" A2， . . . ， AJ ，待匹配图像的特征点共有n个，描述字数组为(Bp B2， . . . ， Bn)，对(A， A2， . . . ， Am)建k_d树，在k_d树中使用BBF (Best-Bin-First)算法搜索B」(j = 1， . . . ， n)的近邻特征点Aji = 1，...，m)。如两个特征点描述字A(a。， ai，......， a127)和B(b。， ......， b127)欧式距离为 "、E(",-6,) 当两幅图像的特征点描述字间欧式距离d最小时本文档来自技高网...

【技术保护点】
一种基于仿射不变点及光流计算的目标自动识别和跟踪方法，该方法包括如下步骤：第一步，目标识别：首先对目标图像和视频第一帧进行图像预处理，并提取仿射不变特征点，然后进行特征点匹配，并剔除掉误匹配的点，当特征点的匹配对达到一定数量，并且能生成仿射变换矩阵时，确认目标识别成功。若目标识别不成功，依次取视频的下一帧与目标图像进行匹配，直到目标识别成功；第二步，目标跟踪：利用视频本帧采集到的仿射不变点，进行特征光流计算，找到下帧中不变点的位置，实现实时目标跟踪；如中间目标跟丢，立刻返回第一步，重新进行目标识别；这种算法的思想是首先提取图像和视频帧中的仿射不变点进行匹配，从而将目标识别出来并确定目标在视频帧中的位置，然后利用这些特征点进行光流计算，实现目标实时跟踪。

【技术特征摘要】

【专利技术属性】
技术研发人员：戴跃伟，曹骝，项文波，茅耀斌，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：84[中国|南京]