增强金字塔LK光流算法图像跟踪稳定性的方法技术

本发明专利技术提供了一种增强金字塔LK光流算法图像跟踪稳定性的方法，通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算，根据反向跟踪结果与原始图像特征点进行距离计算，过滤存在较大误差的图像特征点，仅保留跟踪准确度高的图像特征点，从而解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差，有效地提高了对待跟踪图像序列中目标主体跟踪的准确性，达到优化跟踪稳定性的目的。

【技术实现步骤摘要】
增强金字塔LK光流算法图像跟踪稳定性的方法
本专利技术涉及计算机视觉与增强现实
，具体涉及一种增强金字塔LK光流算法图像跟踪稳定性的方法。
技术介绍
光流，是图像亮度的运动信息描述，具体是指由一个观察者(如眼睛、摄像头)，在一个视角下，一个物体、表面、边缘和背景之间形成的明显移动，它评估了两幅图像之间的变形。在计算机图形图像学中，可以利用像素亮度的变化追踪光线移动的方向，从而确定物体运动方向，进而得到相机运动方向。LK光流(Lucas-Kanade光流)算法，通过对观测量进行“灰度不变”假设和“某个窗口内的像素具有相同的运动”假设，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法，从而能够在前后两帧图像中追踪到同一个点的位置移动。LK光流算法对于有噪声存在图像跟踪具有良好的鲁棒性，同时，LK光流算法在图像跟踪时受运动距离、环境光照变化等因素的影响，并不能保证每个特征点都被准确跟踪，未被准确跟踪的特征点会导致跟踪结果的计算误差。因此，如何解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差，提高基于金字塔LK光流算法图像跟踪的准确性，成为目前亟待解决的技术问题之一。
技术实现思路
为了解决上述技术问题至少之一，本专利技术的实施例提出了一种增强金字塔LK光流算法图像跟踪稳定性的方法，通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算，根据反向跟踪结果与原始图像特征点进行距离计算，过滤存在较大误差的图像特征点，从而解决光流跟踪过程中由于待跟踪目标较大幅度运动导致的特征点跟踪误差，有效地提高跟踪的准确性，达到优化跟踪稳定性的目的。有鉴于此，根据本专利技术的实施例，本专利技术提供一种增强金字塔LK光流算法图像跟踪稳定性的方法，包括以下步骤：S101，在待跟踪图像序列的当前帧图像P1中，确定待跟踪目标的初始图像区域；S102，提取所述待跟踪目标的初始图像区域中的图像特征点，确定图像特征点集合M；S103，基于金字塔LK光流算法对所述图像特征点集合M中的所有图像特征点进行跟踪，在与所述当前帧图像P1相邻的下一帧图像P2中，确定所述图像特征点集合M中的每一图像特征点分别对应的图像特征点，得到图像特征点集合N；S104，基于金字塔LK光流算法对所述图像特征点集合N中的所有图像特征点进行反向跟踪，在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点，得到图像特征点集合M′；S105，在所述图像帧P1中，计算所述图像特征点集合M中的每一图像特征点，与所述图像特征点在所述图像特征点集合M′中对应的特征点之间的距离，得到距离集合D；S106，根据所述距离集合D中小于阈值T的距离值对应的所述图像特征点集合N中的图像特征点，确定所述待跟踪目标在所述图像帧P2中的图像特征点集合。优选地，步骤S102中，图像特征点为SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点及LBP特征点中的至少一个。优选地，步骤S106之前，还包括：预设所述阈值T；或者，将所述距离集合D中的距离值以递增或递减的次序排序，得到距离值序列，选取所述距离值序列的中间值为所述阈值T。优选地，步骤S106，具体为：根据所述预设阈值T，提取所述距离集合D中小于所述预设阈值T的距离值对应的所述图像特征点集合N中的图像特征点，得到所述待跟踪目标在所述图像帧P2中的图像特征点集合。优选地，步骤S103，具体为：在所述待跟踪图像序列中，将所述图像帧P1与所述图像帧P2的位置进行互换；基于金字塔LK光流算法在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点，得到图像特征点集合M′。优选地，所述待跟踪图像序列为灰度图像帧序列。本专利技术提出的增强金字塔LK光流算法图像跟踪稳定性的方法，通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算，根据反向跟踪结果与原始图像特征点进行距离计算，过滤存在较大误差的图像特征点，从而解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差，有效地提高了对待跟踪图像序列中的待跟踪目标主体的跟踪准确性，达到优化跟踪稳定性的目的。本专利技术的附加方面和优点将在下面的描述部分中变得明显，或通过本专利技术的实践了解到。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图：图1是本专利技术实施例的增强金字塔LK光流算法图像跟踪稳定性方法的流程示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。实施例一本专利技术实施例的增强金字塔LK光流算法图像跟踪稳定性的方法，如图1所示，包括以下步骤：S101，在待跟踪图像序列的当前帧图像P1中，确定待跟踪目标的初始图像区域；S102，提取待跟踪目标的初始图像区域中的图像特征点，确定图像特征点集合M；S103，基于金字塔LK光流算法对图像特征点集合M中的所有图像特征点进行跟踪，在与当前帧图像P1相邻的下一帧图像P2中，确定图像特征点集合M中的每一图像特征点分别对应的图像特征点，得到图像特征点集合N；S104，基于金字塔LK光流算法对图像特征点集合N中的所有图像特征点进行反向跟踪，在图像帧P1中确定图像特征点集合N中每一图像特征点分别对应的图像特征点，得到图像特征点集合M′；S105，在图像帧P1中，计算图像特征点集合M中的每一图像特征点，与图像特征点在图像特征点集合M′中对应的特征点之间的距离，得到距离集合D；S106，根据距离集合D中小于阈值T的距离值对应的图像特征点集合N中的图像特征点，确定待跟踪目标在图像帧P2中的图像特征点集合。在该技术方案中，在待跟踪图像序列的当前帧图像P1中，确定待跟踪目标主体在当前帧图像P1中的图像区域作为初始图像区域，其中，当前帧可以是待跟踪图像序列的初始帧。进一步地，在待跟踪目标的初始图像区域中提取n个图像特征点，确定提取到的图像特征点在图像帧P1中的坐标，得到待跟踪目标的图像特征点集合M，M＝{m1，m2，...mi，...mn}，i，n为自然数，i≤n。其中，图像特征点可以为SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点或LBP特征点。进一步地，根据待跟踪目标的图像特征点集合M，基于金字塔L本文档来自技高网...

【技术保护点】
1.一种增强金字塔LK光流算法图像跟踪稳定性的方法，其特征在于，包括以下步骤：/nS101，在待跟踪图像序列的当前帧图像P1中，确定待跟踪目标的初始图像区域；/nS102，提取所述待跟踪目标的初始图像区域中的图像特征点，确定图像特征点集合M；/nS103，基于金字塔LK光流算法对所述图像特征点集合M中的所有图像特征点进行跟踪，在与所述当前帧图像P1相邻的下一帧图像P2中，确定所述图像特征点集合M中的每一图像特征点分别对应的图像特征点，得到图像特征点集合N；/nS104，基于金字塔LK光流算法对所述图像特征点集合N中的所有图像特征点进行反向跟踪，在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点，得到图像特征点集合M'；/nS105，在所述图像帧P1中，计算所述图像特征点集合M中的每一图像特征点，与所述图像特征点在所述图像特征点集合M'中对应的特征点之间的距离，得到距离集合D；/nS106，根据所述距离集合D中小于阈值T的距离值对应的所述图像特征点集合N中的图像特征点，确定所述待跟踪目标在所述图像帧P2中的图像特征点集合。/n

【技术特征摘要】
1.一种增强金字塔LK光流算法图像跟踪稳定性的方法，其特征在于，包括以下步骤：
S101，在待跟踪图像序列的当前帧图像P1中，确定待跟踪目标的初始图像区域；
S102，提取所述待跟踪目标的初始图像区域中的图像特征点，确定图像特征点集合M；
S103，基于金字塔LK光流算法对所述图像特征点集合M中的所有图像特征点进行跟踪，在与所述当前帧图像P1相邻的下一帧图像P2中，确定所述图像特征点集合M中的每一图像特征点分别对应的图像特征点，得到图像特征点集合N；
S104，基于金字塔LK光流算法对所述图像特征点集合N中的所有图像特征点进行反向跟踪，在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点，得到图像特征点集合M'；
S105，在所述图像帧P1中，计算所述图像特征点集合M中的每一图像特征点，与所述图像特征点在所述图像特征点集合M'中对应的特征点之间的距离，得到距离集合D；
S106，根据所述距离集合D中小于阈值T的距离值对应的所述图像特征点集合N中的图像特征点，确定所述待跟踪目标在所述图像帧P2中的图像特征点集合。


2.根据权利要求1所述的增强金字塔LK光流算法图像跟踪稳定性的方法，其特征在于，所述步骤S102中，所述图像特征点为SIFT特征点、SURF特征点...

【专利技术属性】
技术研发人员：陈更，史凌波，
申请(专利权)人：北京易讯理想科技有限公司，
类型：发明
国别省市：北京;11