特征点跟踪方法和装置制造方法及图纸

本发明专利技术公开了一种特征点跟踪方法和装置。该方法应用于具有图像跟踪单元的电子设备，电子设备用于基于图像跟踪单元执行对目标对象的跟踪，该方法包括：确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n，其中，n为大于1的整数，第二帧图像为第一帧图像在时间维度上的前一帧图像；对第一帧图像执行第一处理直至找到n个新的特征点，其中，第一处理为在图像中随机选取像素点并检测选取的像素点是否为特征点，新的特征点不同于第一帧图像中未丢失的特征点；将第一帧图像中未丢失的特征点和n个新的特征点组合得到第一帧图像的全部特征点。通过本发明专利技术，解决了相关技术中的特征点跟踪方法容易导致系统时间开销过大的问题。

Feature point tracking method and device

The invention discloses a feature point tracking method and device. This method is applied to the electronic device with image tracking unit, electronic equipment for image tracking of the target tracking unit of the implementation of the method includes: Based on the characteristic points of the first frame image is compared to the second frame number of the lost n, determine which, n is greater than 1 integer, second frames as before a frame first frame image in the time dimension; the first frame image to perform the first treatment until you find the n new features, first, as in the image is randomly selected pixel and pixel detection point is selected as the feature points, a new feature point is different from the first frame of the feature points are not lost in the image; feature points will not lost the first frame image and n a new feature point combination of the first frame image of all feature points. The invention solves the problem that the characteristic point tracking method in the relative technology easily leads to the excessive time overhead of the system.

【技术实现步骤摘要】
特征点跟踪方法和装置
本专利技术涉及图像处理领域，具体而言，涉及一种特征点跟踪方法和装置。
技术介绍
特征点(角点)提取是一种常用的图像特征提取方法，通过对图像中的特征点进行提取可以检测、提取、识别和跟踪图像序列中的目标。FAST(FeaturesfromAcceleratedSegmentTest)是一种角点检测方法，它可以用于特征点的提取，并完成跟踪和映射物体。FAST角点检测算法最初是由EdwardRosten和TomDrummond提出，该算法最突出的优点是它的计算效率。现有技术中，特征点跟踪方法的工作原理如下：在初始化时提取当前视野中的所有特征点，选取其中一定数量的质量较高的特征点进行跟踪。由于摄像头位置的改变或摄像头视野中物体的移动可能导致图像中的景象发生改变，在图像发生改变时，图像中的部分特征点可能会在图像中移动或丢失。在之后的每一帧中，视觉系统会利用稀疏光流的方法对特征点进行跟踪，根据之前帧的图像和特征点找到之前的特征点在当前帧中匹配的位置。在跟踪特征点的过程中部分特征点可能会跟踪失败，导致图像中总的特征点数降低。由于算法通常要求保证特征点维持在一定的数量，为保证当前帧中跟踪到的FAST特征点维持在一定数量，当特征点因机器人的运动而消失时，需要补充特征点。现有技术中，视觉系统会再次调用初始化时的方法遍历当前图像，找出当前视野中所有的特征点，并选取其中较好的特征点以补充特征点的数量。上述提取当前视野中所有特征点的算法会遍历整个图像，导致了较大的时间耗费，在实时系统中，例如，机器人的视觉系统，遍历图像的时间开销过大，会影响机器人整体的性能。针对相关技术中的特征点跟踪方法容易导致系统时间开销过大的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术的主要目的在于提供一种特征点跟踪方法和装置，以解决相关技术中的特征点跟踪方法容易导致系统时间开销过大的问题。为了实现上述目的，根据本专利技术的一个方面，提供了一种特征点跟踪方法。该方法应用于具有图像跟踪单元的电子设备，电子设备用于基于图像跟踪单元执行对目标对象的跟踪，该方法包括：确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n，其中，n为大于1的整数，第二帧图像为第一帧图像在时间维度上的前一帧图像；对第一帧图像执行第一处理直至找到n个新的特征点，其中，第一处理为在图像中随机选取像素点并检测选取的像素点是否为特征点，新的特征点不同于第一帧图像中未丢失的特征点；将第一帧图像中未丢失的特征点和n个新的特征点组合得到第一帧图像的全部特征点。进一步地，在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n之后，该方法还包括：判断数量n是否超过预设阈值，其中，在判断数量n是否超过预设阈值之后，该方法还包括：如果判断出数量n超过预设阈值，对第一帧图像执行第二处理以获取第一帧图像的所有的特征点，其中，第二处理为检测图像中所有的像素点是否为特征点；在获取到的第一帧图像的所有的特征点中确定符合预设条件的特征点；如果判断出数量n未超过预设阈值，对第一帧图像执行第一处理。进一步地，在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n之前，该方法还包括：对初始帧图像执行第二处理以获取初始帧图像的所有的特征点；在获取到的初始帧图像的所有的特征点中确定符合预设条件的特征点。进一步地，确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n包括：通过预设跟踪算法在第一帧图像中跟踪第二帧图像的特征点，其中，第二帧图像的特征点在第一帧图像中未跟踪成功的特征点的数量为n，未跟踪成功的特征点为在第二帧图像中存在但在第一帧图像中丢失的特征点。进一步地，第一帧图像和第二帧图像为通过图像跟踪单元获取的图像，在对第一帧图像执行第一处理直至找到n个新的特征点之前，该方法还包括：获取图像跟踪单元的运动信息；根据图像跟踪单元的运动信息估算第一帧图像相较于第二帧图像丢失的n个特征点在第一帧图像中所在的区域X；相应的，对第一帧图像执行第一处理直至找到n个新的特征点，包括：对第一帧图像中的区域X执行第一处理直至找到n个新的特征点。为了实现上述目的，根据本专利技术的一个方面，提供了一种特征点跟踪装置。该装置应用于具有图像跟踪单元的电子设备，电子设备用于基于图像跟踪单元执行对目标对象的跟踪，该装置包括：第一确定单元，用于确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n，其中，n为大于1的整数，第二帧图像为第一帧图像在时间维度上的前一帧图像；第一执行单元，用于对第一帧图像执行第一处理直至找到n个新的特征点，其中，第一处理为在图像中随机选取像素点并检测选取的像素点是否为特征点，新的特征点不同于第一帧图像中未丢失的特征点；组合单元，用于将第一帧图像中未丢失的特征点和n个新的特征点组合得到第一帧图像的全部特征点。进一步地，该装置还包括：判断单元，用于在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n之后，判断数量n是否超过预设阈值，第二执行单元，用于在判断数量n是否超过预设阈值之后，如果判断出数量n超过预设阈值，对第一帧图像执行第二处理以获取第一帧图像的所有的特征点，其中，第二处理为检测图像中所有的像素点是否为特征点；在获取到的第一帧图像的所有的特征点中确定符合预设条件的特征点，其中，第一执行单元还用于如果判断出数量n未超过预设阈值，对第一帧图像执行第一处理。进一步地，第二执行单元还用于在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n之前，对初始帧图像执行第二处理以获取初始帧图像的所有的特征点，该装置还包括：第二确定单元，用于在获取到的初始帧图像的所有的特征点中确定符合预设条件的特征点。进一步地，第一确定单元包括：跟踪模块，用于通过预设跟踪算法在第一帧图像中跟踪第二帧图像的特征点，其中，第二帧图像的特征点在第一帧图像中未跟踪成功的特征点的数量为n，未跟踪成功的特征点为在第二帧图像中存在但在第一帧图像中丢失的特征点。进一步地，第一帧图像和第二帧图像为通过图像跟踪单元获取的图像，该装置还包括：获取单元，用于在对第一帧图像执行第一处理直至找到n个新的特征点之前，获取图像跟踪单元的运动信息；估算单元，用于根据图像跟踪单元的运动信息估算第一帧图像相较于第二帧图像丢失的n个特征点在第一帧图像中所在的区域X；其中，第一执行单元还用于对第一帧图像中的区域X执行第一处理直至找到n个新的特征点。本专利技术通过确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n，其中，n为大于1的整数，第二帧图像为第一帧图像在时间维度上的前一帧图像；对第一帧图像执行第一处理直至找到n个新的特征点，其中，第一处理为在图像中随机选取像素点并检测选取的像素点是否为特征点，新的特征点不同于第一帧图像中未丢失的特征点；将第一帧图像中未丢失的特征点和n个新的特征点组合得到第一帧图像的全部特征点，解决了相关技术中的特征点跟踪方法容易导致系统时间开销过大的问题，进而达到了减小特征点跟踪方法占用的系统时间开销的效果。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术第一实施例的特征点跟踪方法的流程图；图2是根据本专利技术第二本文档来自技高网...

【技术保护点】
一种特征点跟踪方法，其特征在于，所述方法应用于具有图像跟踪单元的电子设备，所述电子设备用于基于所述图像跟踪单元执行对目标对象的跟踪，所述方法包括：确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n，其中，n为大于1的整数，所述第二帧图像为所述第一帧图像在时间维度上的前一帧图像；对所述第一帧图像执行第一处理直至找到n个新的特征点，其中，所述第一处理为在图像中随机选取像素点并检测选取的像素点是否为特征点，所述新的特征点不同于所述第一帧图像中未丢失的特征点；将所述第一帧图像中未丢失的特征点和所述n个新的特征点组合得到所述第一帧图像的全部特征点。

【技术特征摘要】
2016.10.27 CN 20161095882491.一种特征点跟踪方法，其特征在于，所述方法应用于具有图像跟踪单元的电子设备，所述电子设备用于基于所述图像跟踪单元执行对目标对象的跟踪，所述方法包括：确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n，其中，n为大于1的整数，所述第二帧图像为所述第一帧图像在时间维度上的前一帧图像；对所述第一帧图像执行第一处理直至找到n个新的特征点，其中，所述第一处理为在图像中随机选取像素点并检测选取的像素点是否为特征点，所述新的特征点不同于所述第一帧图像中未丢失的特征点；将所述第一帧图像中未丢失的特征点和所述n个新的特征点组合得到所述第一帧图像的全部特征点。2.根据权利要求1所述的方法，其特征在于，在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n之后，所述方法还包括：判断所述数量n是否超过预设阈值，其中，在判断所述数量n是否超过预设阈值之后，所述方法还包括：如果判断出所述数量n超过所述预设阈值，对所述第一帧图像执行第二处理以获取所述第一帧图像的所有的特征点，其中，所述第二处理为检测图像中所有的像素点是否为特征点；在获取到的所述第一帧图像的所有的特征点中确定符合预设条件的特征点；如果判断出所述数量n未超过所述预设阈值，对所述第一帧图像执行所述第一处理。3.根据权利要求2所述的方法，其特征在于，在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n之前，所述方法还包括：对初始帧图像执行所述第二处理以获取所述初始帧图像的所有的特征点；在获取到的所述初始帧图像的所有的特征点中确定符合所述预设条件的特征点。4.根据权利要求1所述的方法，其特征在于，确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n包括：通过预设跟踪算法在所述第一帧图像中跟踪所述第二帧图像的特征点，其中，所述第二帧图像的特征点在所述第一帧图像中未跟踪成功的特征点的数量为n，所述未跟踪成功的特征点为在所述第二帧图像中存在但在所述第一帧图像中丢失的特征点。5.根据权利要求4所述的方法，其特征在于，所述第一帧图像和所述第二帧图像为通过所述图像跟踪单元获取的图像，在对所述第一帧图像执行第一处理直至找到n个新的特征点之前，所述方法还包括：获取所述图像跟踪单元的运动信息；根据所述图像跟踪单元的运动信息估算所述第一帧图像相较于所述第二帧图像丢失的n个特征点在所述第一帧图像中所在的区域X；相应的，对所述第一帧图像执行第一处理直至找到n个新的特征点，包括：对所述第一帧图像中的区域X执行所述第一处理直至找到n个新的...

【专利技术属性】
技术研发人员：庞富民，孟令航，陈子冲，
申请(专利权)人：纳恩博北京科技有限公司，
类型：发明
国别省市：北京,11