一种无标志物跟踪注册方法技术

本发明专利技术公开了一种无标志物跟踪注册方法，属于增强现实技术领域。本发明专利技术针对现有技术不足，通过构造随机森林分类模型，对CenSurE算法提取的特征点进行快速初始匹配，同时结合现有特征点连续跟踪技术对匹配特征点进行连续跟踪，从而在大幅度减少特征匹配所需计算的同时，提高了所选取特征点的稳定性；并进一步对光流特征跟踪方法进行改进，对错误跟踪点进行筛选，提高了跟踪注册的准确性和效率，提高了增强现实系统的实时性。相比现有技术，本发明专利技术方法能够有效提高跟踪注册的准确性和效率，进而提升增强现实系统的实时性。

【技术实现步骤摘要】

本专利技术涉及增强现实
，尤其涉及。
技术介绍
增强现实(Augmented Reality，简称AR)是为了解决虚拟现实与真实环境完全隔离，不能贴近现实世界而出现的一项新技术。增强现实主要通过借助模式识别、多媒体、传感器、计算机视觉等技术，在真实场景之上叠加由计算机创建的虚拟的三维物体或者二维的信息，利用显示设备呈现出具有良好视觉效果的虚实结合环境，帮助用户对真实世界进行更好地理解和认知。 在增强现实系统中，跟踪注册技术是实现图像融合必需的条件，对精确实现“虚实融合”至关重要。跟踪注册技术，又被称为虚实配准技术，主要通过实时检测、跟踪目标场景在真实环境中与摄像机的相对位置关系，对虚拟物体的位置进行准确定位，完成虚实融合。目前，根据注册技术采用的方法和设备不同，常见的跟踪注册技术主要有三种:基于硬件、基于视觉和不同方案混合的跟踪注册技术。基于硬件的跟踪注册技术，根据采用的传感器不同，有电磁、超声波、光学和惯性设备等。它主要通过测量和分析反馈信号，动态地跟踪使用者的位置和方向，完成虚拟物体的叠加，具有注册简单，跟踪速度较快的优点，但是普遍存在受环境干扰影响大，长时间跟踪困难的问题。基于计算机视觉的跟踪注册，主要通过采集处理场景的图像信息，进行识别和跟踪，计算摄像机相对于目标场景的位姿关系。与基于硬件的注册技术相比，成本低廉，实现方便，而且注册精度更高，是当前AR研究中应用最广泛的技术。而混合跟踪注册技术是当某一种策略无法达到预期效果时，通过结合不同种类的注册技术，使注册定位更加精确。混合跟踪系统一般精确性较高，但是系统构建复杂、花费代价高昂，并不适合大规模应用。 目前，基于视觉的跟踪注册研究中，比较成熟的是基于人工标识物(Marker)的注册。此项技术通过提取场景中的标识物进行识别定位，实现增强现实。但是该方法应用的前提是目标场景中必须存在特定的、完整的人工标识，如果不能满足上述条件，就容易造成注册失败。因此，无标识物的跟踪注册技术成为影响增强现实发展的一个重要问题。增强现实技术对稳定性、精确性和实时性的要求较高，而目前基于视觉的常见注册方法，例如Ke Xu采用单应关系计算注册矩阵的方法，Andrew通过事先计算场景模型完成注册的方法，Yuko利用包含多平面结构的真实场景的视觉注册等方法，在检测特征的稳定性与实时性方面不能同时兼顾，如果检测不到稳定的特征点，就无法完成注册。而且由于特征提取的运算一般比较复杂，目前主要的解决办法是通过对特征点进行跟踪减少计算，提高效率。这种策略也面临着一个问题:提取的特征在尺度和环境适应性方面稳定性不强，可重复性较弱，当场景发生变形时，容易产生误匹配和跟踪失败的问题，影响了增强现实系统运行的稳定，同时降低了系统的运行效率。
技术实现思路
本专利技术所要解决的技术问题在于克服现有无标识物的跟踪注册技术，提供，能够有效提高跟踪注册的准确性和效率，进而提升增强现实系统的实时性。 ，包括以下步骤: 步骤1、获取目标场景的一幅图像作为模板图像，并利用一系列不同的仿射参数对模板图像进行仿射变换，得到一组变换图像； 步骤2、分别检测出模板图像和各变换图像中的CenSurE特征点，并从中筛选出稳定特征点，具体包括: 将各变换图像中的CenSurE特征点按照相应的仿射参数进行逆仿射变换，并比较各变换图像中的每一个CenSurE特征点经逆仿射变换后的坐标与模板图像中和其相对应的CenSurE特征点的坐标之间的偏差，如偏差大于预设范围，则将该变换图像中的这个CenSurE特征点剔除,最后剩余的模板图像和各变换图像中的CenSurE特征点即为稳定特征点； 步骤3、对每一个稳定特征点，提取以其为中心的相同大小的邻域图像块；模板图像中的每一个稳定特征点的邻域图像块各自构成单独的一类，各变换图像中和该稳定特征点相对应的其它稳定特征点的邻域图像块属于该模板图像中稳定特征点的邻域图像块所在的类；以所提取出的所有邻域图像块作为训练样本集，训练随机森林分类器； 步骤4、对于跟踪注册的目标视频的第一个图像帧，利用以下方法将其与模板图像进行特征点匹配: 首先检测其中的CenSurE特征点，并按照步骤3中的方法提取所检测出的各CenSurE特征点的邻域图像块，并利用训练好的随机森林分类器对这些邻域图像块进行分类，假设第一个图像帧中的CenSurE特征点的领域图像块被分类为类别C，则类别c所对应的模板图像中的稳定特征点即为A的匹配点； 步骤5、对于后续的图像帧，对匹配点进行连续跟踪；如果跟踪失败，利用步骤4中的方法将当前帧与模板图像重新进行特征点匹配，然后继续对重新得到的匹配点进行连续跟踪，从而实现对目标视频的连续跟踪； 步骤6、结合摄像机内部参数得到投影矩阵，将虚拟物体模型绘制叠加到真实场景中。 为了进一步提升所选择的特征点的稳定性，作为本专利技术的进一步改进方案，所述步骤2与步骤3之间还包括对步骤2所得到的稳定特征点进行再筛选的步骤，具体如下:以步骤2所筛选出的稳定特征点作为初步稳定特征点，对统计模板图像中的所有初步稳定特征点根据其所对应的变换图像中初步稳定特征点的数量从大到小进行排序，选出最前面的一部分，最后以这一部分统计模板图像中的初步稳定特征点及其所对应的变换图像中的初步稳定特征点作为最终的稳定特征点。 上述技术方案中可采用现有的各种方法实现对匹配点的连续跟踪，作为本专利技术的另一优选技术方案，所述对匹配点进行连续跟踪，具体按照以下方法:首先利用光流特征跟踪方法得到当前帧的粗匹配点；然后将偏移向量的模大于预设阈值的粗匹配点作为错误匹配点，对于每一个错误匹配点，在以其为中心的NXN的检测窗口中检测是否存在偏移向量的模大于预设阈值的新的CenSurE特征点，如存在，则以其中距离该错误匹配点最近的新的CenSurE特征点取代该错误匹配点，如不存在，则剔除该错误匹配点；然后对下一图像帧重复以上过程。 相比现有技术，本专利技术具有以下有益效果: 1、本专利技术引入了新的CenSurE特征提取算法,CenSurE特征具有的尺度不变特性，可以很好的描述不同变换下的场景，提高了对复杂场景的表达能力和适应性；同时，在保证稳定性的前提下，具有比SIFT和SURF更高的提取效率。 2、本专利技术采用了随机森林分类的方法，将特征匹配转化为模式识别的问题，通过对分类器进行训练和识别，提高了特征的匹配效率和准确性，为后续注册矩阵的计算提供了准确的识别结果，保证了跟踪注册的顺利完成。 3、本专利技术将特征点的匹配有机地与基于光流的跟踪相结合，对特征点的位置进行跟踪和预测，提高了跟踪注册的快速性；对跟踪的特征点进行筛选，避免了累积误差，提高了跟踪的准确性。 【附图说明】 图1为一种采用本专利技术跟踪注册方法的增强现实系统的结构框图； 图2为随机森林分类器的训练及测试过程示意图； 图3为【具体实施方式】中增强现实系统的工作过程示意图。 【具体实施方式】 下面结合附图对本专利技术的技术方案进行详细说明: 本专利技术针对现有技术不足，通过构造随机森林分类模型，对CenSurE算法提取的特征点进行快速初始匹配，同时结合现有特征点连续跟踪技术对匹配特征点进行连续跟踪，从而在大幅度减少特征本文档来自技高网...

【技术保护点】
一种无标志物跟踪注册方法，其特征在于，包括以下步骤：步骤1、获取目标场景的一幅图像作为模板图像，并利用一系列不同的仿射参数对模板图像进行仿射变换，得到一组变换图像；步骤2、分别检测出模板图像和各变换图像中的CenSurE特征点，并从中筛选出稳定特征点，具体包括：将各变换图像中的CenSurE特征点按照相应的仿射参数进行逆仿射变换，并比较各变换图像中的每一个CenSurE特征点经逆仿射变换后的坐标与模板图像中和其相对应的CenSurE特征点的坐标之间的偏差，如偏差大于预设范围，则将该变换图像中的这个CenSurE特征点剔除，最后剩余的模板图像和各变换图像中的CenSurE特征点即为稳定特征点；步骤3、对每一个稳定特征点，提取以其为中心的相同大小的邻域图像块；模板图像中的每一个稳定特征点的邻域图像块各自构成单独的一类，各变换图像中和该稳定特征点相对应的其它稳定特征点的邻域图像块属于该模板图像中稳定特征点的邻域图像块所在的类；以所提取出的所有邻域图像块作为训练样本集，训练随机森林分类器；步骤4、对于跟踪注册的目标视频的第一个图像帧，利用以下方法将其与模板图像进行特征点匹配：首先检测其中的CenSurE特征点，并按照步骤3中的方法提取所检测出的各CenSurE特征点的邻域图像块，并利用训练好的随机森林分类器对这些邻域图像块进行分类，假设第一个图像帧中的CenSurE特征点的领域图像块被分类为类别c，则类别c所对应的模板图像中的稳定特征点即为的匹配点；步骤5、对于后续的图像帧，对匹配点进行连续跟踪；如果跟踪失败，利用步骤4中的方法将当前帧与模板图像重新进行特征点匹配，然后继续对重新得到的匹配点进行连续跟踪，从而实现对目标视频的连续跟踪；步骤6、结合摄像机内部参数得到投影矩阵，将虚拟物体模型绘制叠加到真实场景中。...

【技术特征摘要】
1.一种无标志物跟踪注册方法，其特征在于，包括以下步骤: 步骤1、获取目标场景的一幅图像作为模板图像，并利用一系列不同的仿射参数对模板图像进行仿射变换，得到一组变换图像； 步骤2、分别检测出模板图像和各变换图像中的CenSurE特征点，并从中筛选出稳定特征点，具体包括: 将各变换图像中的CenSurE特征点按照相应的仿射参数进行逆仿射变换，并比较各变换图像中的每一个CenSurE特征点经逆仿射变换后的坐标与模板图像中和其相对应的CenSurE特征点的坐标之间的偏差，如偏差大于预设范围，则将该变换图像中的这个CenSurE特征点剔除，最后剩余的模板图像和各变换图像中的CenSurE特征点即为稳定特征点； 步骤3、对每一个稳定特征点，提取以其为中心的相同大小的邻域图像块；模板图像中的每一个稳定特征点的邻域图像块各自构成单独的一类，各变换图像中和该稳定特征点相对应的其它稳定特征点的邻域图像块属于该模板图像中稳定特征点的邻域图像块所在的类；以所提取出的所有邻域图像块作为训练样本集，训练随机森林分类器； 步骤4、对于跟踪注册的目标视频的第一个图像帧，利用以下方法将其与模板图像进行特征点匹配: 首先检测其中的CenSurE特征点，并按照步骤3中的方法提取所检测出的各CenSurE特征点的邻域图像块，并利用训练好的随机森林分类器对这些邻域图像块进行分类，假设第一个图像帧中的CenSurE特征点i的领域图像块被分类为类别C，则类别c所对应的模板图像中的稳定特征点即为的匹配点； 步骤5、对于后续的图像帧，对匹配...

【专利技术属性】
技术研发人员：刘惠义，隋建凯，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32