目标跟踪方法、增强现实方法及其装置制造方法及图纸

本发明专利技术涉及一种目标跟踪方法，包括：获取跟踪模板数据；获取图像数据；根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。还涉及了一种增强现实方法，包括了上述的目标跟踪方法，在获取了所述目标的位置信息后，根据所述目标的位置信息在所述目标所在的位置区域显示与所述目标相关的虚拟信息。通过本发明专利技术实施例的技术方案，能够有效确定目标的位置信息，保证结果的可靠性，增强显示运行效率高，实时性好。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，具体而言，涉及一种目标跟踪方法及其装置和一种增强现实方法及其装置。
技术介绍
增强现实(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。它把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。而要实现此技术，需要获取实体的在真实世界中的信息，确定被寻找的目标，确定目标的位置，实现对目标的跟踪，现有的跟踪方法，需要昂贵的跟踪设备，使用的便携性差，不能广泛地应用在智能终端上；或者计算复杂，耗时长，误差率较大，难以达到实时性的要求。
技术实现思路
本专利技术为了解决上述问题中的至少一个提供了目标跟踪方法及装置、增强现实方法及装置和终端，其带来了简单快速稳定，对硬件要求低中的至少一个技术效果。本专利技术的第一方面，提供了一种目标跟踪方法，其特征在于，包括：a)获取跟踪模板数据；b)获取图像数据；c)根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。可选地，还包括：d)确定当前时刻的所述目标的位置信息与所述跟踪模版的位置信息的差异值，当所述差异值大于阈值、所述目标不被遮挡且跟踪精度大于阈值时，将当前时刻的所述目标确定为跟踪模版；e)重复步骤b)至步骤d)获取不同时刻所述图像数据中所述目标的位置信息。可选地，所述步骤c)包括对当前时刻之前的时间段内的所述目标的位置信息进行分析获取轨迹信息，根据所述轨迹信息在当前时刻的所述图像数据中获取特征提取区域，在所述特征提取区域中提取ORB特征，将所述ORB特征与所述跟踪模板中的ORB特征进行匹配获取匹配点对，对所述匹配点对进行筛选，判定筛选后的所述匹配点对的个数大于阈值时，基于筛选后的所述匹配点对计算出所述目标的位置信息。可选地，所述对所述匹配点对进行筛选，判定筛选后的所述匹配点对的个数大于阈值时，基于筛选后的所述匹配点对计算出所述目标的位置信息的步骤包括：对所述匹配点对中的特征点对进行反向检查,去除反向匹配失败的所述匹配点对；去除所述匹配点对中点对距离大于阈值的所述匹配点对；判定所述匹配点对的最近邻和次近邻的匹配点对的距离的比值大于阈值时，去除所述匹配点对；判定剩余的所述匹配点对的数量大于阈值时，利用去除误匹配算法对剩余的所述匹配点对进行筛选，确定用去除误匹配算法筛选后剩余的所述匹配点对的个数大于阈值时，根据用去除误匹配算法筛选后剩余的所述匹配点对计算出所述目标为位置信息。本专利技术的第二方面，提供了一种增强现实方法，上述的目标跟踪方法，在获取了所述目标的位置信息后，根据所述目标的位置信息在所述目标所在的位置区域显示与所述目标相关的虚拟信息。本专利技术的第三方面，提供了一种目标跟踪装置，包括：跟踪模板获取模块，用于获取跟踪模版数据；图像数据获取模块，用于获取图像数据；目标位置信息获取模块，用于根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。本专利技术的第四方面，提供了一种增强现实系统，上述的目标跟踪装置，还包括虚拟信息获取装置，所述虚拟信息获取装置用于获取与目标相关的虚拟信息；渲染显示装置，用于根据所述目标跟踪装置提供的目标的位置信息，在与所述目标对应的位置区域显示与所述目标相关的虚拟信息。本专利技术的第五方面，提供了一种终端，其特征在于，包括了上述的增强现实系统或上述的目标跟踪装置，所述终端为手机或平板电脑。本专利技术提供的目标跟踪方法及装置、增强现实方法及装置和终端，能够有效去除误匹配，保证精确性，跟踪时计算量少，实时性好。附图说明通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：图1示出了根据本专利技术一个实施例的目标跟踪方法的方法流程示意图；图2示出了根据本专利技术一个实施例的目标跟踪方法的方法流程示意图；图3示出了根据本专利技术一个实施例的目标跟踪方法中的S101步骤的方法流程示意图；图4示出了根据本专利技术一个实施例的目标跟踪方法的方法流程示意图；图5示出了根据本专利技术一个实施例的目标跟踪方法中的S201步骤的方法流程示意图；图6示出了根据本专利技术一个实施例的目标跟踪方法中的S202步骤的方法流程示意图；图7示出了根据本专利技术一个实施例的目标跟踪方法中的S203步骤的方法流程示意图；图8示出了根据本专利技术一个实施例的目标跟踪方法中的S204和S205步骤的方法流程示意图；图9示出了根据本专利技术一个实施例的目标跟踪方法的方法流程示意图；图10示出了根据本专利技术一个实施例的增强现实方法的方法流程示意图；图11示出了根据本专利技术一个实施例的增强现实方法的方法流程示意图；图12示出了根据本专利技术一个实施例的目标跟踪装置的结构组成示意图；图13示出了根据本专利技术一个实施例的增强现实系统的结构组成示意图；图14示出了根据本专利技术一个实施例的目标跟踪方法的方法流程示意图；附图标记：100目标跟踪装置；101跟踪模板获取模块；102图像数据获取模块；103目标位置信息获取模块；104跟踪模板更新模块；200增强现实系统；201虚拟信息获取装置；202渲染显示装置。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。增强现实技术将真实世界中的信息与虚拟世界中信息融合呈现，具有很大的运用前景，随着智能终端的普及，增强现实技术的应用愈加广泛，可以通过在智能终端上安装增强现实应用进行体验。具体的，本专利技术提供的增强现实应用实施例的工作流程如下：终端通过摄像头拍摄图像帧；对图像帧进行识别，确定目标；跟踪目标，确定目标位置；获取与所述目标相关联的虚拟信息，对图像帧进行渲染，将所述虚拟信息叠加在目标上；在终端屏幕上同时显示目标和虚拟内容以供用户进行交互。在本专利技术实施例提供的增强现实系统中，目标的跟踪，即如何快速直接使虚拟场景与真实世界精确对齐，对于增强现实系统实时性很重要。一般地，增强现实系统主要采用基于硬件设备的跟踪定位和基于计算机视觉的跟踪定位。基于硬件设备的跟踪方式有很多，比如在基准物上安装LED灯发光，通过CCD传感器，接收发出的光线来测量目标距离和方位；或者利用机械装置、陀螺仪、惯性装置等设备测量观察者位置信息等方式。该类方法一般定位速度快，实时性好，测量范围大；但是需要昂贵的跟踪设备，使用的便携性差，应用范围有限制。基于计算机视觉的跟踪定位技术通过图像处理和计算机视觉等技术获取观察者的位置信息，是室内增强现实系统中常用的跟踪定位技术，具体可分为基于标识物的跟踪方法和基于自然特征的跟踪方法。基于标识物的方法通过事本文档来自技高网...

【技术保护点】
一种目标跟踪方法，其特征在于，包括：a)获取跟踪模板数据；b)获取图像数据；c)根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：a)获取跟踪模板数据；b)获取图像数据；c)根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。2.如权利要求1所述的目标跟踪方法，其特征在于，还包括：d)确定当前时刻的所述目标的位置信息与所述跟踪模版的位置信息的差异值，当所述差异值大于阈值、所述目标不被遮挡且跟踪精度大于阈值时，将当前时刻的所述目标确定为跟踪模版；e)重复步骤b)至步骤d)获取不同时刻所述图像数据中所述目标的位置信息。3.如权利要求1或2所述的目标跟踪方法，其特征在于，所述步骤c)包括对当前时刻之前的时间段内的所述目标的位置信息进行分析获取轨迹信息，根据所述轨迹信息在当前时刻的所述图像数据中获取特征提取区域，在所述特征提取区域中提取ORB特征，将所述ORB特征与所述跟踪模板中的ORB特征进行匹配获取匹配点对，对所述匹配点对进行筛选，判定筛选后的所述匹配点对的个数大于阈值时，基于筛选后的所述匹配点对计算出所述目标的位置信息。4.如权利要求3所述的目标跟踪方法，其特征在于，所述对所述匹配点对进行筛选，判定筛选后的所述匹配点对的个数大于阈值时，基于筛选后的所述匹配点对计算出所述目标的位置信息的步骤包括：对所述匹配点对中的特征点对进行反向检查,去除反向匹配失败的所述匹配点对；去除所述匹配点对中点对距离大于阈值的所述匹配点对；判定所述匹配点对的最近邻和次近邻的匹配点对的距离的比值大于阈值时，去除所述匹配点对；判定剩余的所述匹配点对的数量大于阈值时，利用去除误匹配算法对剩余的所述匹配点对进行筛选，确定用去除误匹配算法筛选后剩余的所述匹配点对的个数大于阈值时，根据用去除误匹配算法筛选后剩余的所述匹配点对计算出所述目标为位置信息。5.如权利要求4所述的目标跟踪方法，其特征在于，获取所述距离的方法包括：汉明距离获取方法、欧式距离获取方法和马氏距离获取方法中的一种或多种；所述去除误匹配算法包括RANSAC算法、PROSAC算法、MLESAC算法、LO-RANSAC算法中的一种或多种。6.如权利要求1或2所述的目标跟踪方法，其特征在于，所述匹配算法包括Brute Force匹配算法和\\或FLANN匹配算法。7.如权利要求1或2所述的目标跟踪方法，其特征在于，所述步骤a)包括：a1)获取目标样图数据；a2)获取图像数据，将当前时刻的所述图像数据与所述目标样图数据进行特征粗匹配，获取初步确定目标信息；a3)根据初步确定目标信息，进行目标精确识别，获取目标信息；根据确定的所述目标信息计算所述目标的位置信息；a4)重复步骤a3)获取T时间段内不同时刻的所述目标和所述目标的位置信息；a5)根据不同时刻的所述目标的位置准确性和所述目标的图像质量选取跟踪模版，确定所述跟踪模版的位置信息。8.如权利要求7所述的目标跟踪方法，其特征在于，所述步骤a1)包括，获取目标样图ORB特征和SURF特征；在所述步骤a1)前包括步骤a0)，所述步骤a0)包括，建立目标特征数据库的过程，所述建立目标特征数据库的步骤包括，对目标数据集中的每一张目标样图提取ORB特征和SURF特征，放入目标特征数据库；所述步骤a2)包括获取所述图像数据的ORB特征，将所述图像数据的ORB特征与所述目标样本的ORB特征进行匹配获取第一匹配点对，根据所述第一匹配点对获取初步确定目标和所述初步确定目标的位置信息；所述步骤a3)包括根据所述初步确定目标的位置信息对所述初步确定目标提取SURF特征，将所述初步确定目标的SURF特征与所述目标样图的SURF特征进行匹配获取第二匹配点对，根据所述第二匹配点对计算出所述初步确定目标的位置信息，所述初步确定目标的位置信息为所述目标的位置信息。9.如权利要求8所述的目标跟踪方法，其特征在于，步骤a2)中，所述根据所述第一匹配点对获取初步确定目标和所述初步确定目标的位置信息的步骤包括：对第一匹配点对中的特征点对进行反向检查,去除反向匹配失败的所述第一匹配点对；去除所述第一匹配点对中点对距离大于阈值的所述第一匹配点对；去除最近邻和次近邻的所述第一匹配点对的距离的比值小于阈值的所...

【专利技术属性】
技术研发人员：黄飞，邓卉，田泽康，
申请(专利权)人：易视腾科技股份有限公司，
类型：发明
国别省市：江苏;32