具有移动预测的图像追踪方法及扩增实境实现方法技术

本发明专利技术公开了一种具有移动预测的图像追踪方法及扩增实境实现方法，其图像追踪方法包括A1、获取目标标志物；A2、计算目标标志物的初始位姿矩阵；A3、读入目标标志物的下一帧数据，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法进入追踪执行线程，以确定新的位姿矩阵；A4、根据新的位姿矩阵对图像进行相应的位置变换；A5、采用A3至A4的步骤直至目标标志物消失；采用该方法有效的解决现有图像追踪方法在图像位移量较大时追踪计算量增大、实时性下降甚至丢失的情况。

Image tracking method with moving prediction and augmented reality implementation method

The invention discloses a mobile image prediction tracking method and augmented reality method, the image tracking methods including A1, obtain the target marker; A2, calculate the target markers in the initial pose matrix; A3, read the target markers in the next frame data, using the template matching, and motion vector prediction model Calman filtering algorithm into tracking thread of execution, to determine the pose matrix; A4, according to the image position transformation corresponding pose matrix; A5, using A3 to A4 step until the target disappear; to adopt the effective method to solve the existing image tracking method in image displacement greatly increase the amount of calculation, real-time tracking decline and even loss of.

【技术实现步骤摘要】
具有移动预测的图像追踪方法及扩增实境实现方法
本专利技术涉及计算器视觉领域，具体涉及一种具有移动预测的图像追踪方法及基于该方法的扩增实境实现方法。
技术介绍
扩增实境技术即AR，全称为AugmentedReality，其将虚拟世界的视效、音效及空间信息等信息整合至真实环境信息的技术，扩增实境技术不仅展现真实环境的信息，亦同时将虚拟的信息显示出来，藉由两种信息相互补充、迭加，藉此让使用者可获得更丰富的感知信息，通常，搭载扩增实境技术的电子装置可透过配置于其上的摄像镜头捕捉真实环境的影像，并实时地计算所捕捉影像的位置、角度，同时加上相应虚拟图像，其目的是在显示屏幕上把虚拟世界信息套在现实环境信息中，让用户透过所捕捉的影像与虚拟世界的信息进行互动。现今扩增实境技术主要应用于智能手机、平板计算机等移动装置，近年来由于虚拟现实(VirtualReality，VR)技术的发展，也开始将扩增实境技术应用于智能头盔、智能眼镜等穿戴式设备上。透过3D图像动画的渲染，多媒体视频、音频的播放，扩增实境技术被广泛地应用于电玩游戏、媒体传播及教育等领域。扩增实境技术利用虚拟特效增强真实环境中的场景，将需要被展示或被突显的目标事物更加生动且具体，带给用户强烈鲜明的视觉效果。经典的扩增现实应用通常利用模板匹配的方式做图像的追踪。当图像位移量较大时，模板在指定范围内没有搜到匹配的区域，因此扩大搜索的区域，但是，此时有可能依然搜寻不到匹配的区域，因此在图像追踪时容易造成图像的追踪计算量增大、实时性下降甚至丢失的情况。
技术实现思路
本专利技术为了解决上述技术问题提供一种具有移动预测的图像追踪方法及基于该方法的扩增实境实现方法。本专利技术通过下述技术方案实现：具有移动预测的图像追踪方法，包括：A1、获取目标标志物；A2、计算目标标志物的初始位姿矩阵；A3、读入目标标志物的下一帧数据，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法进入追踪执行线程，以确定新的位姿矩阵；A4、根据新的位姿矩阵对图像进行相应的位置变换；A5、采用A3至A4的步骤直至目标标志物消失。本方法在现有的图像追踪方法上做了改进，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法开始追踪执行线程，有效的解决现有图像追踪方法在图像位移量较大时追踪计算量增大、实时性下降甚至丢失的情况。在步骤A3的具体方法为：当读入的影像至少大于两帧时，利用前两帧位姿矩阵计算一个预测矩阵，预先将跟踪组的点从上一帧的位置投影到预测矩阵的位置范围，再在预测矩阵中搜索模板；根据上一帧的位姿矩阵将跟踪组的点投影至屏幕上，在点附近的一定范围内做模板匹配，譬如在该点周围15*15像素方形范围内进行搜索，判断模板的匹配度由模板所有像素值的归一化互相关系数决定；对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理。最优化估计处理即采用最优化方法对位姿矩阵进行估计。一种基于图像追踪方法的扩增实境实现方法，包括：1)、生成目标标志物；2)、初始化扩增实境系统；3)、获取真实场景图像；4)、检测并匹配目标标志物，获取目标标志物的初始位姿矩阵；5)、渲染3D引擎动画特效；6)、采用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法开始进入追踪执行线程，确定目标标志物新的位姿矩阵；7)、根据新的位姿矩阵更新扩增实境动画特效；8)、重复5)至7)直至目标标志物在屏幕中消失、重新获取真实场景图像或扩增实境系统停止运作。所述模板匹配的方法为：扩增实境系统根据上一帧的位姿矩阵将跟踪组的点投影至屏幕上，在点附近的一定范围内做模板匹配，判断模板是否匹配的分数由模板所有像素值的归一化互相关系数决定。采用矢量运动模型预测的方法为：当读入的影像至少大于两帧时，利用前两帧位姿矩阵计算一个预测矩阵，预先将跟踪组的点从上一帧的位置投影到预测矩阵的位置范围，再在预测矩阵内搜索模板。将上一帧的点投影到当前帧，并比较两帧特征点的位置移动，算出运动的预测矩阵，在预测矩阵内搜索模板，从而减小图像的追踪计算量、避免实时性下降甚至丢失的情况。采用卡尔曼滤波算法的方法为：对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理。生成目标标志物的步骤为：生成目标标志物的方法包括：选取图像；运用线性插值的方法对图像进行不同尺度的缩小，建立图层塔，使增强现实系统可以匹配到摄像头获取的图像中多种尺寸的标志物；生成跟踪组的点；生成匹配组的特征点及描述子。本专利技术与现有技术相比，具有如下的优点和有益效果：1、本专利技术利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法开始追踪执行线程，有效的解决现有图像追踪方法在图像位移量较大时追踪计算量增大、实时性下降甚至丢失的情况。2、本专利技术将上述图像追踪方法应用到扩增实境中，有效的解决了虚拟三维模型中当图像位移量大时追踪计算量增大、实时性下降甚至丢失的情况，增强了用户体验。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。实施例1具有移动预测的图像追踪方法，包括：A1、获取目标标志物；A2、计算目标标志物的初始位姿矩阵；A3、读入目标标志物的下一帧数据，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法进入追踪执行线程，以确定新的位姿矩阵；A4、根据新的位姿矩阵对图像进行相应的位置变换；A5、采用A3至A4的步骤直至目标标志物消失。具体的，步骤A3的具体方法为：对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理；当读入的影像至少大于两帧时，利用前两帧位姿矩阵计算一个预测矩阵，预先将跟踪组的点从上一帧的位置投影到当前帧的点可能出现的位置范围，再在这些位置附近搜索模板；根据上一帧的位姿矩阵将跟踪组的点投影至屏幕上，在点附近的一定范围内做模板匹配，譬如在该点周围15*15像素方形范围内进行搜索，判断模板是否匹配的分数由模板所有像素值的归一化互相关系数决定。上述图像追踪方法可应用到很多很多系统应用中。下面以扩增实境系统的应用对本方法的详细步骤进行阐述。实施例2一种基于图像追踪方法的扩增实境实现方法，其特征在于，包括：1)、生成目标标志物；2)、初始化扩增实境系统；3)、获取真实场景图像；4)、检测并匹配目标标志物，获取目标标志物的初始位姿矩阵；5)、渲染3D引擎动画特效；6)、采用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法开始进入追踪执行线程，确定目标标志物新的位姿矩阵；7)、根据新的位姿矩阵更新扩增实境动画特效；8)、重复5)至7)直至目标标志物在屏幕中消失、重新获取真实场景图像或扩增实境系统停止运作。具体的，步骤2)中，扩增实境系统可以在带有摄像头的设备上实现，譬如手机、平板计算机、智能眼镜或头盔等。初始化扩增实境系统主要包括两方面：1.摄像头的校准及初始化，用于获取真实场景图像，初始化摄像头具体指将摄像头的焦距和形变等内部固有参数读取到内存中；2.扩增实境系统读取实现技术需要的预存好的本地数据，包括目标标志物文件，3D模型的信息。步骤3)通过摄像头获取一个真实场景的图像。检测图像内是否含有目标标志物，若有流程继续进行，否则重新获取图像本文档来自技高网...

【技术保护点】
具有移动预测的图像追踪方法，其特征在于，包括：A1、获取目标标志物；A2、计算目标标志物的初始位姿矩阵；A3、读入目标标志物的下一帧数据，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法进入追踪执行线程，以确定新的位姿矩阵；A4、根据新的位姿矩阵对图像进行相应的位置变换；A5、采用A3至A4的步骤直至目标标志物消失。

【技术特征摘要】
1.具有移动预测的图像追踪方法，其特征在于，包括：A1、获取目标标志物；A2、计算目标标志物的初始位姿矩阵；A3、读入目标标志物的下一帧数据，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法进入追踪执行线程，以确定新的位姿矩阵；A4、根据新的位姿矩阵对图像进行相应的位置变换；A5、采用A3至A4的步骤直至目标标志物消失。2.根据权利要求1所述的具有移动预测的图像追踪方法，其特征在于，在步骤A3的具体方法为：当读入的影像至少大于两帧时，利用前两帧位姿矩阵计算一个预测矩阵，预先将跟踪组的点从上一帧的位置投影到预测矩阵的位置范围，再在预测矩阵中搜索模板；根据上一帧的位姿矩阵将跟踪组的点投影至屏幕上，在点附近的一定范围内做模板匹配，判断模板的匹配度由模板所有像素值的归一化互相关系数决定；对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理。3.一种基于图像追踪方法的扩增实境实现方法，其特征在于，包括：1)、生成目标标志物；2)、初始化扩增实境系统；3)、获取真实场景图像；4)、检测并匹配目标标志物，获取目标标志物的初始位姿矩阵；5)、渲染3D引擎动画特效；6)、采用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法开始进入追踪执行线程，确定目标标志物新的位姿矩阵；7)...

【专利技术属性】
技术研发人员：施茂燊，
申请(专利权)人：深圳前海大造科技有限公司，
类型：发明
国别省市：广东,44