一种基于图片跟踪实现模拟场景跟踪的方法及系统技术方案

本发明专利技术公开了一种基于图片跟踪实现模拟场景跟踪的方法，包括如下步骤：步骤S1，图像获取：捕捉场景图像用于制作识别跟踪的目标图像，通过解析场景图像，进行拍摄截屏获取目标图像内容；步骤S2，图像优化：获得步骤S1中的场景图像，读取其图像像素信息，并进行优化矫正裁剪保存；步骤S3，特征点提取：根据优化后图像的图像像素信息，提取出图片纹理特征点，构建特征点目标信息；步骤S4，识别跟踪：完成特征点提取之后，开始启动识别跟踪，首先获取到相机实时画面，并进行特征点识别，将实时画面的特征点信息与目标信息进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群的位置变化，实时计算并更新移动终端设备在坐标系中的位置；步骤S5，内容展示：生成产品AR影像并加载在终端设备显示画面中，观察者可360度观察产品外观和内部结构，产品始终都会在终端设备屏幕中间进行展示。

A method and system of tracking simulation scene based on picture tracking

【技术实现步骤摘要】
一种基于图片跟踪实现模拟场景跟踪的方法及系统
本专利技术设计增强现实
，具体而言，本专利技术涉及一种基于图片跟踪实现模拟场景跟踪的方法及系统。
技术介绍
增强现实(AugmentedReality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。现有AR应用场景中为实现虚实结合，即将现实画面和虚拟模型同时显示到移动设备中并且虚拟模型要始终保持在现实画面的固定位置，需要一套帮助移动设备进行实时空间定位的解决方案，常见的解决方案有两种：1)SLAM(SimultaneousLocalizationandMapping)，同步定位与建图，进行实时空间定位的原理：定位：移动设备通过摄像头获取并分析实时画面，从画面中提取出特征点，通过特征点的变化计算设备在环境中的位置建图：移动设备在移动中不断提取特征点，通过特征点间的位置关系构建周围环境的特征地图场景跟踪：将实时画面的特征点与构建的特征地图进行匹配实现实时空间定位2)ImageTarget，图像识别图像预处理：将要识别的图像提前进行特征点提取，并基于这些特征点建立虚拟空间坐标系图像识别跟踪：移动设备通过摄像头获取并分析实时画面，从画面中提取出特征点，并与预处理过的目标特征进行匹配，匹配成功后实时计算移动设备的虚拟空间位置。然而，SLAM虽然本身是一套比较完善的空间定位及跟踪的方法，但是只要终端设备移动，就会不断采集数据，采集量大，对终端设备的计算能力要求比较高，在移动设备硬件及算力不足的情况下建图的速度和质量都有明显影响，从而导致定位不准和跟踪延；而ImageTarget因为提前准备识别图像，所以不需要设备进行实时建图，实时计算量和对设备算力的要求都会小很多，但提前准备识别图像耗时较长因此导致只能在固定场景中使用，并且对场景图像要求比较高，当场景在发生改变、污染、光线变化的情况下会影响使用。
技术实现思路
本专利技术旨在解决上述的技术缺陷，提供一种基于图片跟踪实现模拟场景跟踪的方法及系统。本专利技术提供了一种基于图片跟踪实现模拟场景跟踪的方法，包括如下步骤：步骤S1，图像获取：捕捉场景图像用于制作识别跟踪的目标图像，通过解析场景图像，进行拍摄截屏获取目标图像内容；步骤S2，图像优化：获得步骤S1中的场景图像，读取其图像像素信息，并进行优化矫正裁剪保存；步骤S3，特征点提取：根据优化后图像的图像像素信息，提取出图片纹理特征点，构建特征点目标信息；步骤S4，识别跟踪：完成特征点提取之后，开始启动识别跟踪，首先获取到相机实时画面，并进行特征点识别，将实时画面的特征点信息与目标信息进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群的位置变化，实时计算并更新移动终端设备在坐标系中的位置；步骤S5，内容展示：生成产品AR影像并加载在终端设备显示画面中，观察者可360度观察产品外观和内部结构，产品始终都会在终端设备屏幕中间进行展示。进一步地，步骤S1中捕捉场景图像时，终端设备拍摄界面中会显示至少一个拍摄线框，通过垂直面线框和/或水平面线框用来辅助拍照，识别出立体空间2D映射图像中的垂直面和/或水平面，线框内的区域为最终获取的图像内容，根据线框的提示移动终端设备找到合适的角度进行拍摄并截屏，最终获取图像内容进一步地，步骤S2中，同步读取图像像素信息，利用陀螺仪获取设备位置姿态，根据位置姿态对线框内的图片进行优化矫正，根据各个轴的角度对线框进行旋转并记录旋转后的线框四个角在屏幕上的位置，通过优化矫正将图像还原成正面观察时正常的平面状态图像形状。进一步地，步骤S3中，根据步骤S2优化后的图像像素信息，通过算法提取出图片纹理特征点，包括特征点群及位置关系等信息，构建x坐标范围在[l，r]、y坐标范围在[b，t]、z坐标范围在[n，f]的视域体，建立视域体投影矩阵：建立若干特征点的二维坐标数组T＝{(p1，p2)，(p3，p4)，(p5，p6)....}，将二维特征点转换为齐次坐标T1＝{(p1，p2，N，1)，(p3，p4，N，1)，(p5，p6，N，1)....}，其中N为空间点距离终端设备屏幕的距离；之后绑定模型用的空间坐标P＝T1*Tj-1，即齐次坐标与投影矩阵的逆矩阵相乘所得；该步骤中可以采集若干个特征点群，设定出一个原点，确定每个特征点群和这个原点的位置和角度，构建特征点目标信息。进一步地，在步骤S4的匹配过程中，移动设备摄像头的拍摄位置朝向步骤S1中捕捉的真实场景图像所在的区域，使真实场景与系统内保存的图像信息进行匹配，如果由于拍摄位置偏差没有匹配成功，可以移动设备的位置，当摄像头识别出特征点，系统会自动进行匹配，当稳定达到匹配阈值即成功匹配。进一步地，在步骤S4中成功匹配后，根据特征点群位置中心建立空间虚拟坐标系，根据特征点群的位置变化，通过单应性变换实时计算与之匹配的矩阵投影角度并实时更新移动设备在空间坐标系中的位置。进一步地，在步骤S5中，由于终端设备在虚拟坐标系内的移动，都会通过步骤S4不停的计算位置，实时更新移动设备在空间坐标系中的位置，例如距离和角度，通过所述位置，就可以计算出观察者应该从其所在角度观察到的产品画面的结构形状，在此过程中产品始终都会在终端屏幕中间进行展示。本专利技术还提供了一种基于图片跟踪实现模拟场景跟踪的增强现实系统，包括：图像获取模块(100)，启动终端摄像头后用于捕捉场景图像，通过解析场景图像，识别出立体空间的垂直面和/或水平面，进行拍摄截屏获取图像内容；图像优化模块(200)，其通过读取图像获取模块中的场景图像，读取其图像像素信息，并进行优化矫正裁剪保存；特征点提取模块(300)，其根据通过图像优化模块优化后图像的图像像素信息，提取出图片纹理特征点，包括特征点群及位置关系；识别跟踪模块(400)，其通过获取到相机实时画面，进行特征点识别，将实时画面的特征点信息与目标信息进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群位置中心建立空间坐标系，计算移动设备在坐标系中的初始位置，并根据特征点群的位置变化，实时计算与之匹配的矩阵投影角度并更新移动设备在坐标系中的位置；显示模块(500)，生成产品AR影像并加载在终端显示画面中，观察者可360度观察产品外观和内部结构，产品始终都会保持在终端屏幕中间进行展示。进一步地，图像优化模块(200)提取出的图片纹理特征点信息包括特征点群及位置关系，并可以采集若干个特征点群，设定出一个原点，确定每个特征点群与该原点的位置和角度，构建特征点目标信息。本专利技术还提供一种增强现实的终端，其特征在于，包括前述的基于图片跟踪实现模拟场景跟踪的增强现实系统。本专利技术通过上述基于图片跟踪实现模拟场景跟踪的方法及系统，实现产品AR展示，传统未经定位的AR展示，如果终端设备移动范围过大比如向下翻转手机，展示的虚拟产品就会移动出手机屏幕，而本专利技术通过计算，将虚拟产品定位在画面的中间位置，这样无论如何移动终端设备，产品都会在终端设备中间进行展示，如果向下翻转终端设备，终端设备中会显示从下向下看的产品视图，比如要销售一台汽车，汽车无法随身携带，并且有的地点空间比较小汽车无法驶入，这时候就需要在有限空间内展示一个产品，最好360度的展示，展示的内容会本文档来自技高网...

【技术保护点】
1.一种基于图片跟踪实现模拟场景跟踪的方法，包括如下步骤：步骤S1，图像获取：捕捉场景图像用于制作识别跟踪的目标图像，通过解析场景图像，进行拍摄截屏获取目标图像内容；步骤S2，图像优化：获得步骤S1中的场景图像，读取其图像像素信息，并进行优化矫正裁剪保存；步骤S3，特征点提取：根据优化后图像的图像像素信息，提取出图片纹理特征点，构建特征点目标信息；步骤S4，识别跟踪：完成特征点提取之后，开始启动识别跟踪，首先获取到相机实时画面，并进行特征点识别，将实时画面的特征点信息与目标信息进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群的位置变化，实时计算并更新移动终端设备在坐标系中的位置；步骤S5，内容展示：生成产品AR影像并加载在终端设备显示画面中，观察者可360度观察产品外观和内部结构，产品始终都会在终端设备屏幕中间进行展示。

【技术特征摘要】
1.一种基于图片跟踪实现模拟场景跟踪的方法，包括如下步骤：步骤S1，图像获取：捕捉场景图像用于制作识别跟踪的目标图像，通过解析场景图像，进行拍摄截屏获取目标图像内容；步骤S2，图像优化：获得步骤S1中的场景图像，读取其图像像素信息，并进行优化矫正裁剪保存；步骤S3，特征点提取：根据优化后图像的图像像素信息，提取出图片纹理特征点，构建特征点目标信息；步骤S4，识别跟踪：完成特征点提取之后，开始启动识别跟踪，首先获取到相机实时画面，并进行特征点识别，将实时画面的特征点信息与目标信息进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群的位置变化，实时计算并更新移动终端设备在坐标系中的位置；步骤S5，内容展示：生成产品AR影像并加载在终端设备显示画面中，观察者可360度观察产品外观和内部结构，产品始终都会在终端设备屏幕中间进行展示。2.根据权利要求1所述的方法，其特征在于，步骤S1中捕捉场景图像时，终端设备拍摄界面中会显示至少一个拍摄线框，通过垂直面线框和/或水平面线框用来辅助拍照，识别出立体空间2D映射图像中的垂直面和/或水平面，线框内的区域为最终获取的图像内容，根据线框的提示移动终端设备找到合适的角度进行拍摄并截屏，最终获取图像内容。3.根据权利要求1所述的方法，其特征在于，步骤S2中，同步读取图像像素信息，利用陀螺仪获取设备位置姿态，根据位置姿态对线框内的图片进行优化矫正，根据各个轴的角度对线框进行旋转并记录旋转后的线框四个角在屏幕上的位置，通过优化矫正将图像还原成正面观察时正常的平面状态图像形状。4.根据权利要求1所述的方法，其特征在于，步骤S3中，根据步骤S2优化后的图像像素信息，通过算法提取出图片纹理特征点，包括特征点群及位置关系等信息，构建x坐标范围在[l，r]、y坐标范围在[b，t]、z坐标范围在[n，f]的视域体，建立视域体投影矩阵：建立若干特征点的二维坐标数组T＝{(p1，p2)，(p3，p4)，(p5，p6)....}，将二维特征点转换为齐次坐标T1＝{(p1，p2，N，1)，(p3，p4，N，1)，(p5，p6，N，1)....}，其中N为空间点距离终端设备屏幕的距离；之后绑定模型用的空间坐标P＝T1*Tj-1，即齐次坐标与投影矩阵的逆矩阵相乘所得；该步骤中可以采集若干个特征点群，设定出一个原点，确定每个特征点群和这个原点的位置和角度，构建特征点目标信...

【专利技术属性】
技术研发人员：华晨，张云龙，
申请(专利权)人：北京猫眼视觉科技有限公司，
类型：发明
国别省市：北京,11