一种基于增强现实的平滑跟踪方法技术

本发明专利技术公开了一种基于增强现实的平滑跟踪方法，包括以下步骤：S01：提取待识别图片的特征描述子；S02：对抓取的视频帧图像进行处理，找到识别图片；S03：计算从标志物坐标系到相机坐标系的变换矩阵；S04：平滑跟踪方法对矩阵后处理；S05：计算虚拟物件在相机坐标系下的坐标，并绘制三维图形生成虚拟图形帧；S06：获得增强现实环境的合成视频帧，将其输出到显示屏上。本发明专利技术中，该平滑跟踪方法通过对图片上特征点的描述，获取到对应的平滑变换矩阵，并采用平滑跟踪技术对图片的特征进行跟踪，可以识别到图片上较弱的纹理特点，从而显著的减少了虚拟物件跟踪的抖动和不稳定现象，可以更好的提升增强现实的体验感。的提升增强现实的体验感。的提升增强现实的体验感。

【技术实现步骤摘要】
一种基于增强现实的平滑跟踪方法


[0001]本专利技术涉及增强现实技术
，尤其涉及一种基于增强现实的平滑跟踪方法。

技术介绍

[0002]增强现实是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，为图片和视频的处理提供了重要的作用。
[0003]目前，对于图片识别与跟踪的无标记增强现实方法，通常是通过提取识别图片的特征点来作为虚拟物件注册的基准，这就需要对识别图片要求较高的纹理特点，当识别图片的纹理比较弱时，虚拟物件会出现跟踪不稳定和抖动的现象，从而导致用户无法获得更好的增强现实的体验感。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于增强现实的平滑跟踪方法。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：一种基于增强现实的平滑跟踪方法，包括以下步骤：
[0006]S01：提取待识别图片的特征描述子；
[0007]S02：对抓取的视频帧图像进行处理，找到识别图片；
[0008]S03：计算从标志物坐标系到相机坐标系的变换矩阵；
[0009]S04：平滑跟踪方法对矩阵后处理；
[0010]S05：计算虚拟物件在相机坐标系下的坐标，并绘制三维图形生成虚拟图形帧；
[0011]S06：获得增强现实环境的合成视频帧，将其输出到显示屏上。
[0012]作为上述技术方案的进一步描述：
[0013]所述步骤S01中，利用不变性描述子ORB特征点检测器对相机拍摄的每一张图像进行特征点检测，并用不变性ORB描述子来描述每一个特征点。
[0014]作为上述技术方案的进一步描述：
[0015]所述步骤S02中，对抓取的视频帧图像处理包括以下步骤：
[0016]S02.1：对视频帧图像进行图像灰度处理和二值化处理；
[0017]S02.2：对视频帧图像进行图像标记；
[0018]S02.3：对视频帧图像进行轮廓提取，获得识别图片。
[0019]作为上述技术方案的进一步描述：
[0020]所述步骤S03中，变换矩阵M的获取方式由计算每一帧视频数据流，并经过旋转变换R和平移变换T获得。
[0021]作为上述技术方案的进一步描述：
[0022]所述步骤S04中，平滑跟踪方法对矩阵后处理还包括以下步骤：
[0023]S04.1：计算N个变换矩阵的平均值，对获取到的变换矩阵M做处理，将获取到的n个变换矩阵M存放于数组，这个数组为M
t
，接着通过以下公式计算得到M
ave
，表示在n个变换矩阵M矩阵相加得到的平均值，其计算公式为：
[0024]S04.2：取平均值和下一帧计算得到的变换矩阵的绝对值，绝对值的计算方式为：初始化变量i,j,delta_times,Δ,t；
[0025][0026]if(delta_times>t)M
t+1
＝M
ave
，其中，Δ为阈值，|M
ave
[i][j]-M
t+1
[i][j]|为变换矩阵的绝对值；
[0027]S04.3：计算绝对值超过阈值的次数，计算绝对值|M
ave
[i][j]-M
t+1
[i][j]|与阈值Δ，并对超过的次数进行计算，记为：delta_times，if(delta_times>t)M
t+1
＝M
ave
，t表示设定的超出阈值Δ的次数。
[0028]S04.4：比较超过阈值的次数与设定阈值的次数，当delta_times大于设定的t，则下一帧的变换矩阵选取上述所计算的矩阵的平均值M
ave
；
[0029]如果没有大于设定的t，说明变换矩阵在该帧下变化平滑，那么下一帧的变换矩阵还是原来的M
t+1
[0030]作为上述技术方案的进一步描述：
[0031]所述步骤S05中，绘制三维图形生成虚拟图形帧包括以下步骤：
[0032]S05.1：获取标志物坐标系和图像坐标系中对应的标志物顶点坐标，采用二维可视偏码中得到编码值；
[0033]S05.2：检索对应该编码的三维模型，获得三维模型的顶点数组；
[0034]S05.3：将顶点数组中的顶点与变化矩阵乘积，即为相机坐标系下的坐标数组；
[0035]S05.4：将三维图像存储在帧缓存中，生成虚拟图像帧。
[0036]作为上述技术方案的进一步描述：
[0037]所述步骤S06中，合成视频帧是通过虚实合成模块将获得虚拟图形帧与二维可视编码编织物的视频帧进行合成获得。
[0038]有益效果
[0039]本专利技术提供了一种基于增强现实的平滑跟踪方法。具备以下有益效果：
[0040](1)：该平滑跟踪方法通过对图片上特征点的描述，获取到对应的平滑变换矩阵，并作为下一帧虚拟物件的映射矩阵，并采用平滑跟踪技术对图片的特征进行跟踪，可以识
别到图片上较弱的纹理特点，并看到虚拟物件平滑跟踪的效果，从而显著的减少了虚拟物件跟踪的抖动和不稳定现象，可以更好的提升增强现实的体验感。
附图说明
[0041]图1为本专利技术提出的一种基于增强现实的平滑跟踪方法的流程示意图；
[0042]图2为本专利技术中平滑跟踪方法后处理的流程示意图。
具体实施方式
[0043]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0044]如图1-图2所示，一种基于增强现实的平滑跟踪方法：包括以下步骤：
[0045]S01：提取待识别图片的特征描述子；
[0046]S02：对抓取的视频帧图像进行处理，找到识别图片；
[0047]S03：计算从标志物坐标系到相机坐标系的变换矩阵；
[0048]S04：平滑跟踪方法对矩阵后处理；
[0049]S05：计算虚拟物件在相机坐标系下的坐标，并绘制三维图形生成虚拟图形帧；
[0050]S06：获得增强现实环境的合成视频帧，将其输出到显示屏上。
[0051]步骤S01中，利用不变性描述子ORB特征点检测器对相机拍摄的每一张图像进行特征点检测，并用不变性ORB描述子来描述每一个特征点。
[0052]步骤S02中，对抓取的视频帧图像处理包括以下步骤：
[0053]S02.1：对视频帧图像进行图像灰度处理和二值化处理；
[0054]S02.2：对视频帧图像进行图像标记；
[0055]S02.3：对视频帧图像进行轮廓提取，获得识别图片。
[0056]步骤S03中，变换矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实的平滑跟踪方法，其特征在于：包括以下步骤：S01：提取待识别图片的特征描述子；S02：对抓取的视频帧图像进行处理，找到识别图片；S03：计算从标志物坐标系到相机坐标系的变换矩阵；S04：平滑跟踪方法对矩阵后处理；S05：计算虚拟物件在相机坐标系下的坐标，并绘制三维图形生成虚拟图形帧；S06：获得增强现实环境的合成视频帧，将其输出到显示屏上。2.根据权利要求1所述的一种基于增强现实的平滑跟踪方法，其特征在于，所述步骤S01中，利用不变性描述子ORB特征点检测器对相机拍摄的每一张图像进行特征点检测，并用不变性ORB描述子来描述每一个特征点。3.根据权利要求1所述的一种基于增强现实的平滑跟踪方法，其特征在于，所述步骤S02中，对抓取的视频帧图像处理包括以下步骤：S02.1：对视频帧图像进行图像灰度处理和二值化处理；S02.2：对视频帧图像进行图像标记；S02.3：对视频帧图像进行轮廓提取，获得识别图片。4.根据权利要求1所述的一种基于增强现实的平滑跟踪方法，其特征在于，所述步骤S03中，变换矩阵M的获取方式由计算每一帧视频数据流，并经过旋转变换R和平移变换T获得。5.根据权利要求1所述的一种基于增强现实的平滑跟踪方法，其特征在于，所述步骤S04中，平滑跟踪方法对矩阵后处理还包括以下步骤：S04.1：计算N个变换矩阵的平均值，对获取到的变换矩阵M做处理，将获取到的n个变换矩阵M存放于数组，这个数组为M
t
，接着通过以下公式计算得到M
ave
，表示在n个变换矩阵M相加得到的平均值，其计算公式为：S04.2：取平均值和下一帧计算得到的变换矩阵的绝对值，绝对值的计算方式为：初始化变量i,j,delta_times,Δ,t；if(del...

【专利技术属性】
技术研发人员：陈广，
申请(专利权)人：惟亚上海数字科技有限公司，
类型：发明
国别省市：