一种实现增强现实的方法及其应用、计算设备技术

本发明专利技术公开了一种实现增强现实的方法及其应用、计算设备，方法包括先获取被测目标的多帧视频图像和数字三维模型；选取模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出四个对应的像素点，并提取出视频图像的特征点，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；再对剩余的多帧视频图像依次提取特征点，对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的位姿状态，最终得到实现增强现实的多帧视频图像。本发明专利技术可以实现高精确度、高稳定度和高效率的图像匹配，得到实现增强现实的图像。

A method to realize augmented reality and its application and computing equipment

【技术实现步骤摘要】
一种实现增强现实的方法及其应用、计算设备
本专利技术涉及计算机图形图像学
，特别涉及一种实现增强现实的方法及其应用、计算设备。
技术介绍
在计算机辅助骨科手术中应用增强现实技术(AugmentedReality，AR)具有非常高的临床应用价值。在计算机辅助骨科手术系统中结合AR技术，可以提高医生对患者病灶区域定位的准确性，而且具有实时性。实现AR需要对视频图像的目标进行匹配跟踪，然而，由于视频图像中光线变化和视角变化产生的噪点对特征点的干扰，视频图像中场景复杂和变化太大，以及视频帧图像的丢失而对目标跟踪造成重大的影响，视频图像的目标匹配问题一直是个具有挑战性的问题。现有的针对视频图像目标匹配问题的解决方法主要是改进特征点提取步骤、改进特征点描述符算子以及改进特征点的匹配算法。目前在图像匹配中的特征点算子主要有Morave算法、SUSAN算子、Harris角点、SIFT算子以及SURF算子。前三种算子都只能检测出关键点而没有描述符算子，不能很好地描述出局部位置信息。SIFT算子和SURF算子都是高维特征，具有尺度不变的特点，匹配精确度较高，但SIFT在检测和构造描述符的运算量比较大，导致匹配速度慢。SURF速度比SIFT快3倍，但其描述符维度比SIFT小一半，描述的局部信息减少了，对于相对复杂的视频场景来说还是达不到准确性和快速性的要求。常用的匹配方法有暴力法(BruteForce，BF)、快速最近邻匹配算法(FastLibraryforApproximateNearestNeighbors，FLANN)以及随机抽样一致算法(RandomSampleConsensus,RANSAC)。BF和RANSANC的配对具有准确性但是其匹配时间较长，达不到视频图像匹配的要求；而FLANN算法在一定程度上缩短了匹配时间，但也还不满足AR场景中的实时性。鉴于现有算法在实现AR上仍存在的不足之处，因此有必要研究出新的实现方法。
技术实现思路
本专利技术的第一目的在于克服现有技术的缺点与不足，提供一种实现增强现实的方法，该方法可以实现高精确度、高稳定度和高效率的图像匹配，得到实现增强现实的图像。本专利技术的第二目的在于提供一种实现增强现实的方法的应用。本专利技术的第三目的在于提供一种计算设备。本专利技术的第一目的通过下述技术方案实现：一种实现增强现实的方法，步骤如下：S1、获取被测目标的多帧视频图像和被测目标的数字三维模型；S2、选取数字三维模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出与四个坐标点对应的像素点，并对该帧视频图像进行特征点提取，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；S3、针对于剩余的多帧视频图像，依次进行特征点提取，并对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；S4、求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的数字三维模型位姿状态，最终得到实现增强现实的多帧视频图像。优选的，提取的特征点为SURF特征点、SUSAN算子、FAST特征点、SIFT特征点或者ORB特征点。优选的，当特征点为SURF特征点时，对视频图像进行特征点提取的过程具体为：求解视频图像的Hessian行列式矩阵，根据Hessian行列式矩阵构建特征点的尺度空间，并基于该尺度空间，利用非极值抑制来提取出视频图像的特征点；生成改进特征点描述符向量的过程具体如下：在特征点6s领域内，统计所有点的水平haar小波特征和垂直haar小波特征总和，将小波特征总和最多的60度扇形方向作为主方向，并基于该主方向，利用haar小波响应生成特征点主描述符f0，s为特征点主描述符f0所在的尺度；在视频图像中，对于分布在特征点主描述符f0的上、下、左和右四个方向上且距离10s的四个像素点，基于主方向和利用haar小波响应生成对应的特征点次描述符f1、f2、f3和f4；由特征点主描述符和四个特征点次描述符构成改进特征点描述符，并将该特征点描述符作为特征点的特征向量v＝{f0,f1,f2,f3,f4}。更进一步的，利用opencv库中的cv::SurfFeatureDetector类中的detect函数提取出特征点，利用opencv库中的cv::SurfDescriptorExtractor类构建改进特征点描述符。优选的，在步骤S3中，采用改进FLANN算法对当前视频图像和前一帧视频图像的特征点进行匹配跟踪，过程如下：S31、在对第二帧视频图像进行特征点配对时，此时没有匹配先验信息，用原始的FLANN算法匹配第一帧和第二帧视频图像的特征点；S32、在前一帧视频图像fi-1的特征点已成功配对的情况下，对当前视频图像fi进行特征点配对时，此时含有前两帧视频图像fi-1和fi-2的匹配先验信息，根据匹配先验信息，利用RANSAC算法求出先验的配对点之间的位置映射关系，然后从映射区域搜索当前帧视频图像fi与前一帧视频图像fi-1特征点的配对点；S33、若步骤S32找不到配对的特征点，再参照步骤31采用原始的FLANN算法对当前帧视频图像fi进行全局特征点匹配。更进一步的，在步骤S31中，用原始的FLANN算法匹配第一帧和第二帧视频图像的特征点，过程如下：判断第一帧和第二帧视频图像中特征点的迹的符号是否相同，若否，则判定两帧视频图像的特征点不匹配；若是，则分别计算两帧视频图像的特征点之间的最小欧氏距离与次小欧氏距离，以此计算出最小欧氏距离与次小欧氏距离的比值；判断比值是否小于或等于设定阈值T，以此确定两帧视频图像的特征点p和q是否为配对点，表达式如下：其中，Dpq是特征点p的最小欧式距离，Dpk是特征点p的次小欧氏距离。更进一步的，在步骤S32中，利用RANSAC算法求出先验的配对点之间的位置映射关系，然后从映射区域搜索当前帧视频图像fi与前一帧视频图像fi-1特征点的配对点，过程如下：S321、根据前两帧视频图像中存在的特征点映射关系表达式，利用前两帧视频图像的四组已配对好的坐标点和像素点计算出坐标变换矩阵H，特征点映射关系表达式具体如下：其中，(x,y)和(x',y')分别是第fi-2帧视频图像与fi-1帧视频图像中相配对的坐标点和像素点的坐标；h11、h12、h13、h21、h22、h23、h31、h32和h33是坐标变换矩阵H的各个参数；S322、根据上述求得的特征点映射关系，计算出前一帧视频图像fi-1的特征点在当前帧视频图像fi的特征点映射位置，然后根据特征点匹配原则，在该特征点映射位置的s领域内搜索当前帧视频图像fi与前一帧视频图像fi-1匹配的特征点，s为改进特征点描述符中的特征点主描述符f0所在的尺度；特征点匹配原则是：当两个特征点之间的欧氏距离小于设定值，两个特征点为匹配点对。优选的，在步骤S4中，数字三维模型的位姿状态求解过程如下：本文档来自技高网...

【技术保护点】
1.一种实现增强现实的方法，其特征在于，步骤如下：/nS1、获取被测目标的多帧视频图像和被测目标的数字三维模型；/nS2、选取数字三维模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出与四个坐标点对应的像素点，并对该帧视频图像进行特征点提取，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；/nS3、针对于剩余的多帧视频图像，依次进行特征点提取，并对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；/nS4、求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的数字三维模型位姿状态，最终得到实现增强现实的多帧视频图像。/n

【技术特征摘要】
1.一种实现增强现实的方法，其特征在于，步骤如下：
S1、获取被测目标的多帧视频图像和被测目标的数字三维模型；
S2、选取数字三维模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出与四个坐标点对应的像素点，并对该帧视频图像进行特征点提取，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；
S3、针对于剩余的多帧视频图像，依次进行特征点提取，并对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；
S4、求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的数字三维模型位姿状态，最终得到实现增强现实的多帧视频图像。


2.根据权利要求1所述的实现增强现实的方法，其特征在于，提取的特征点为SURF特征点、SUSAN算子、FAST特征点、SIFT特征点或者ORB特征点。


3.根据权利要求1所述的实现增强现实的方法，其特征在于，当特征点为SURF特征点时，对视频图像进行特征点提取的过程具体为：
求解视频图像的Hessian行列式矩阵，根据Hessian行列式矩阵构建特征点的尺度空间，并基于该尺度空间，利用非极值抑制来提取出视频图像的特征点；
生成改进特征点描述符向量的过程具体如下：
在特征点6s领域内，统计所有点的水平haar小波特征和垂直haar小波特征总和，将小波特征总和最多的60度扇形方向作为主方向，并基于该主方向，利用haar小波响应生成特征点主描述符f0，s为特征点主描述符f0所在的尺度；
在视频图像中，对于分布在特征点主描述符f0的上、下、左和右四个方向上且距离10s的四个像素点，基于主方向和利用haar小波响应生成对应的特征点次描述符f1、f2、f3和f4；
由特征点主描述符和四个特征点次描述符构成改进特征点描述符，并将该特征点描述符作为特征点的特征向量v＝{f0,f1,f2,f3,f4}。


4.根据权利要求3所述的实现增强现实的方法，其特征在于，利用opencv库中的cv::SurfFeatureDetector类中的detect函数提取出特征点，利用opencv库中的cv::SurfDescriptorExtractor类构建改进特征点描述符。


5.根据权利要求1所述的实现增强现实的方法，其特征在于，在步骤S3中，采用改进FLANN算法对当前视频图像和前一帧视频图像的特征点进行匹配跟踪，过程如下：
S31、在对第二帧视频图像进行特征点配对时，此时没有匹配先验信息，用原始的FLANN算法匹配第一帧和第二帧视频图像的特征点；
S32、在前一帧视频图像fi-1的特征点已成功配对的情况下，对当前视频图像fi进行特征点配对时，此时含有前两帧视频图像fi-1和fi-2的匹配先验信息，根据匹配先验信息，利用RANSAC算法求出先验的配对点之间的位置映射关系，然后从映射区域搜索当前帧视频图像fi与前一帧视频图像fi-1特征点的配对点；
S33、若步骤S32找不到配对的特征点，再参照步骤31采用原始的FLANN算法对当前帧视频图像fi进行全局特征点匹配。<...

【专利技术属性】
技术研发人员：李彬，张志敏，田联房，丁焕文，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44