本发明专利技术公开了一种面向增强现实的三维跟踪注册方法，属于计算机视觉跟踪注册技术领域。所示方法通过采用改进ORB算法对跟踪的待注册目标位置区域进行检测，在多尺度空间使用高斯核函数卷积求解极值点进行筛选，最终检测目标区域得到具有分布均匀、尺度不变性的特征点；相对于传统ORB算法，本发明专利技术方法经过筛选机制对所提取到的特征点进行筛选，既使得注册精度更高，同时还减少了计算量。本发明专利技术将KCF目标跟踪算法和三维注册方法结合在一起，实现了虚拟对象和真实世界的无缝叠加，具有较好的实时性、精确性和鲁棒性。精确性和鲁棒性。精确性和鲁棒性。
【技术实现步骤摘要】
一种面向增强现实的三维跟踪注册方法
[0001]本专利技术涉及一种面向增强现实的三维跟踪注册方法，属于计算机视觉跟踪注册
技术介绍
[0002]增强现实(Augmented Reality,AR)是一种将虚拟世界和现实世界联系在一起的技术，它使用计算机对用户观察到的真实场景进行分析处理，将虚拟对象嵌入到真实场景中，达到真实场景与虚拟信息无缝融合效果。AR技术可以向真实场景中提供难以直接实现的信息，这样用户通过手持增强现实设备可以看到虚拟信息与真实场景融合在一起后的情景，辅助用户对现实世界的认知，给予用户真实体验感。近年来，增强现实应用于许多热门研究领域，如服务机器人、自动驾驶、虚拟装配、虚拟装饰、场景三维重建等，它通过计算机生成虚拟信息，叠加在无法现场操作的真实场景中，给一些用户带来了诸多便捷。
[0003]增强现实是虚拟现实技术的延伸，通过计算机将生成的虚拟对象与实际场景融合呈现出来，在生产和生活中具有巨大的潜力。将虚拟信息无缝叠加在真实世界中应用前景十分可观，但如何实现虚拟对象的跟踪注册是一个关键问题。
[0004]基于特征点的跟踪与匹配策略是目前主流的三维注册方法，该策略通过对目标区域进行快速特征提取与匹配，可以得到相机的位姿变化信息，进而得到真实场景的相关信息。然而基于特征点的跟踪与匹配策略在进行匹配时采用ORB(Oriented FAST and Rotated BRIEF)提取特征点，并将所有提取到的特征点应用于后续注册过程，计算量大，因此导致注册的时间效率较低；而且所提取到的特征点中，部分特征点还会对注册产生反面的影响，导致注册精度也有一定的局限性。
技术实现思路
[0005]为了解决现有三维注册方法存在的注册时间长、注册精度低的问题，本专利技术提供了一种面向增强现实的三维跟踪注册方法，所述方法包括：
[0006]步骤一：利用KCF进行目标跟踪，获取当前图像帧中的目标位置；
[0007]步骤二：对当前图像帧进行特征提取并对提取到的特征进行筛选；
[0008]步骤三：根据相邻两帧图像筛选后的特征点匹配结果求解相机位姿变化矩阵；根据相机位姿变化矩阵得到虚拟对象坐标、相机坐标以及真实世界坐标变换关系，将虚拟对象注册到真实世界图像中。
[0009]可选的，所述步骤二包括：
[0010]2.1建立尺度空间D(x,y,σ)并求取极值点：利用高斯核函数G(x,y,σ)对当前图像帧实行卷积处理，得到降噪后的图像F(x,y)，L(x,y,σ)函数为降噪后的图像F(x,y)的尺度函数，其中σ为尺度因子，在降噪后的图像F(x,y)基础上进行高斯函数G(x,y,σ)卷积后可得到：
[0011]L(x,y,σ)＝G(x,y,σ)F(x,y)
ꢀꢀꢀ
(3)
[0012][0013]在多尺度空间D(x,y,σ)中，局部极值点D可视为D(x,y,σ)中的候选特征点，其分布满足：
[0014]D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]F(x,y)＝L(x,y,kσ)-L(x,y,σ)
ꢀꢀꢀ
(5)
[0015]k表示图像放大缩小系数；
[0016]2.2特征点粗提取：对多尺度空间求解得到的局部极值点，并采用Hessian矩阵进行筛选，Hessian矩阵为：
[0017][0018]假设H最大特征值和最小特征值分别为α和β，令：
[0019][0020]由公式(7)可知极值点D的主曲率与H的特征值对应成比例，设γ＝α/β，存在
[0021][0022]2.3保留γ小于预定阈值的极值点对应的特征点为筛选后得到的特征点。
[0023]可选的，所述预定阈值为γ＝7。
[0024]可选的，所述步骤一包括：
[0025]1.1基于最小二乘分类器训练一个目标检测器；
[0026]1.2利用训练后的目标检测器跟踪检测目标在当前帧图像的位置；
[0027]1.3利用当前帧图像的检测结果作为新样本训练得到新的目标检测器；
[0028]1.4采用新的目标检测器跟踪目标区域，计算真实目标位置与检测区域的重合程度，将重合区域最大的检测结果作为新的目标跟踪区域。
[0029]可选的，所述步骤三包括：
[0030]3.1利用相邻两帧图像筛选后的特征点匹配结果确定相机、虚拟对象、真实世界三者之间的三维坐标以及相互的转换关系；
[0031]3.2完成相应坐标系转换之后，通过OpenGL把虚拟对象渲染并注册到真实世界中的相应位置。
[0032]可选的，假设特征点P在真实空间下坐标为(X
w
,Y
w
,Z
w
)，对应的齐次坐标为(X
w
,Y
w
,Z
w
,1)；特征点P在相机坐标系下的坐标为(X
c
，Y
c
，Z
c
)，对应的齐次坐标为(X
c
,Y
c
,Z
c
,1)；特征点P投影到屏幕的坐标为(u,v)，对应的齐次坐标为(u，v，1)；
[0033]则特征点P在相机坐标系下的位置与在真实空间下的位置满足：
[0034][0035]其中，R3×3为旋转矩阵，t3×1为平移矩阵。
[0036]可选的，特征点P映射到屏幕的横纵坐标分别为：
[0037][0038][0039]其中，p
x
和p
y
分别为特征点P到屏幕的横纵方向上的平移量，f
x
和f
y
分别为对应方向焦距。
[0040]可选的，相机、虚拟对象、真实世界三者之间的三维坐标以及相互的转换关系为：
[0041][0042]可选的，所述1.1基于最小二乘分类器训练一个目标检测器包括：
[0043]给定一些训练样本及回归值{(x1,y1),(x2,y2),
…
,(x
i
,y
i
),
…
}；利用训练样本及回归值找到使得残差函数最小的目标检测器；
[0044][0045]其中，λ为防止过拟合的正则化参数，w表示权重系数。
[0046]可选的，对式(1)进行求解时，将其转化到傅里叶域中进行处理，得到复数域下的求解方式
[0047]w＝(X
H
X+λI)-1
X
H
y
ꢀꢀꢀ
(2)
[0048]其中，X为样本矩阵，y为样本回归值组成的列向量，I为单位矩阵，X
H
为共轭矩阵。
[0049]本专利技术有益效果是：
[0050]本专利技术实际上提供了一种基于加入筛选机制的ORB检测算法的三维注册方法，通过采用改进ORB算法对跟踪的待注册目标位置区域进行检测，在多尺度空间使用高斯核函数卷积本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向增强现实的三维跟踪注册方法，其特征在于，所述方法包括：步骤一：利用KCF进行目标跟踪，获取当前图像帧中的目标位置；步骤二：对当前图像帧进行特征提取并对提取到的特征进行筛选；步骤三：根据相邻两帧图像筛选后的特征点匹配结果求解相机位姿变化矩阵；根据相机位姿变化矩阵得到虚拟对象坐标、相机坐标以及真实世界坐标变换关系，将虚拟对象注册到真实世界图像中。2.根据权利要求1所述的方法，其特征在于，所述步骤二包括：2.1建立尺度空间D(x,y,σ)并求取极值点：利用高斯核函数G(x,y,σ)对当前图像帧实行卷积处理，得到降噪后的图像F(x,y)，L(x,y,σ)函数为降噪后的图像F(x,y)的尺度函数，其中σ为尺度因子，在降噪后的图像F(x,y)基础上进行高斯函数G(x,y,σ)卷积后可得到：L(x,y,σ)＝G(x,y,σ)F(x,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)在多尺度空间D(x,y,σ)中，局部极值点D可视为D(x,y,σ)中的候选特征点，其分布满足：D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]F(x,y)＝L(x,y,kσ)-L(x,y,σ)
ꢀꢀꢀꢀꢀ
(5)k表示图像放大缩小系数；2.2特征点粗提取：对多尺度空间求解得到的局部极值点，并采用Hessian矩阵进行筛选，Hessian矩阵为：假设H最大特征值和最小特征值分别为α和β，令：由公式(7)可知极值点D的主曲率与H的特征值对应成比例，设γ＝α/β，存在2.3保留γ小于预定阈值的极值点对应的特征点为筛选后得到的特征点。3.根据权利要求2所述的方法，其特征在于，所述预定阈值为γ＝7。4.根据权利要求3所述的方法，其特征在于，所述步骤一包括：1.1基于最小二乘分类器训练一个目标检测器；1.2利用训练后的目标检测器跟踪检测目标在当前帧图像的位置；1.3利用当前帧图像的检测结果作为新样本训练得到新的目标检测器；1.4采用新的目标检测器跟踪目标区域，计算真实目标位置与检测区域的重合程度，将重合区域最大的检测结果作为新的目标跟踪区域。5.根据权利要求4所述的方法，其特征在于，所述步骤三包括：3.1利用相邻两帧图像筛选后的特征点匹配结果确定相机、虚拟对象、真实世界三者之
间的三维坐标以及相互的转换关系；3.2完成相应坐标系转换之后，通过OpenGL把虚拟对象渲染并注册到真...
【专利技术属性】
技术研发人员：吴广运，周治平，
申请(专利权)人：江南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。