一种基于混合现实技术的虚实同步方法技术

本发明专利技术涉及信息处理技术领域，包括一种基于混合现实技术的虚实同步方法，首先首先进行算法初始化，并利用特征点匹配和第一帧图像获得初始分布，接着通过位姿估计值精度判定依据选择比较稳定的特征点，依次进行光流法跟踪、三维重建和ukf位置估计；然后通过位置估计判据—重投影误差，判定是否添加到位姿估计的三维点序列；最后算法依据三维点进行位姿估计，在算法运行过程中当场景点移出则从当前位姿估计三维点序列中删除，有新的特征点时再次进行三维重建，稳定的新增点经过位置估计后放入三维点序列进行位姿估计。本发明专利技术可以解决视域受限问题，同时能够应对遮挡摄像机抖动光照和视点、视角变化等情况，可以满足室内和户外场景应用。景应用。景应用。

【技术实现步骤摘要】
一种基于混合现实技术的虚实同步方法


[0001]本专利技术涉及混合现实
，具体为一种基于混合现实技术的虚实同步方法。

技术介绍

[0002]混合现实是一组技术组合，不仅提供新的观看方法，还提供新的输入方法，而且所有方法相互结合，从而推动创新。输入和输出的结合对中小型企业而言是关键的差异化优势。这样，混合现实就可以直接影响您的工作流程，帮助您和您的员工提高工作效率和创新能力。混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。传统的混合现实受限于使用场景的限制。例如室内使用的不能室外使用，或者调教好的方法在视域上被限制，所以就需要一种基于混合现实技术的虚实同步方法。

技术实现思路

[0003]本专利技术的目的在于提供一种基于混合现实技术的虚实同步方法；
[0004]本专利技术是这样实现的，本专利技术提供一种基于混合现实技术的虚实同步方法；具体按以下步骤执行，
[0005]S1:首先进行算法初始化，并利用特征点匹配和第一帧图像获得初始分布，接着通过位姿估计值精度判定依据选择比较稳定的特征点，依次进行光流法跟踪、三维重建和ukf位置估计；
[0006]S2:然后通过位置估计判据—重投影误差，判定是否添加到位姿估计的三维点序列；
[0007]S3:最后算法依据三维点进行位姿估计，在算法运行过程中当场景点移出则从当前位姿估计三维点序列中删除，有新的特征点时再次进行三维重建，稳定的新增点经过位置估计后放入三维点序列进行位姿估计；接着利用M个特征点粒子重投影分布的重心和搜索半径获得M个特征点对应的候选测量区域。
[0008]S4:循环步骤S1‑
S3。
[0009]进一步、采用简单快速的特征点提取方法
‑
Fast避免对图像作较为耗时的高斯差分滤波以提高系统实时性。
[0010]进一步、通过离线阶段对参考图像作尺度和仿射变换获取同一特征点在不同视点和视角下的描述符集合，以实现系统对用户视点和视角变化的鲁棒性。
[0011]进一步、基于此简化SIFT算法的特征点匹配策略，首先利用高斯滤波对参考图像作尺度变换，然后利用式(1)所示的仿射变换模拟特征点在视角、视点变化情况下的外观并生成描述符集合；
[0012][0013]其中，x0为特征点在参考图像上的位置，x
′
0为变换后的图像中心，x
′
为x经过变换后的位置。
[0014]进一步、在步骤S1中，依次进行光流法跟踪、三维重建和ukf位置估计首先选定参考帧和特征点的参照系，进而确定特征点在相应参考帧的位置，并借此估算相应图像特征的三维点位置，因此地图构建可以分为三个主要步骤：选定参考帧、计算参考帧中特征点的三维位置和地图更新控制。
[0015]进一步、在步骤S3中，测量过程包含当前估计的三维场景点到摄像机位姿的估计均值k的投影，估值来源于粒子滤波，首先特征点zm在摄像机状态的投影，具体如式(2)；
[0016][0017]其中，Π指小孔成像投影，因此执行测量的过程仅使用k时刻的粒子滤波中的xk，即通过重投影误差约束判定重投影点的稳定性。
[0018]进一步、本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被主控制器执行时实现如上述中任一项所述的方法。与现有技术相比，本专利技术的有益效果是：
[0019]本专利技术通过分别利用apf做位姿估计和ukf进行位置估计进而实现整个场景内目标的位姿计算最终完成虚实配准。本方法可以解决视域受限问题，同时能够应对遮挡摄像机抖动光照和视点、视角变化等情况，可以满足室内和户外场景应用。
附图说明
[0020]为了更清楚地说明本专利技术实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0021]图1是本专利技术的方法过程示意图。
具体实施方式
[0022]为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。因此，以下对在附图中提供的本专利技术的实施方式的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0023]请参阅图1，一种基于混合现实技术的虚实同步方法，S1:首先进行算法初始化，并利用特征点匹配和第一帧图像获得初始分布，接着通过位姿估计值精度判定依据选择比较稳定的特征点，依次进行光流法跟踪、三维重建和ukf位置估计；
[0024]S2:然后通过位置估计判据—重投影误差，判定是否添加到位姿估计的三维点序
列；
[0025]S3:最后算法依据三维点进行位姿估计，在算法运行过程中当场景点移出则从当前位姿估计三维点序列中删除，有新的特征点时再次进行三维重建，稳定的新增点经过位置估计后放入三维点序列进行位姿估计；接着利用M个特征点粒子重投影分布的重心和搜索半径获得M个特征点对应的候选测量区域。
[0026]S4:循环步骤S1‑
S3。
[0027]本实施例中、采用简单快速的特征点提取方法
‑
Fast避免对图像作较为耗时的高斯差分滤波以提高系统实时性。
[0028]本实施例中、通过离线阶段对参考图像作尺度和仿射变换获取同一特征点在不同视点和视角下的描述符集合，以实现系统对用户视点和视角变化的鲁棒性。
[0029]本实施例中、基于此简化SIFT算法的特征点匹配策略，首先利用高斯滤波对参考图像作尺度变换，然后利用式(1)所示的仿射变换模拟特征点在视角、视点变化情况下的外观并生成描述符集合；
[0030][0031]其中，x0为特征点在参考图像上的位置，x
′
0为变换后的图像中心，x
′
为x经过变换后的位置。
[0032]本实施例中、在步骤S1中，依次进行光流法跟踪、三维重建和ukf位置估计首先选定参考帧和特征点的参照系，进而确定特征点在相应参考帧的位置，并借此估算相应图像特征的三维点位置，因此地图构建可以分为三个主要步骤：选定参考帧、计算参考帧中特征点的三维位置和地图更新控制。
[0033]本实施例中、在步骤S3中，测量过程包含当前估计的三维场景点到摄像机位姿的估计均值k的投影，估值来源于粒子滤波，首先特征点zm在摄像机状态的投本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合现实技术的虚实同步方法，其特征在于，具体按以下步骤执行；S1:首先进行算法初始化，并利用特征点匹配和第一帧图像获得初始分布，接着通过位姿估计值精度判定依据选择比较稳定的特征点，依次进行光流法跟踪、三维重建和ukf位置估计；S2:然后通过位置估计判据—重投影误差，判定是否添加到位姿估计的三维点序列；S3:最后算法依据三维点进行位姿估计，在算法运行过程中当场景点移出则从当前位姿估计三维点序列中删除，有新的特征点时再次进行三维重建，稳定的新增点经过位置估计后放入三维点序列进行位姿估计；接着利用M个特征点粒子重投影分布的重心和搜索半径获得M个特征点对应的候选测量区域。S4:循环步骤S1‑
S3。2.根据权利要求1所述的一种基于混合现实技术的虚实同步方法，其特征在于，采用简单快速的特征点提取方法
‑
Fast避免对图像作较为耗时的高斯差分滤波以提高系统实时性。3.根据权利要求1所述的一种基于混合现实技术的虚实同步方法，其特征在于，通过离线阶段对参考图像作尺度和仿射变换获取同一特征点在不同视点和视角下的描述符集合，以实现系统对用户视点和视角变化的鲁棒性。4.根据权利1所述的一种基于混合现实技术的虚实同步方法，其特征在于，基于此简化SIFT算法的特...

【专利技术属性】
技术研发人员：李光，
申请(专利权)人：深圳大学，
类型：发明
国别省市：