一种大场景下的AR家居体验方法技术

本发明专利技术公开了一种大场景下的AR家居体验方法，在基于自然特征标识的三维注册方法和双目追踪定位与局部建图方法相结合的基础上，利用双目追踪定位与局部地图构建技术下对实时场景的特征点及其对应的三维点来估计摄像机姿态。该模式以实时拍摄的现场环境特征为识别追踪对象，在没有标识图的情况下虚拟家居模型仍然可以正常定位追踪，解决了现有AR家居体验应用使用范围小、稳定性差的问题，由此可以更大范围、更真实地满足虚实融合的AR家居体验。

【技术实现步骤摘要】
一种大场景下的AR家居体验方法
本专利技术属于增强现实
，具体涉及一种大场景下的AR家居体验方法。
技术介绍
增强现实技术(AR)将虚拟物体渲染在真实场景之中，产生了虚实融合的效果，增强了人们的感官体验，是目前图形图像交叉领域的一个应用研究热点。而其中的AR家居体验技术研究，是通过在用户房间摆放三维虚拟物品来模拟真实的家居体验过程，解决了在商场挑选家居物品时不能提前预览家居物品在家中摆放效果的问题。AR家居体验应用采用拟选物品的识别图来完成虚拟物体的三维注册，该技术要求标识图必须保持在摄像机的最佳视野之中。当摄像机距离标识图较远或标识图不在有效的视野范围内时，该AR系统将无法进行三维注册，也就是说这类基于AR的家居体验应用开发只能在小空间范围内使用。随着AR家居应用的普及，通常需要在远距离和大视野范围下观察虚拟家居物体的摆放效果，而该技术显然不能满足应用的需求，因此极大地影响了AR家居体验。
技术实现思路
本专利技术的目的是提供一种大场景下的AR家居体验方法，解决了基于平面识别图的AR家居体验应用只能在小范围空间使用的问题。本专利技术所采用的技术方案是，一种大场景下的AR家居体验方本文档来自技高网...

【技术保护点】
1.一种大场景下的AR家居体验方法，其特征在于，首先使用双目摄像机拍摄所有拟选家居物品的标识图，通过离线训练完成家居物品标识图的特征提取，生成各类家居物品标识图对应的离线特征库，所述双目摄像机指的是两个处于同一大场景下、相对设置的摄像机；然后对双目摄像机采集到的包含拟选家居物品标识图的视频帧图像通过采用自然特征标识技术进行识别和三维注册，完成三维虚拟物体的选定并确定摄像机的初始位姿；最后采用双目追踪定位与局部地图构建技术追踪摄像机在自然环境中的位姿变化，完成拟选家居物品在大环境下的扩展追踪定位。

【技术特征摘要】
1.一种大场景下的AR家居体验方法，其特征在于，首先使用双目摄像机拍摄所有拟选家居物品的标识图，通过离线训练完成家居物品标识图的特征提取，生成各类家居物品标识图对应的离线特征库，所述双目摄像机指的是两个处于同一大场景下、相对设置的摄像机；然后对双目摄像机采集到的包含拟选家居物品标识图的视频帧图像通过采用自然特征标识技术进行识别和三维注册，完成三维虚拟物体的选定并确定摄像机的初始位姿；最后采用双目追踪定位与局部地图构建技术追踪摄像机在自然环境中的位姿变化，完成拟选家居物品在大环境下的扩展追踪定位。2.权利要求1所述的一种大场景下的AR家居体验方法，其特征在于，具体包括以下步骤：步骤1：生成离线特征库步骤1.1：对双目摄像机进行标定获得摄像机内参数K和外参数M，通过双目摄像机采集所有拟选家居物品的标识图；步骤1.2：通过离线训练完成家居物品标识图的特征提取；步骤1.3：计算BRISK描述符对应的采样点灰度值完成特征描述，生成家居物品的离线特征库；步骤2：自然特征标识图的三维注册步骤2.1：对摄像机拍摄的包含标识图的视频帧图像进行标识图灰度化处理，选用BRISK算法完成特征提取；步骤2.2：利用BRISK+FLANN结合算法完成视频帧图像与标识图的特征点匹配；步骤2.3：剔除步骤2.2中产生的误匹配，若匹配失败，返回摄像头重新采集视频帧图像；步骤2.4：计算摄像机拍摄到的包含标识图的视频帧图像与标识图之间的单应性矩阵；步骤2.5：利用RANSAC算法建立当前视频帧图像关键点与标识图关键点间单应性关系，实现细化匹配；步骤2.6：通过单应性矩阵计算出标识图四个角点在视频帧图像中的坐标，设定四个角点在归一化世界坐标系中的坐标，结合图像坐标系下坐标，利用2D-3D对应关系来估计摄像机的姿态；步骤2.7：将摄像机的内参数矩阵和外参数矩阵转换为OpenGL格式，加载3D模型并更新模型位姿；步骤2.8：将步骤2.7位姿更新后的模型与双目摄像机拍摄到的包含标识图的视频帧图像合并渲染到屏幕，完成现实家居场景与拟选的家居物品三维模型的初始三维注册；步骤3：采用双目追踪定位与局部地图构建技术追踪摄像机在自然环境中的位姿变化步骤3.1：使用双目摄像机同步采集家居场景的视觉图像；步骤3.2：对双目摄像机进行参数标定；步骤3.3：对步骤1采集的视觉图像进行校正；步骤3.4：完成世界坐标下的两个摄像机R1和R2校正后视觉图像特征点提取；步骤3.5：对步骤3.4两个摄像机R1和R2所拍摄视觉图像进行特征点搜索、特征点匹配和筛选特征点的双目立体匹配，对拟选物品的标识图进行识别和三维注册，完成三维虚拟物体的选定和确定初始位姿；步骤3.6：在去除标识图的情况下，通过PnP方法估计摄像机的位姿，完成摄像机当前帧特征点与家居环境地图中关键帧的特征点匹配；步骤3.7：步骤3.6求得的摄像机位姿...

【专利技术属性】
技术研发人员：薛延学，唐开勖，薛萌，白云松，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61