一种基于单张图片定位的AR场景应用方法技术

本发明专利技术公开了一种基于单张图片定位的AR场景应用方法，服务器对全局场景的图像数据进行三维地图建模；所述三维地图建模包括图像数据的每个特征点对应的描述子，以及描述子对应的三维坐标参数；移动端获取单张图片数据上传至服务器；服务器对单张图片数据进行特征点提取，获取每一个特征点对应的描述子；将单张图片中的每一个特征点对应的描述子和全局场景模型的每个特征点对应的描述子进行匹配，通过描述子对应的三维坐标参数获取单张图片在全局场景模型的位姿；将单张图片在全局场景模型的位姿转换到AR应用坐标系统下，并激活AR应用。

【技术实现步骤摘要】
一种基于单张图片定位的AR场景应用方法
本专利技术涉及AR图像识别
，具体为一种基于单张图片定位的AR场景应用方法。
技术介绍
基于图像的建模技术一直是计算机视觉领域的一个重要研究方向。目前来说主要的流程是通过特征点提取和特征点的描述子匹配建立图像之间的连接，然后使用三维视觉和对物理世界的数学建模技术，从图像中建立真实世界的模型。缺陷在于:各种来源的图片相机参数和模型不一，对相机模型的估计误差导致系统误差；且图像数据量过大，导致计算的时间过长（从几天到一周不等）。目前AR（增强现实）技术飞速发展，手机AR例如，Google的ArCore，苹果的ArKit；AR眼镜，例如微软的Hololens，国内的ShadowCreator公司等。都在致力于AR的发展，同时在AR中最重要的基础技术就是SLAM（实时定位和制图技术）。缺陷在于，目前的AR应用都集中在小范围，同时被平面识别和图像识别限制，无法实现在预先建立的大场景模型中的AR。
技术实现思路
本专利技术目的在于提供一种能够通过单张图片定位的AR场景的方法，以降低移动端获取ＡＲ场景的运算量，实现移动端高效呈现。本专利技术所述的一种基于单张图片定位的AR场景应用方法，包括以下步骤：步骤1：服务器对全局场景的图像数据进行三维地图建模；所述三维地图建模包括图像数据的每个特征点对应的描述子，以及描述子对应的三维坐标参数；步骤2：移动端获取单张图片数据上传至服务器；步骤3：服务器对单张图片数据进行特征点提取，获取每一个特征点对应的描述子；步骤4：将单张图片中的每一个特征点对应的描述子和全局场景模型的每个特征点对应的描述子进行匹配，通过描述子对应的三维坐标参数获取单张图片在全局场景模型的位姿；步骤5：将单张图片在全局场景模型的位姿转换到AR应用坐标系统下，并激活AR应用。本专利技术所述一种基于单张图片定位的AR场景应用方法，服务器视频数据进行三维建模，并获取图像数据中全局场景模型的每个特征点对应的描述子，以及描述子对应的三维坐标参数，移动端获取单张图片数据上传至服务器；服务器对单张图片数据进行特征点提取，获取每一个特征点对应的描述子；将单张图片中的每一个特征点对应的描述子和全局场景模型的每个特征点对应的描述子进行匹配，通过描述子对应的三维坐标参数获取单张图片在全局场景模型的位姿。可以将全局场景模型进行统一三维坐标参数的建立，避免了各种来源的图片相机参数和模型不一的问题。且移动设备仅负责获取单张图片数据，不需要进行大的计算且余缀信息少，在建图过程中采集数据的设备，和定位算法投入运行之后用户使用的设备采集的图片的统一，能够提供更加稳定的数据源，增加了图像建模精度的同时也减少了运算量。将整个应用分为两部分，分别在服务器和移动设备运行，减轻了移动设备的运算负担。最终将单张图片在全局场景模型的位姿转换到AR应用坐标系统下，并激活AR应用，为图像建模提供了完美的应用场景。基于单张图像的坐标参数的定位方法也为AR应用提供了极高精度的定位。附图说明图1为本专利技术一种基于单张图片定位的AR场景应用方法的流程示意图。具体实施方式如图1所示，本专利技术所述的一种AR图像识别方法，包括以下步骤：步骤1：服务器对全局场景的图像数据进行三维地图建模；所述三维地图建模包括图像数据的每个特征点对应的描述子，以及描述子对应的三维坐标参数；步骤2：移动端获取单张图片数据上传至服务器；步骤3：服务器对单张图片数据进行特征点提取，获取每一个特征点对应的描述子；步骤4：将单张图片中的每一个特征点对应的描述子和全局场景模型的每个特征点对应的描述子进行匹配，通过描述子对应的三维坐标参数获取单张图片在全局场景模型的位姿；步骤5：将单张图片在全局场景模型的位姿转换到AR应用坐标系统下，并激活AR应用。本专利技术所述一种基于单张图片定位的AR场景应用方法，服务器视频数据进行三维建模，并获取图像数据中全局场景模型的每个特征点对应的描述子，以及描述子对应的三维坐标参数，移动端获取单张图片数据上传至服务器；服务器对单张图片数据进行特征点提取，获取每一个特征点对应的描述子；将单张图片中的每一个特征点对应的描述子和全局场景模型的每个特征点对应的描述子进行匹配，通过描述子对应的三维坐标参数获取单张图片在全局场景模型的位姿。可以将全局场景模型进行统一三维坐标参数的建立，避免了各种来源的图片相机参数和模型不一的问题。且移动设备仅负责获取单张图片数据，不需要进行大的计算且余缀信息少，在建图过程中采集数据的设备，和定位算法投入运行之后用户使用的设备采集的图片的统一，能够提供更加稳定的数据源，增加了图像建模精度的同时也减少了运算量。将整个应用分为两部分，分别在服务器和移动设备运行，减轻了移动设备的运算负担。最终将单张图片在全局场景模型的位姿转换到AR应用坐标系统下，并激活AR应用，为图像建模提供了完美的应用场景。基于单张图像的坐标参数的定位方法也为AR应用提供了极高精度的定位。所述步骤1包括以下步骤：步骤1-A1：服务器对图像数据进行特征点提取，获取每一个特征点对应的描述子，以及描述子对应的三维坐标参数，由特征点算法以及计算机多视角几何算法，恢复图像流中的特征点的三维数据，并形成稀疏的点云；步骤1-A2：通过对应的IMU的数据，通过VISLAM算法，依据形成稀疏的点云结果的真实尺度的数据源，恢复点云的真实尺度；步骤1-A3：通过计算机视觉的多视角光度匹配算法，计算稠密的三维点云。基于图像数据的三维稀疏/稠密重建，并且支持使用IMU数据恢复真实尺度，单张图片在已知场景即重建全局场景模型中的6个自由度（3个位置自由度+3个方向自由度）的误差在10厘米内的定位，为高精度的AR应用提供了基础。且使用VISLAM算法能够更好的恢复高质量的稀疏点云地图，使用IMU数据能够更好的恢复VISLAM算法缺失的尺度信息。所述步骤1-A1包括以下步骤：步骤1-A1-1：服务器使用图像流的光流追踪算法，提取和筛选图像数据，建立图像数据的关键帧的集合；步骤1-A1-2：依据关键帧的集合，提取SIFT或深度学习的特征点，并计算每个特征点的描述子；步骤1-A1-3：依据每一个特征点对应的描述子，以及描述子对应的三维坐标参数，对关键帧进行匹配，找寻特征点的一一对应关系，并通过计算机视觉几何关系验证筛选的结果；步骤1-A1-4：依据关键帧的匹配结果，结合计算机视觉的物理观测模型进行建模，并使用BundleAdjustment算法进行优化，最终得到高精度的稀疏点云。使用关键帧的匹配从而解决了关键帧筛选的问题，进一步剔除余缀数据。加快建图流程。在筛选关键帧之后提高了建图精度。所述步骤1-A2包括以下步骤：步骤1-A2-1：整理同步的图像和IMU数据，并结合SFM算法的结果，获取图像对应的在稀疏点云中的位姿；步骤1-A2-2：通过VISLAM算法，估计帧间的具有真实尺本文档来自技高网...

【技术保护点】
1.一种基于单张图片定位的AR场景应用方法，其特征在于，包括以下步骤：/n步骤1：服务器对全局场景的图像数据进行三维地图建模；所述三维地图建模包括图像数据的每个特征点对应的描述子，以及描述子对应的三维坐标参数；/n步骤2：移动端获取单张图片数据上传至服务器；/n步骤3：服务器对单张图片数据进行特征点提取，获取每一个特征点对应的描述子；/n步骤4：将单张图片中的每一个特征点对应的描述子和全局场景模型的每个特征点对应的描述子进行匹配，通过描述子对应的三维坐标参数获取单张图片在全局场景模型的位姿；/n步骤5：将单张图片在全局场景模型的位姿转换到AR应用坐标系统下，并激活AR应用。/n

【技术特征摘要】
1.一种基于单张图片定位的AR场景应用方法，其特征在于，包括以下步骤：
步骤1：服务器对全局场景的图像数据进行三维地图建模；所述三维地图建模包括图像数据的每个特征点对应的描述子，以及描述子对应的三维坐标参数；
步骤2：移动端获取单张图片数据上传至服务器；
步骤3：服务器对单张图片数据进行特征点提取，获取每一个特征点对应的描述子；
步骤4：将单张图片中的每一个特征点对应的描述子和全局场景模型的每个特征点对应的描述子进行匹配，通过描述子对应的三维坐标参数获取单张图片在全局场景模型的位姿；
步骤5：将单张图片在全局场景模型的位姿转换到AR应用坐标系统下，并激活AR应用。


2.根据权利要求1所述一种基于单张图片定位的AR场景应用方法，其特征在于，所述步骤1包括以下步骤：
步骤1-A1：服务器对图像数据进行特征点提取，获取每一个特征点对应的描述子，以及描述子对应的三维坐标参数，由特征点算法以及计算机多视角几何算法，恢复图像流中的特征点的三维数据，并形成稀疏的点云；
步骤1-A2：通过对应的IMU的数据，通过VISLAM算法，依据形成稀疏的点云结果的真实尺度的数据源，恢复点云的真实尺度；
步骤1-A3：通过计算机视觉的多视角光度匹配算法，计算稠密的三维点云。


3.根据权利要求2所述一种基于单张图片定位的AR场景应用方法，其特征在于，所述步骤1-A1包括以下步骤：
步骤1-A1-1：服务器使用图像流的光流追踪算法，提取和筛选图像数据，建立图像数据的关键帧的集合；
步骤1-A1-2：依据关键帧的集合，提取SIFT或深度学习的特征点，并计算每个特征点的描述子；
步骤1-A1-3：依据每一个特征点对应的描述子，以及描述子对应的三维坐标参数，对关键帧进行匹配，找寻特征点的一一对应关系，并通过计算机视觉几何关系验证筛选的结果；
步骤1-A1-4：依据关键帧的匹配结果，结合计算机视觉的物理观测模型进行建模，并使用BundleAdjustment算法进行优化，最终得到高精度的稀疏点云。


4.根据权利要求2所述一...

【专利技术属性】
技术研发人员：刘烨，
申请(专利权)人：广州万维创新科技有限公司，
类型：发明
国别省市：广东;44