一种实现增强现实的方法、服务器、终端及系统技术方案

本发明专利技术提供一种实现增强现实的方法，包括以下步骤：实时采集环境场景的图像；提取环境场景图像中的图像特征；根据图像特征，对环境场景进行初始化定位，建立环境场景的局部地图；对环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示虚拟对象。本发明专利技术同时提供一种实现增强现实的服务器、终端及系统。本发明专利技术实现增强现实的方法、服务器、终端及系统，能够实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示，有效地降低了现有的增强现实技术对平面模板的依赖，提高了虚拟对象与真实环境场景的实时配准的准确性，显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。

【技术实现步骤摘要】
一种实现增强现实的方法、服务器、终端及系统
本专利技术涉及人工智能及计算机视觉
，尤其涉及一种实现增强现实的方法、服务器、终端及系统。
技术介绍
同时定位与地图创建(SimultaneousLocalizationandMapping，SLAM)，是一项应用于在未知环境中自主地图创建与自身定位相结合的技术，是当前自主导航领域的研究热点，目标是解决在进入未知环境后，如何感知周围环境并构建增量式地图，同时进行自身定位的问题，目前主要应用于无人驾驶、机器人及场景三维重建等技术方向。增强现实技术(AugmentedReality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟对象准确地融合到真实世界中，也就是要使虚拟对象以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。现有技术中，目前较为常见的是基于平面模板的增强现实技术方案，通过对纹理特征丰富的平面模板进行训练，确定虚拟对本文档来自技高网...

【技术保护点】
一种实现增强现实的方法，其特征在于，包括以下步骤：实时采集环境场景的图像；提取所述环境场景图像中的图像特征；根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图；对所述环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。

【技术特征摘要】
1.一种实现增强现实的方法，其特征在于，包括以下步骤：实时采集环境场景的图像；提取所述环境场景图像中的图像特征；根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图；对所述环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。2.根据权利要求1所述的实现增强现实的方法，其特征在于，所述实时采集环境场景的图像的步骤之前，还包括：获取所述环境场景的视频图像；根据所述环境场景视频图像，对所述环境场景进行三维场景重建；根据所述环境场景视频图像，构建所述环境场景的图像检索数据库；根据所述环境场景视频图像，预设所述待显示的虚拟对象在所述环境场景中的位姿。3.根据权利要求2所述的实现增强现实的方法，其特征在于，所述根据所述环境场景视频图像，对所述环境场景进行三维场景重建的步骤，具体为：对所述环境场景视频图像中的图像帧进行图像特征提取；根据所述图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述位姿及3D点坐标。4.根据权利要求3所述的实现增强现实的方法，其特征在于，所述根据所述环境场景视频图像，构建所述环境场景的图像检索数据库的步骤，具体为：根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。5.根据权利要求1至4中任一项所述的实现增强现实的方法，其特征在于，还包括：根据所述环境场景的位置信息，获取所述环境场景的图像检索数据库。6.根据权利要求5所述的实现增强现实的方法，其特征在于，所述根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图的步骤，具体为：对当前帧图像中的图像特征进行解析，在所述图像检索数据库中检索符合预设条件的离线关键帧；根据所述当前帧图像与所述离线关键帧图像的相对位姿，进行所述环境场景的初始化定位；根据所述当前帧图像中符合预设条件的3D点，建立所述环境场景的局部地图。7.根据权利要求6所述的实现增强现实的方法，其特征在于，所述根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图的步骤，还包括：将所述当前帧、所述符合预设条件的离线关键帧及所述当前帧中的3D点加入所述环境场景的局部地图。8.根据权利要求7所述的实现增强现实的方法，其特征在于，所述对所述环境场景图像中的图像帧进行跟踪的步骤，具体为：根据所述环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；判断所述匹配的图像特征数是否大于预设阈值；若所述匹配的图像特征数大于预设阈值，则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标；若所述匹配的图像特征数小于预设阈值，则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像，根据所述离线关键帧图像的位姿及3D点坐标，确定所述环境场景图像的当前帧图像的位姿及3D点坐标。9.根据权利要求8所述的实现增强现实的方法，其特征在于，所述对所述环境场景图像中的图像帧进行跟踪的步骤，还包括：判断所述当前帧的位姿是否满足预设条件，若是，则将所述当前帧加入所述环境场景的局部地图及所述环境场景的图像检索数据库；根据所述环境场景的局部地图中的所有图像帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述图像帧的位姿及3D点坐标。10.根据权利要求9所述的实现增强现实的方法，其特征在于，所述对所述环境场景图像中的图像帧进行跟踪的步骤，还包括：对加入所述环境场景的图像检索数据库的图像帧进行回环检测，若检测到回环，则更新所述环境场景的图像检索数据库。11.根据权利要求10所述的实现增强现实的方法，其特征在于，所述根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象的步骤，具体为：获取待显示的虚拟对象的位姿，根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。12.一种实现增强现实的服务器，其特征在于，包括：视频获取模块...

【专利技术属性】
技术研发人员：柳寅秋，
申请(专利权)人：成都理想境界科技有限公司，
类型：发明
国别省市：四川,51