一种实现增强现实的方法、服务器、终端及系统技术方案

本发明专利技术提供一种实现增强现实的方法，包括以下步骤：实时采集环境场景的图像；对所述环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。本发明专利技术同时提供一种实现增强现实的服务器、终端及系统。本发明专利技术实现增强现实的方法、服务器、终端及系统，能够实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示，有效地降低了现有的增强现实技术对平面模板的依赖，提高了虚拟对象与真实环境场景的实时配准的准确性，显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。

【技术实现步骤摘要】
一种实现增强现实的方法、服务器、终端及系统
本专利技术涉及人工智能及计算机视觉
，尤其涉及一种实现增强现实的方法、服务器、终端及系统。
技术介绍
同时定位与地图创建(SimultaneousLocalizationandMapping，SLAM)，是一项应用于在未知环境中自主地图创建与自身定位相结合的技术，是当前自主导航领域的研究热点，目标是解决在进入未知环境后，如何感知周围环境并构建增量式地图，同时进行自身定位的问题，目前主要应用于无人驾驶、机器人及场景三维重建等技术方向。增强现实技术(AugmentedReality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟对象准确地融合到真实世界中，也就是要使虚拟对象以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。现有技术中，目前较为常见的是基于平面模板的增强现实技术方案，通过对纹理特征丰富的平面模板进行训练，确定虚拟对象的显示位置。但是，受平面模板的限制，该技术方案对非平面物体及纹理特征偏少的物体的适用性较差。因此，如何在不同类型的真实场景中准确地确定虚拟对象的位置，实现虚拟对象在真实场景中的叠加融合，是增强现实技术发展中亟待解决的技术问题之一。
技术实现思路
本专利技术的目的在于提供一种实现增强现实的方法、服务器、终端及系统，将增强现实技术和同时定位与地图创建技术相结合，通过离线场景地图构建与在线初始化，实现虚拟对象在真实场景中的融合显示。有鉴于此，本专利技术一方面提供一种实现增强现实的方法，包括以下步骤：实时采集环境场景的图像；对所述环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。优选地，所述实时采集环境场景的图像的步骤之前，还包括：获取所述环境场景的视频图像；根据所述环境场景视频图像，对所述环境场景进行三维场景重建；根据所述环境场景视频图像，构建所述环境场景的图像检索数据库；根据所述环境场景视频图像，预设所述待显示的虚拟对象在所述环境场景中的位姿。优选地，所述根据所述环境场景视频图像，对所述环境场景进行三维场景重建的步骤，具体为：对所述环境场景视频图像中的图像帧进行图像特征提取；根据所述图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述位姿及3D点坐标。优选地，所述根据所述环境场景视频图像，构建所述环境场景的图像检索数据库的步骤，具体为：根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。优选地，所述对所述环境场景图像中的图像帧进行跟踪的步骤，具体为：根据所述环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；判断所述匹配的图像特征数是否大于预设阈值；若所述匹配的图像特征数大于预设阈值，则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标；若所述匹配的图像特征数小于预设阈值，则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像，根据所述离线关键帧图像的位姿及3D点坐标，确定所述环境场景图像的当前帧图像的位姿及3D点坐标。优选地，所述根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象的步骤，具体为：获取待显示的虚拟对象的位姿，根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。本专利技术另一方面提供一种实现增强现实的服务器，包括：视频获取模块：用于获取环境场景的视频图像；场景重建模块：用于根据视频获取模块获取的环境场景视频图像，对环境场景进行三维场景重建；数据库构建模块：用于根据视频获取模块获取的环境场景视频图像，构建环境场景的图像检索数据库。优选地，所述场景重建模块包括：特征提取单元：用于对环境场景视频图像中的每一帧图像进行图像特征提取；位姿计算单元：用于根据特征提取单元提取到的图像特征对环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；坐标建立单元，用于在环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；关键帧选取单元：用于根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；位姿图构建单元：用于根据环境场景视频图像中的离线初始帧与当前帧之间所有关键帧的位姿及3D点坐标构建位姿图，以及对所述位姿图进行优化，更新所述位姿及3D点坐标。优选地，所述数据库构建模块，还用于根据环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。优选地，还包括：位姿设定模块：用于设定待显示的虚拟对象在环境场景中的位姿。优选地，还包括：检索模块：用于接收终端发送的图像帧检索请求，以及在环境场景的图像检索数据库中检索与所述检索请求中的图像帧对应的所述环境场景视频图像中的离线关键帧，并将所述离线关键帧的位姿及3D点坐标发送至终端。本专利技术同时提供一种实现增强现实的终端，包括：图像采集模块：用于实时采集环境场景的图像；图像跟踪模块：用于对图像采集模块采集的环境场景图像中的图像帧进行跟踪；数据获取模块：用于获取待显示的虚拟对象的位姿；显示模块：用于根据数据获取模块获取的待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示所述虚拟对象。优选地，所述图像跟踪模块包括：检测单元：用于根据环境场景图像的上一帧图像，检测环境场景图像的当前帧图像中与上一帧图像匹配的图像特征；判断单元：用于判断所述匹配的图像特征数是否大于预设阈值；位姿计算单元：用于当判断单元判断所述匹配的图像特征数大于预设阈值时，根据环境场景图像的上一帧图像的位姿及3D点坐标，计算所述环境场景视频图像的当前帧图像的位姿及3D点坐标。优选地，所述数据获取模块，还用于当判断单元判断所述匹配的图像特征数小于预设阈值时，将环境场景图像的当前帧图像发送至服务器，并接收服务器发送的位姿及3D点坐标；以及，所述位姿计算单元，还用于根据数据获取模块接收的位姿及3D点坐标，计算环境场景图像的当前帧图像的位姿及3D点坐标。优选地，所述位姿计算单元，还用于计算环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿；以及，所述显示模块，还用于根据位姿计算单元计算得到的环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿，在环境场景图像的当前帧图像中显示所述虚拟对象。本专利技术还提供一种实现增强现实的系统，包括上述的实现增强现实的服务器，以及本文档来自技高网...

【技术保护点】
一种实现增强现实的方法，其特征在于，包括以下步骤：实时采集环境场景的图像；对所述环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。

【技术特征摘要】
1.一种实现增强现实的方法，其特征在于，包括以下步骤：实时采集环境场景的图像；对所述环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。2.根据权利要求1所述的实现增强现实的方法，其特征在于，所述实时采集环境场景的图像的步骤之前，还包括：获取所述环境场景的视频图像；根据所述环境场景视频图像，对所述环境场景进行三维场景重建；根据所述环境场景视频图像，构建所述环境场景的图像检索数据库；根据所述环境场景视频图像，预设所述待显示的虚拟对象在所述环境场景中的位姿。3.根据权利要求2所述的实现增强现实的方法，其特征在于，所述根据所述环境场景视频图像，对所述环境场景进行三维场景重建的步骤，具体为：对所述环境场景视频图像中的图像帧进行图像特征提取；根据所述图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述位姿及3D点坐标。4.根据权利要求3所述的实现增强现实的方法，其特征在于，所述根据所述环境场景视频图像，构建所述环境场景的图像检索数据库的步骤，具体为：根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。5.根据权利要求1至4中任一项所述的实现增强现实的方法，其特征在于，所述对所述环境场景图像中的图像帧进行跟踪的步骤，具体为：根据所述环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；判断所述匹配的图像特征数是否大于预设阈值；若所述匹配的图像特征数大于预设阈值，则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标；若所述匹配的图像特征数小于预设阈值，则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像，根据所述离线关键帧图像的位姿及3D点坐标，确定所述环境场景图像的当前帧图像的位姿及3D点坐标。6.根据权利要求5所述的实现增强现实的方法，其特征在于，所述根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象的步骤，具体为：获取待显示的虚拟对象的位姿，根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。7.一种实现增强现实的服务器，其特征在于，包括：视频获取模块：用于获取环境场景的视频图像；场景重建模块：用于根据所述视频获取模块获取的环境场景视频图像，对所述环境场景进行三维场景重建；数据库构建模块：用于根据所述视频获取模块获取的环境场景视频图像，构建所述环境场景的图像检索数据库。8.根据权利要求7所述的实现增强现实的服务器，其特征在于，所述场景重建模块包括：特征提取单元：用于对所述环境场景视频图像中的图像帧进行图像特征提取；位...

【专利技术属性】
技术研发人员：柳寅秋，
申请(专利权)人：成都理想境界科技有限公司，
类型：发明
国别省市：四川,51