一种增强现实方法、系统、设备及移动终端技术方案

本申请公开了一种增强现实方法，应用于移动终端，包括：获取基于摄像组件采集的第一图像得到的深度信息；获取第二图像；其中，第一图像和第二图像分别为摄像组件和移动终端采集目标物体所在场景得到的图像；获取灰度图像和惯性测量数据；根据深度信息和第二图像得到相应的三维图像信息；根据灰度图像和惯性测量数据得到移动终端的位姿信息；利用三维图像信息与位姿信息，对目标物体进行渲染，以在第二图像中的目标物体上呈现增强现实效果。相对于单目摄像头算法得到的深度信息，本发明专利技术中的深度信息更准确真实，进而得到了更准确真实的三维图像信息，对目标物体进行渲染，获得更真实立体的效果。本申请还公开了一种增强现实系统、设备及移动设备。

【技术实现步骤摘要】
一种增强现实方法、系统、设备及移动终端
本专利技术涉及增强现实领域，特别涉及一种增强现实方法、系统、设备及移动终端。
技术介绍
现今社会，人们使用增强现实（AugmentReality，简称AR）技术将真实世界信息与虚拟世界信息集成到一起。通过计算机仿真模拟，将虚拟信息叠加到真实世界，被人类感官感知，从而获得超越现实的感官体验。目前的增强现实系统，由于对摄像头，IMU（InertialMeasuringUnit，惯性测量单元）的数据及它们数据的同步性有很高的要求，主要应用在军事领域以及一些特定场合，特别是在军事领域，增强现实技术可以帮助无人机操作手操作无人机、战斗机头盔可以显示更多参数以帮助飞行员准确判断。但目前大多数人们还没有条件去体验增强现实技术，受限制于目前大多数移动终端为单目摄像头，无法获取深度信息，因此对物体进行渲染获得的增强现实技术的效果较差。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种增强现实方法、系统、设备及移动终端，以实现较好的增强现实效果。其具体方案如下：一种增强现实方法，应用于移动终端，包括：获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；根据所述深度信息和所述第二图像得到相应的三维图像信息；根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。优选的，所述灰度图像为基于所述第一图像得到的灰度图像；所述惯性测量数据还包括所述摄像组件的组件惯性测量数据；相应的，所述根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹的过程包括：根据所述灰度图像和所述组件惯性测量数据得到组件运动轨迹；通过所述组件运动轨迹和所述移动终端和所述摄像组件之间的位置关系，得到所述终端运动轨迹。优选的，所述灰度图像为基于所述第二图像得到的灰度图像；相应的，所述根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹的过程包括：根据所述灰度图像和所述终端惯性测量数据得到所述终端运动轨迹。优选的，所述根据所述终端运动轨迹得到所述移动终端的位置信息的过程包括：根据所述终端运动轨迹得到所述移动终端相对于原点的第一位置关系；其中，所述原点为预先在所述三维图像信息对应的空间中预设的原点；根据所述第一位置关系和所述目标物体相对于所述原点的位置关系，得到所述移动终端相对于所述目标物体的位置信息。优选的，所述获取基于摄像组件采集的第一图像得到的深度信息的过程，包括：获取所述摄像组件发送的所述深度信息；其中，所述深度信息由所述摄像组件对所述第一图像进行计算后得到。优选的，所述获取惯性测量数据的过程，还包括：消除所述惯性测量数据中的漂移和噪声。相应的，本专利技术还公开了一种增强现实系统，应用于移动终端，包括：第一获取模块，用于获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；第二获取模块，用于获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；第三获取模块，用于获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；三维信息获取模块，用于根据所述深度信息和所述第二图像得到相应的三维图像信息；运动轨迹获取模块，用于根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；位姿信息获取模块，用于根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；渲染模块，用于利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。优选的，所述增强现实系统还包括：数据优化模块，用于消除所述惯性测量数据中的漂移和噪声。相应的，本专利技术还公开了一种移动终端，包括信息获取端口、摄像头、惯性测量单元和数据处理器；其中，所述信息获取端口，用于获取灰度图像和基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；所述摄像头，用于获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；所述惯性测量单元，用于惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；所述数据处理器，用于根据所述深度信息和所述第二图像得到相应的三维图像信息，并根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹，然后根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息，最后利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。优选的，本专利技术还公开了一种增强现实设备，包括：如上文所述移动终端；位于所述移动终端外部的摄像组件；其中，所述摄像组件包括相应的图像采集器。本专利技术公开了一种增强现实方法，应用于移动终端，包括：获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；根据所述深度信息和所述第二图像得到相应的三维图像信息；根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。由于通过摄像组件获取了深度信息，相对于单目摄像头算法得到的深度信息，本专利技术中的深度信息更准确真实，进而得到了目标物体的更准确真实的三维图像信息，利用该三维图像信息对目标物体进行渲染，获得更真实立体的增强现实效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例中一种增强现实方法的步骤流程图；图2为本专利技术实施例中一种具体的增强现实方法的步骤流程图；图3为本专利技术实施例中另一种具体的增强现实方法的步骤流程图；本文档来自技高网...

【技术保护点】
1.一种增强现实方法，其特征在于，应用于移动终端，包括：获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；根据所述深度信息和所述第二图像得到相应的三维图像信息；根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。

【技术特征摘要】
1.一种增强现实方法，其特征在于，应用于移动终端，包括：获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；根据所述深度信息和所述第二图像得到相应的三维图像信息；根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。2.根据权利要求1所述增强现实方法，其特征在于，所述灰度图像为基于所述第一图像得到的灰度图像；所述惯性测量数据还包括所述摄像组件的组件惯性测量数据；相应的，所述根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹的过程包括：根据所述灰度图像和所述组件惯性测量数据得到组件运动轨迹；通过所述组件运动轨迹和所述移动终端和所述摄像组件之间的位置关系，得到所述终端运动轨迹。3.根据权利要求1所述增强现实方法，其特征在于，所述灰度图像为基于所述第二图像得到的灰度图像；相应的，所述根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹的过程包括：根据所述灰度图像和所述终端惯性测量数据得到所述终端运动轨迹。4.根据权利要求1所述增强现实方法，其特征在于，所述根据所述终端运动轨迹得到所述移动终端的位置信息的过程包括：根据所述终端运动轨迹得到所述移动终端相对于原点的第一位置关系；其中，所述原点为预先在所述三维图像信息对应的空间中预设的原点；根据所述第一位置关系和所述目标物体相对于所述原点的位置关系，得到所述移动终端相对于所述目标物体的位置信息。5.根据权利要求1至4任一项所述增强现实方法，其特征在于，所述获取基于摄像组件采集的第一图像得到的深度信息的过程，包括：获取所述摄像组件发送的所述深度信息；其中，所述深度信息由所述摄像组件对所述第一图像进行计算后得到。6.根据权利要求1至4任一项所述增强现实方法，其特征在于，所述获取惯性测量数据的过程，还包括...

【专利技术属性】
技术研发人员：龙学军，陈美文，周剑，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川,51