AR显示方法、智能终端、AR设备及系统技术方案

本申请实施例提供一种AR显示方法、智能终端、AR设备及系统。在本申请实施例中，由智能终端根据图像模型渲染出相应的虚拟图像，并对虚拟图像的形状和/或角度进行度调整使之满足AR设备显示需求，将调整后的虚拟图像发送于AR设备，使得AR设备可以将其叠加至现实场景中供用户观看。由于图像处理部分基本由智能终端完成，AR设备主要进行虚拟图像与现实场景的叠加，有利于降低AR设备的硬件要求，使AR设备更加轻便，增强用户使用时的便利性和舒适性。

AR display method, intelligent terminal, AR device and system

The application embodiment provides an AR display method, an intelligent terminal, a AR device and a system. In the embodiment of this application, the intelligent terminal renders the corresponding virtual image according to the image model and adjusts the shape and/or angle of the virtual image to meet the display requirements of AR device. The adjusted virtual image is sent to AR device so that the AR device can overlay it into the real scene for users to watch. As the image processing part is basically completed by intelligent terminals, AR devices mainly superimpose virtual images and real scenes, which is conducive to reducing the hardware requirements of AR devices, making AR devices more portable, and enhancing the convenience and comfort of users.

【技术实现步骤摘要】
AR显示方法、智能终端、AR设备及系统
本申请实施例涉及增强现实
，尤其涉及一种AR显示方法、智能终端、AR设备及系统。
技术介绍
增强现实(AugmentedReality，AR)技术是一种通过计算机系统提供的信息增加用户对现实世界感知的技术，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”。随着AR技术的不断发展，AR设备也越来越多的进入人们的日常生活中。现有AR设备需要对摄像头捕获的画面进行渲染等处理，实现AR场景的显示。这种AR场景显示方式对AR设备的硬件要求较高，使得AR设备比较笨重，用户佩戴时舒适性较低。
技术实现思路
本申请实施例提供一种AR显示方法、智能终端、AR设备及系统，以降低AR设备的硬件要求，使AR设备更加轻便，增强用户佩戴使用时的便利性和舒适性。本申请实施例提供一种AR显示方法，适用于智能终端，该方法包括：基于图像模型渲染出虚拟图像；基于所述智能终端与AR设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述AR设备的显示需求；将经过调整的虚拟图像发送给所述AR设备，以供所述AR设备将所述经过调整的虚拟图像叠加到现实场景中。本申请实施例还提供一种AR显示方法，适用于AR设备，该方法包括：对智能终端的屏幕进行拍摄，获得屏幕图像，所述屏幕上显示有连通域标识；将所述屏幕图像发送给所述智能终端，以供所述智能终端基于所述屏幕图像中包含所述连通域标识的局部图像确定其与所述AR设备的相对位置关系；接收所述智能终端发送的虚拟图像，所述虚拟图像是由所述智能终端根据所述相对位置关系对其形状和/或角度进行调整后发送给所述AR设备的；将所述虚拟图像叠加于现实场景中。本申请实施例还提供一种智能终端，包括：存储器、处理器和通信组件；所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序，以用于：基于图像模型渲染出虚拟图像；基于所述智能终端与AR设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述AR设备的显示需求；通过所述通信组件将经过调整的虚拟图像发送给所述AR设备，以供所述AR设备将所述经过调整的虚拟图像叠加到现实场景中。本申请实施例还提供一种AR设备，包括：处理器、摄像头、投影模组以及通信组件；所述处理器，用于负责所述AR设备的数据传输和控制逻辑；所述摄像头，用于对智能终端的屏幕进行拍摄，获得屏幕图像，所述屏幕上显示有连通域标识；所述通信组件，用于将所述屏幕图像发送给所述智能终端，以供所述智能终端基于所述屏幕图像中包含所述连通域标识的局部图像确定其与所述AR设备的相对位置关系；以及接收所述智能终端发送的虚拟图像，所述虚拟图像是由所述智能终端根据所述相对位置关系对其形状和/或角度进行调整后发送给所述AR设备的；所述投影模组，用于将所述虚拟图像叠加于现实场景中。本申请实施例还提供一种AR显示系统，包括：智能终端以及与所述智能终端通信连接的AR设备；所述智能终端，用于基于图像模型渲染出虚拟图像；基于所述智能终端与AR设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述AR设备的显示需求；将经过调整的虚拟图像发送给所述AR设备；所述AR设备，用于对所述智能终端的屏幕进行拍摄，获得屏幕图像，所述屏幕上显示有连通域标识；将所述屏幕图像发送给所述智能终端，以供所述智能终端基于所述屏幕图像中包含所述连通域标识的局部图像确定其与所述AR设备的相对位置关系；接收所述智能终端发送的所述虚拟图像，并将所述虚拟图像叠加于现实场景中。在本申请实施例中，由智能终端将图像模型渲染成虚拟图像，并基于智能终端与AR设备之间的相对位置关系对该虚拟图像的形状和/或角度进行调整，以获得满足AR设备的显示需求的虚拟图像，并将其发送于AR设备，以使AR设备将其叠加于现实场景中。由于图像处理部分基本由智能终端完成，AR设备主要进行虚拟图像与现实场景的叠加显示，有利于降低AR设备的硬件要求，使AR设备更加轻便，增强用户使用时的便利性和舒适性。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请示例性实施例提供的一种AR显示系统的结构示意图；图2为本申请示例性实施例提供的一种AR显示方法的流程示意图；图3为本申请示例性实施例提供的一种连通域标识在屏幕图像中的显示结果的示意图；图4为本申请示例性实施例提供的一种确定智能终端与AR设备之间的相对位置关系的方法的流程示意图；图5为本申请示例性实施例提供的另一种AR显示方法的流程示意图；图6为本申请示例性实施例提供的一种智能终端的结构示意图；图7为本申请示例性实施例提供的一种AR设备的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。针对现有AR场景显示方式对AR设备硬件要求高而使得AR设备比较笨重的问题，本申请实施例提供一种解决方案，主要原理是：由智能终端将图像模型渲染成虚拟图像，并基于智能终端与AR设备之间的相对位置关系，调整虚拟图像的形状和/或角度，以获得满足AR设备显示需求的虚拟图像，并将该虚拟图像发送给AR设备，以使AR设备将其叠加于现实场景中进行展示。由于图像处理部分基本由智能终端完成，AR设备主要负责将虚拟图像叠加于现实场景中进行显示，因此，这种AR显示方式对AR设备硬件要求低，使得AR设备更加轻便，有助于增加用户佩戴使用时的舒适性。以下结合附图，详细说明本申请各实施例提供的技术方案。图1为本申请示例性实施例提供的一种AR显示系统的结构示意图。如图1所示，AR显示系统10包括：智能终端10a以及与智能终端10a通信连接的AR设备10b。智能终端10a可以为智能手机、平板电脑、台式计算机、个人电脑、穿戴设备(例如智能手表、智能手环等)等；AR设备10b可以为AR眼镜、AR头戴显示设备、AR手持式显示设备等。图1中所呈现的智能终端10a和AR设备10b只是示例性说明，并不对二者的实现形式做限定。其中，智能终端10a和AR设备10b之间可以是无线或有线连接。在本实施例中，若智能终端10a通过移动网络和AR设备10b通信连接，该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax等中的任意一种。另外，智能终端10a也可以通过蓝牙、WiFi、红外线等方式和AR设备10b通信连接。在人们的日常生活中，AR设备可以将虚拟的物体、场景等虚拟信息叠加到用户所在的真实环境中，让用户体验身临其境的效果。AR设备的轻便性和舒适性直接影响人们对AR设备的使用率。为了增加用户佩戴使用AR设备时的本文档来自技高网...

【技术保护点】
1.一种AR显示方法，适用于智能终端，其特征在于，所述方法包括：基于图像模型渲染出虚拟图像；基于所述智能终端与AR设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述AR设备的显示需求；将经过调整的虚拟图像发送给所述AR设备，以供所述AR设备将所述经过调整的虚拟图像叠加到现实场景中。

【技术特征摘要】
1.一种AR显示方法，适用于智能终端，其特征在于，所述方法包括：基于图像模型渲染出虚拟图像；基于所述智能终端与AR设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述AR设备的显示需求；将经过调整的虚拟图像发送给所述AR设备，以供所述AR设备将所述经过调整的虚拟图像叠加到现实场景中。2.根据权利要求1所述的方法，其特征在于，所述基于图像模型渲染出虚拟图像，包括：从所述智能终端获取所述图像模型，并对所述图像模型进行渲染以生成所述虚拟图像；或者接收所述AR设备发送的图像模型，并对所述图像模型进行渲染以生成所述虚拟图像。3.根据权利要求1所述的方法，其特征在于，在基于所述智能终端与所述AR设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述AR设备的显示需求之前，还包括：接收所述AR设备传输的所述智能终端的屏幕图像，所述智能终端的屏幕上显示有连通域标识；从所述屏幕图像中识别出包含所述连通域标识的局部图像；基于所述连通域标识与所述局部图像，确定所述智能终端与所述AR设备之间的相对位置关系。4.根据权利要求3所述的方法，其特征在于，所述从所述屏幕图像中识别出包含所述连通域标识的局部图像，包括：获取预先存储的所述连通域标识的基准图像的空间不变性特征；从所述屏幕图像中识别出包含所述基准图像的空间不变性特征的图像区域，作为所述局部图像。5.根据权利要求4所述的方法，其特征在于，基于所述连通域标识与所述局部图像，确定所述智能终端与所述AR设备之间的相对位置关系，包括：将所述屏幕所在平面作为一个坐标面，建立世界坐标系；根据所述连通域标识在所述屏幕上的位置，确定所述智能终端在所述世界坐标系中的位置；根据所述局部图像与所述基准图像的非空间不变性特征，计算出所述局部图像与所述基准图像的相对关系；基于所述局部图像与所述基准图像的相对关系以及所述连通域标识在所述屏幕上的位置，确定所述智能终端与所述AR设备之间的相对位置关系。6.一种AR显示方法，适用于AR设备，其特征在于，所述方法包括：对智能终端的屏幕进行拍摄，获得屏幕图像，所述屏幕上显示有连通域标识；将所述屏幕图像发送给所述智能终端，以供所述智能终端基于所述屏幕图像中包含所述连通域标识的局部图像确定其与所述AR设备的相对位置关系；接收所述智能终端发送的虚拟图像，所述虚拟图像是由所述智能终端根据所述相对位置关系对其形状和/或角度进行调整后发送给所述AR设备的；将所述虚拟图像叠加于现实场景中。7.一种智能终端，其特征在于，包括：存储器、处理器和通信组件；所述...

【专利技术属性】
技术研发人员：高峰凯，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：山东,37