虚拟内容的显示方法、装置及系统制造方法及图纸

本申请公开了一种虚拟内容的显示方法、装置及系统，适用于非头戴式图像显示装置，该方法包括：获取通过图像采集装置采集的图像，图像中包含设置于交互装置的标记物；识别标记物，得到交互装置的位置信息及姿态信息；根据交互装置的位置信息及姿态信息渲染虚拟内容；将虚拟内容与背景图像叠加进行显示。本申请可通过标记物识别对交互装置进行定位，并在非头戴式图像显示装置上显示相应的虚拟内容，使用户不需要佩戴头盔即可实现与虚拟内容的交互，提高了虚拟内容交互控制的便利性。

Display method, device and system of virtual content

【技术实现步骤摘要】
虚拟内容的显示方法、装置及系统
本申请涉及计算机
，更具体地，涉及一种虚拟内容的显示方法、装置及系统。
技术介绍
随着科技的发展，机器智能化及信息智能化日益普及，虚拟图像的显示与交互已走入了人们的日常生活中。以虚拟现实(VirtualReality，VR)、增强现实(AugmentedReality，AR)为例，增强现实技术借助计算机图形技术和可视化技术构建虚拟内容，并通过图像识别定位技术将虚拟内容准确地融合到真实环境中，用户可以通过显示设备能体验到虚拟内容与真实环境融为一体的真实感。传统的技术中，主要是通过头戴显示装置观看到虚拟内容与真实环境叠加融合的场景，。
技术实现思路
本申请提出了一种虚拟内容的显示方法、装置及系统，可通过识别标记物对交互装置进行定位，并在非头戴式图像显示装置上显示相应的虚拟内容，使用户不需要佩戴头盔即可实现与虚拟内容的交互，提高了虚拟内容交互控制的便利性。第一方面，本申请实施例提供了一种虚拟内容的显示方法，适用于非头戴式图像显示装置，该方法包括：获取通过图像采集装置采集的图像，图像中包含设置于交互装置的标记物；识别标记物，得到交互装置的位置信息及姿态信息；根据交互装置的位置信息及姿态信息渲染虚拟内容；将虚拟内容与背景图像叠加进行显示。第二方面，本申请实施例提供了一种虚拟内容的显示装置，适用于非头戴式图像显示装置，该虚拟内容的显示装置包括：获取模块，用于获取通过图像采集装置采集的图像，所述图像中包含设置于交互装置的标记物；识别模块，用于识别所述标记物，得到所述交互装置的位置信息及姿态信息；渲染模块，用于根据所述交互装置的位置信息及姿态信息渲染虚拟内容；显示模块，用于将所述虚拟内容与背景图像叠加进行显示。第三方面，本申请实施例提供了一种计算机可读取存储介质，该计算机可读取存储介质中存储有程序代码，该程序代码可被处理器调用执行如上述第一方面所述的方法。第四方面，本申请实施例提供了一种虚拟内容的显示系统，其包括：非头戴式图像显示装置；交互装置，所述交互装置设置有至少一个标记物；图像采集装置，所述图像采集装置与所述非头戴式图像显示装置连接，所述图像采集装置用于采集包含所述标记物的图像，并将所述图像发送至所述非头戴式图像显示装置；所述非头戴式图像显示装置用于识别所述标记物，得到所述交互装置的位置信息及姿态信息，并根据所述交互装置的位置信息及姿态信息渲染虚拟内容，将所述虚拟内容与背景图像叠加进行显示。本申请实施例提供的虚拟内容的显示方法、装置及系统，先获取通过图像采集装置采集的图像，该图像中包含设置于交互装置的标记物，然后识别标记物，得到交互装置的位置信息及姿态信息，并根据交互装置的位置信息及姿态信息渲染虚拟内容，最后将虚拟内容与背景图像叠加进行显示。本申请实施例可通过识别标记物对交互装置进行定位，并在非头戴式图像显示装置上显示相应的虚拟内容，使用户不需要佩戴头盔即可实现与虚拟内容的交互，提高了虚拟内容交互控制的便利性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请实施例提供的虚拟内容的显示系统的应用场景示意图；图2示出了本申请实施例的非头戴式图像显示装置的结构框图；图3示出了本申请实施例的非头戴式图像显示装置与服务器的交互图；图4示出了本申请一个实施例提供的虚拟内容的显示方法的流程示意图；图5示出了本申请又一个实施例提供的虚拟内容的显示方法的流程示意图；图6示出了本申请又一个实施例提供的虚拟内容的显示方法中步骤S207a至步骤S207b的流程示意图；图7示出了本申请又一个实施例提供的虚拟内容的显示方法中步骤S211a至步骤S211b的流程示意图；图8示出了本申请又一个实施例提供的虚拟内容的显示方法中交互装置为手柄控制器时的应用场景示意图；图9示出了本申请又一个实施例提供的虚拟内容的显示方法中步骤S212至步骤S216的流程示意图；图10示出了本申请实施例提供的虚拟内容的显示装置的模块框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。随着VR、AR等技术的发展，VR/AR相关的电子设备逐渐走入了人们的日常生活中。当人们在佩戴VR/AR设备时，可通过设备上的相机组件对现实环境中的标记物(又称Marker或Tag)进行采集，再经过相应的图像处理，即可在头戴式显示器(HeadMountDisplay，HMD)上对应的位置显示出与该标记物绑定的虚拟图像，让用户享受科幻式的观感体验。目前在一些采用VR/AR相关技术的展会、博物馆中，各个展厅的虚拟场景以及虚拟展品图像可以通过用户佩戴的头戴式VR/AR设备展示给用户。然而，专利技术人经过调查研究发现，在传统的VR/AR场景中，用户在对显示的虚拟内容进行控制时，通常需要通过控制器控制，或通过转动头部的方向来改变头戴显示器等头戴式VR/AR设备的朝向，才能改变显示的虚拟内容，例如看到虚拟内容在不同观看角度下的不同画面，其操作较为繁琐，且需要用户进行频繁的头部转动，这使得用户在与虚拟内容进行的交互过程中容易产生疲劳感和眩晕感，长时间的使用还可能对用户的头颈部造成伤害。为改善上述问题，专利技术人经过研究，提出了本申请实施例中的虚拟内容的显示方法、装置及系统。下面将通过具体实施例对本申请实施例提供的虚拟内容的显示方法、装置及系统进行详细说明。请参阅图1，示出了本申请实施例提供的虚拟内容的显示系统100的应用场景图。该虚拟内容的显示系统100包括：交互装置10、图像采集装置20以及非头戴式图像显示装置30。其中，图像采集装置20可以是外置的相机，并与非头戴式图像显示装置30连接。可选地，图像采集装置20也可以是直接设置在非头戴式图像显示装置30上。本实施例中，交互装置10上设置有标记物11。其中，设置于交互装置10上的标记物11的数量可以是一个或多个。图像采集装置20可用于采集待拍摄物体的图像并发送至非头戴式图像显示装置30。图像采集装置20可以为红外相机、彩色相机等，图像采集装置20的具体类型在本申请实施例中并不作为限定。在一些实施方式中，图像采集装置20可采集包含标记物11的图像，并将该图像发送至非头戴式图像显示装置30。非头戴式图像显示装置30可根据该图像，对图像中的标记物11进行识别，得到交互装置10的位置信息及姿态信息，并根据交互装置10的位置信息及姿态信息渲染虚拟内容，将虚拟内容与背景图像叠加进行显示。进一步地，用于渲染虚拟内容的图像数据可以预存在非头戴式图像显示装置30中(也可以是从服务器或其他终端获取的)，并可由用户选择进行显示。在本文档来自技高网...

【技术保护点】
1.一种虚拟内容的显示方法，适用于非头戴式图像显示装置，其特征在于，所述方法包括：/n获取通过图像采集装置采集的图像，所述图像中包含设置于交互装置的标记物；/n识别所述标记物，得到所述交互装置的位置信息及姿态信息；/n根据所述交互装置的位置信息及姿态信息渲染虚拟内容；/n将所述虚拟内容与背景图像叠加进行显示。/n

【技术特征摘要】
1.一种虚拟内容的显示方法，适用于非头戴式图像显示装置，其特征在于，所述方法包括：
获取通过图像采集装置采集的图像，所述图像中包含设置于交互装置的标记物；
识别所述标记物，得到所述交互装置的位置信息及姿态信息；
根据所述交互装置的位置信息及姿态信息渲染虚拟内容；
将所述虚拟内容与背景图像叠加进行显示。


2.根据权利要求1所述的方法，其特征在于，在所述将所述虚拟内容与背景图像叠加进行显示之前，所述方法还包括：
根据通过所述图像采集装置采集的图像，获取真实环境图像；
将所述真实环境图像作为背景图像。


3.根据权利要求2所述的方法，其特征在于，在所述将所述虚拟内容与背景图像叠加进行显示之前，所述方法还包括：
根据所述真实环境图像，从预设的虚拟场景中，获取与所述真实环境图像对应的虚拟环境图像，并将所述虚拟环境图像作为背景图像。


4.根据权利要求1所述的方法，其特征在于，所述将所述虚拟内容与背景图像叠加进行显示，包括：
获取预设场景图像数据；
基于所述预设场景图像数据显示预设场景图像，并在所述预设场景图像上叠加显示所述虚拟内容。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据通过所述图像采集装置采集的图像，获取用户图像；
识别所述用户图像中的用户姿态；
根据所述用户姿态，生成用户虚拟模型；
将所述用户虚拟模型与所述虚拟内容叠加进行显示。


6.根据权利要求5所述的方法，其特征在于，所述将所述用户虚拟模型与所述虚拟内容叠加进行显示，包括：
根据所述交互装置的位置信息及姿态信息确定所述虚拟内容与所述用户虚拟模型之间的...

【专利技术属性】
技术研发人员：戴景文，贺杰，
申请(专利权)人：广东虚拟现实科技有限公司，
类型：发明
国别省市：广东;44