一种混合现实头戴显示系统技术方案

本发明专利技术实施例提供了一种混合现实头戴显示系统，包括头戴显示设备、手柄设备及上位机，其中，手柄设备包括：惯性测量单元、按键单元及灯带；惯性测量单元测量手柄设备的手柄姿态信息，并将手柄姿态信息发送至上位机；按键单元获取用户的操作信息，并将操作信息发送至上位机；灯带用于显示灯带显示图像；头戴显示设备获取灯带显示图像，并将灯带显示图像及头戴显示设备的显示数据信息发送至上位机；上位机根据手柄姿态信息、操作信息、灯带显示图像及显示数据信息生成混合现实图像，并将混合现实图像发送至头戴显示设备进行显示。实现了对虚拟图像及现实图像的混合显示，从而实现了用户对虚拟世界及现实场景的混合交互，提高了用户体验的真实感。

【技术实现步骤摘要】
一种混合现实头戴显示系统
本专利技术涉及混合现实
，具体涉及一种混合现实头戴显示系统。
技术介绍
混合现实、虚拟现实、增强现实技术是近年来出现的高新技术，其利用计算机图形学模拟产生一个三维空间的虚拟世界，让使用者可以实时、没有限制地与三维空间内的物体进行视觉、听觉等方面的交互。虚拟现实中用户与纯虚拟的世界进行交互，增强现实中用户可以利用虚拟内容对现实世界进行叠加增强，混合现实技术是虚拟现实、增强现实技术的进一步发展和融合，该技术通过在虚拟环境中引入数字化现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。现有的头戴显示设备多为虚拟现实头戴显示设备，用户仅能与纯虚拟的世界进行交互，无法与现实场景进行结合，用户体验的真实感较差，而混合现实头戴显示系统作为下一代混合现实交互的重要设备，其在数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用前景，该类系统目前仍处于发展初期，国内外尚未有成熟产品。
技术实现思路
本专利技术实施例提供了一种混合现实头戴显示系统，以克服现有技术中的头戴显示设备多为虚拟现实头戴显示设备，用户仅能与纯虚拟的世界进行交互，无法与现实场景进行结合，用户体验的真实感较差的问题。本专利技术实施例提供了一种混合现实头戴显示系统，包括：头戴显示设备、手柄设备及上位机，其中，所述手柄设备包括：惯性测量单元、按键单元及灯带；所述惯性测量单元测量所述手柄设备的手柄姿态信息，并将所述手柄姿态信息发送至所述上位机；所述按键单元获取用户的操作信息，并将所述操作信息发送至所述上位机；所述灯带用于显示灯带显示图像；所述头戴显示设备获取所述灯带显示图像，并将所述灯带显示图像及所述头戴显示设备的显示数据信息发送至上位机；所述上位机根据所述手柄姿态信息、操作信息、灯带显示图像及显示数据信息生成混合现实图像，并将所述混合现实图像发送至所述头戴显示设备进行显示。可选地，所述手柄设备还包括：数据传输单元，所述数据传输单元获取所述手柄姿态信息及所述操作信息，并将所述手柄姿态信息及所述操作信息发送至所述上位机。可选地，所述手柄设备还包括：灯带调节单元，所述灯带调节单元获取所述操作信息，并根据所述操作信息调节所述灯带显示图像。可选地，所述显示数据信息包括：现实场景图像信息及运动信息；所述头戴显示设备包括：图像获取单元、传感器测量单元、通信单元及显示单元，其中，所述图像获取单元采集所述现实场景图像信息并获取所述灯带显示图像，并将所述灯带显示图像及所述现实场景图像信息通过所述通信单元发送至所述上位机；所述传感器测量单元测量所述头戴显示设备的运动信息，并将所述运动信息通过所述通信单元发送至所述上位机；所述显示单元显示所述上位机通过所述通信单元发送的所述混合现实图像。可选地，所述头戴显示设备还包括：头戴固定装置，用户通过所述头戴固定装置将所述头戴显示设备固定于所述用户的头上。可选地，所述显示单元包括：第一屏幕和第二屏幕，所述第一屏幕和所述第二屏幕分别与所述用户的左眼和右眼对应设置，同步显示所述混合现实图像。可选地，当用户左手操作所述手柄设备时，所述操作信息为左手操作信息，所述灯带调节单元调节所述灯带的灯带显示图像为第一预设图像；当用户右手操作所述手柄设备时，所述操作信息为右手操作信息，所述灯带调节单元调节所述灯带的灯带显示图像为第二预设图像；所述上位机根据所述第一预设图像及所述第二预设图像对所述手柄设备进行识别。可选地，所述灯带由多个LED灯组成。可选地，所述图像获取单元为至少一摄像头。可选地，所述至少一摄像头根据预设排布方式进行布局。可选地，所述上位机包括：即时地图构建单元，采用即时定位与地图构建算法建立所述混合现实头戴显示系统的当前即时地图；位置姿态计算单元，根据所述手柄姿态信息和所述显示数据信息分别计算所述手柄设备及所述头戴显示设备在所述当前即时地图中的位置姿态信息；虚拟图像生成单元，根据所述用户操作信息和所述当前即时地图生成虚拟图像信息；混合现实图像生成单元，从所述显示数据信息中获取所述即时地图下的现实场景图像信息，并将所述现实场景图像信息与所述虚拟图像信息进行渲染和叠加，生成混合现实图像。可选地，所述混合现实图像生成单元包括：平面检测模块，采用平面检测算法对所述现实场景图像信息中的物体进行平面检测，得到所述即时地图坐标系下的位置关系信息；图像融合模块，将所述即时地图坐标系下的位置关系信息与虚拟图像信息进行渲染和叠加，生成混合现实图像。可选地，所述上位机还包括：安全监护单元，用于根据所述现实场景图像信息，判断所述头戴显示设备是否在预设安全操作区域内；当所述头戴显示设备不在所述预设安全操作区域内时，所述安全监护单元向所述用户报警。本专利技术技术方案，具有如下优点：本专利技术实施例提供的混合现实头戴显示系统，包括头戴显示设备、手柄设备及上位机，其中，手柄设备中的惯性测量单元测量手柄设备的手柄姿态信息，按键单元获取用户的操作信息，将手柄姿态信息和操作信息发送至上位机，灯带用于显示灯带显示图像；头戴显示设备获取灯带显示图像，并将灯带显示图像及头戴显示设备的显示数据信息发送至上位机；上位机根据手柄姿态信息、操作信息、灯带显示图像及显示数据信息生成混合现实图像，并将混合现实图像发送至头戴显示设备进行显示。实现了对虚拟图像及现实图像的混合显示，从而实现了用户对虚拟世界及现实场景的混合交互，提高了用户体验的真实感。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中混合现实头戴显示系统的结构示意图；图2为本专利技术实施例中混合现实头戴显示系统的另一结构示意图；图3为本专利技术实施例中显示单元的结构示意图；图4为本专利技术实施例中上位机的结构示意图；图5为本专利技术实施例中混合现实图像生成单元的结构示意图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。本专利技术实施例提供了一种混合现实头戴显示系统，如图1所示，该混合现实头戴显示系统包括：头戴显示设备1、手柄设备2及上位机3，其中，手柄设备2包括：惯性测量单元21、按键单元本文档来自技高网...

【技术保护点】
1.一种混合现实头戴显示系统，其特征在于，包括：头戴显示设备(1)、手柄设备(2)及上位机(3)，其中，所述手柄设备(2)包括：惯性测量单元(21)、按键单元(22)及灯带(23)；所述惯性测量单元(21)测量所述手柄设备(2)的手柄姿态信息，并将所述手柄姿态信息发送至所述上位机(3)；所述按键单元(22)获取用户的操作信息，并将所述操作信息发送至所述上位机(3)；所述灯带(23)用于显示灯带显示图像；所述头戴显示设备(1)获取所述灯带显示图像，并将所述灯带显示图像及所述头戴显示设备(1)的显示数据信息发送至上位机(3)；所述上位机(3)根据所述手柄姿态信息、操作信息、灯带显示图像及显示数据信息生成混合现实图像，并将所述混合现实图像发送至所述头戴显示设备(1)进行显示。

【技术特征摘要】
1.一种混合现实头戴显示系统，其特征在于，包括：头戴显示设备(1)、手柄设备(2)及上位机(3)，其中，所述手柄设备(2)包括：惯性测量单元(21)、按键单元(22)及灯带(23)；所述惯性测量单元(21)测量所述手柄设备(2)的手柄姿态信息，并将所述手柄姿态信息发送至所述上位机(3)；所述按键单元(22)获取用户的操作信息，并将所述操作信息发送至所述上位机(3)；所述灯带(23)用于显示灯带显示图像；所述头戴显示设备(1)获取所述灯带显示图像，并将所述灯带显示图像及所述头戴显示设备(1)的显示数据信息发送至上位机(3)；所述上位机(3)根据所述手柄姿态信息、操作信息、灯带显示图像及显示数据信息生成混合现实图像，并将所述混合现实图像发送至所述头戴显示设备(1)进行显示。2.根据权利要求1所述的混合现实头戴显示系统，其特征在于，所述手柄设备(2)还包括：数据传输单元(24)，所述数据传输单元(24)获取所述手柄姿态信息及所述操作信息，并将所述手柄姿态信息及所述操作信息发送至所述上位机(3)。3.根据权利要求1所述的混合现实头戴显示系统，其特征在于，所述手柄设备(2)还包括：灯带调节单元(25)，所述灯带调节单元(25)获取所述操作信息，并根据所述操作信息调节所述灯带显示图像。4.根据权利要求1所述的混合现实头戴显示系统，其特征在于，所述显示数据信息包括：现实场景图像信息及运动信息；所述头戴显示设备(1)包括：图像获取单元(11)、传感器测量单元(12)、通信单元(13)及显示单元(14)，其中，所述图像获取单元(11)采集所述现实场景图像信息并获取所述灯带显示图像，并将所述灯带显示图像及所述现实场景图像信息通过所述通信单元(13)发送至所述上位机(3)；所述传感器测量单元(12)测量所述头戴显示设备(1)的运动信息，并将所述运动信息通过所述通信单元(13)发送至所述上位机(3)；所述显示单元(14)显示所述上位机(3)通过所述通信单元(13)发送的所述混合现实图像。5.根据权利要求4所述的混合现实头戴显示系统，其特征在于，所述头戴显示设备(1)还包括：头戴固定装置(15)，用户通过所述头戴固定装置(15)将所述头戴显示设备(1)固定于所述用户的头上。6.根据权利要求1所述的混合现实头戴显示系统，其特征在于，所述显示单元(14)包括：第一屏幕(141)和第二屏幕(142)，所...

【专利技术属性】
技术研发人员：闫东坤，
申请(专利权)人：北京盈迪曼德科技有限公司，
类型：发明
国别省市：北京,11