头戴式显示设备的交互方法、装置及头戴式显示设备制造方法及图纸

本申请公开了一种头戴式显示设备的交互方法、装置及头戴式显示设备。所述方法包括：实时获取手势图像；利用手势识别模型对所述手势图像进行识别，得到手势识别结果；确定所述手势识别结果对应的预设交互事件；根据所述手势识别结果对应的预设交互事件，对显示界面上显示的虚拟内容执行相应的操作。本申请可以大大降低用户为了提供用户输入信息而需持有额外硬件的需要，减少了人工与头戴式显示设备的各独立组件之间的通信处理步骤，简化了用户操作，降低了用户学习成本，进而提高了头戴式显示设备的整体交互效率；同时提高了各种不便于手持外部输入设备的用户对虚拟现实等头戴式显示设备的可访问性，进而提高了用户的虚拟交互体验。

【技术实现步骤摘要】
头戴式显示设备的交互方法、装置及头戴式显示设备
本申请涉及头戴式显示设备
，具体涉及一种头戴式显示设备的交互方法、装置及头戴式显示设备。
技术介绍
随着科技的进步，市场需求的多元化发展，虚拟现实设备等头戴式显示设备正变得越来越普遍，并应用在许多领域，如电脑游戏，健康和安全，工业和教育培训等领域。例如混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院、主题公园、大学实验室、学生教室以及医院锻炼健身室等生活中的各个角落。一般而言，现有的头戴式显示设备中涉及到的技术主要包括虚拟现实(VirtualReality，简称VR)、增强现实(AugmentedReality，简称AR)、混合现实(MixedReality，简称MR)，以及它们的某种组合和/或衍生组合等，其实现原理是在将显示内容呈现给用户之前以某种方式进行调整，以给用户提供更好的沉浸式体验。以虚拟现实系统为例，典型的虚拟现实系统一般包括一个或多个用于向用户呈现和显示内容的设备，例如可以包含由用户佩戴并配置为向用户输出虚拟现实内容的头戴式显示器(HeadMountedDisplay，简称HMD)，虚拟现实内容可能包括完全生成的内容或生成的内容与捕获的内容(例如，真实世界的视频、图像等)相结合。在用户操作使用期间，用户通常与虚拟现实系统交互，以选择内容、启动应用程序或以其他方式配置系统。现有的用户和虚拟现实系统进行交互的方式是通过在头戴式显示器的基础上增加一个外部输入设备，例如可以是手柄控制追踪器，用户通过触发手柄控制追踪器和头戴式显示设备呈现的虚拟现实内容进行交互。然而专利技术人发现，上述交互方案至少存在如下问题：1)在一些虚拟场景下比如多人虚拟影院，通过外部输入设备控制头戴式显示设备呈现虚拟现实内容的方式较为繁琐，交互效率低；2)如果用户需要手持外部输入设备，可能会降低各种不便于手持外部输入设备的用户的可访问性，进而导致用户的虚拟交互体验较差。
技术实现思路
有鉴于此，本申请的主要目的在于提供了一种头戴式显示设备的交互方法、装置及头戴式显示设备，用于解决现有的头戴式显示设备的交互方法交互效率不高，用户体验较差等的技术问题。依据本申请的第一方面，提供了一种头戴式显示设备的交互方法，包括：实时获取手势图像；利用手势识别模型对所述手势图像进行识别，得到手势识别结果，其中所述手势识别结果包括手势动作及所述手势动作在手势图像中的位置信息；确定所述手势识别结果对应的预设交互事件；根据所述手势识别结果对应的预设交互事件，对显示界面上显示的虚拟内容执行相应的操作。依据本申请的第二方面，提供了一种头戴式显示设备的交互装置，包括：手势图像获取单元，用于实时获取手势图像；手势图像识别单元，用于利用手势识别模型对所述手势图像进行识别，得到手势识别结果，其中所述手势识别结果包括手势动作及所述手势动作在手势图像中的位置信息；预设交互事件确定单元，用于确定所述手势识别结果对应的预设交互事件；虚拟内容操作单元，用于根据所述手势识别结果对应的预设交互事件，对显示界面上显示的虚拟内容执行相应的操作。依据本申请的第三方面，提供了一种头戴式显示设备，包括：处理器，存储计算机可执行指令的存储器，所述可执行指令在被所述处理器执行时，实现前述头戴式显示设备的交互方法。依据本申请的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的头戴式显示设备的交互方法。本申请的有益效果是：本申请实施例的头戴式显示设备的交互方法，通过利用预先训练好的手势识别模型对实时获取到的手势图像进行识别，并根据手势识别结果确定用户想要触发的预设交互事件，进而根据用户触发的预设交互事件对头戴式显示设备所展现的虚拟内容进行相应的操作。本申请实施例的头戴式显示设备的交互方法可以大大降低用户为了提供用户输入信息而需持有额外硬件的需要，减少了人工与头戴式显示设备的各独立组件之间的通信处理步骤，简化了用户操作，降低了用户学习成本，进而提高了头戴式显示设备的整体交互效率；同时提高了各种不便于手持外部输入设备的用户对虚拟现实等头戴式显示设备的可访问性，进而提高了用户的虚拟交互体验。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本申请一个实施例的头戴式显示设备的交互方法的流程图；图2为本申请一个实施例的头戴式显示设备的交互装置的框图；图3为本申请一个实施例中头戴式显示设备的结构示意图。具体实施方式下面将参照附图更详细地描述本申请的示例性实施例。提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。图1示出了根据本申请一个实施例的头戴式显示设备的交互方法的流程示意图，参见图1，本申请实施例的头戴式显示设备的交互方法包括如下步骤S110至步骤S140：步骤S110，实时获取手势图像。本申请实施例的头戴式显示设备可以是各种能够实现VR或AR等技术的设备，例如可以是VR眼镜、VR头盔等，因此无论采用何种形式的头戴式显示设备，均能够适用本申请实施例的头戴式显示设备的交互方法。在与头戴式显示设备进行交互时，可以实时采集用户的手势图像，这里的手势图像可以理解为是包含用户手部动作的图像，利用头戴式显示设备内置的手势追踪相机可对用户的手部动作进行实时追踪，进而可以实时采集到用户的手势图像。步骤S120，利用手势识别模型对手势图像进行识别，得到手势识别结果，其中手势识别结果包括手势动作及手势动作在手势图像中的位置信息。在采集到手势图像后，本申请实施例可以利用预先训练好的手势识别模型对手势图像进行识别，这里的手势识别模型可以理解为是对事先定义好的手势动作进行识别的模型，用以对实时采集到的手势图像中包含的手势动作进行识别，进而得到手势识别结果。步骤S130，确定手势识别结果对应的预设交互事件。根据上述步骤可以得到对当前手势图像的手势识别结果，不同的手势识别结果可能对应不同的预设交互事件，因此可以根据当前识别到的手势识别结果确定用户是否想要触发以及想要触发哪种预设交互事件。这里的预设交互事件可以针对用户的不同手势动作等事先定义好，例如可以定义握拳手势动作对应滑动菜单的交互事件，单手的拇指与食指的挤压捏合手势动作对应选中菜单元素的交互事件等等，具体如何定义，本领域技术人员可根据实际需求灵活设置，在此不作具体限定。步骤S140，根据手势识别结果对应的预设交互事件，对显示界面上显示的虚拟内本文档来自技高网...

【技术保护点】
1.一种头戴式显示设备的交互方法，其特征在于，包括：/n实时获取手势图像；/n利用手势识别模型对所述手势图像进行识别，得到手势识别结果，其中所述手势识别结果包括手势动作及所述手势动作在手势图像中的位置信息；/n确定所述手势识别结果对应的预设交互事件；/n根据所述手势识别结果对应的预设交互事件，对显示界面上显示的虚拟内容执行相应的操作。/n

【技术特征摘要】
1.一种头戴式显示设备的交互方法，其特征在于，包括：
实时获取手势图像；
利用手势识别模型对所述手势图像进行识别，得到手势识别结果，其中所述手势识别结果包括手势动作及所述手势动作在手势图像中的位置信息；
确定所述手势识别结果对应的预设交互事件；
根据所述手势识别结果对应的预设交互事件，对显示界面上显示的虚拟内容执行相应的操作。


2.根据权利要求1所述的方法，其特征在于，所述手势图像为多帧连续的手势图像，所述利用手势识别模型对所述手势图像进行识别，得到手势识别结果包括：
利用预先训练好的手势识别模型对多帧连续的手势图像逐帧进行识别，对应每帧手势图像得到一个当前帧的手势动作；
对每个当前帧的手势动作，判断当前帧的手势动作是否满足预设动作，若满足所述预设动作，则直接输出当前帧的手势动作在当前帧的手势图像中的位置信息，若不满足所述预设动作，则不输出当前帧的手势动作在当前帧的手势图像中的位置信息。


3.根据权利要求2所述的方法，其特征在于，所述预设交互事件包括静态交互事件和动态交互事件，所述确定所述手势识别结果对应的预设交互事件包括：
若多帧连续的手势图像中的手势动作均满足预设动作，则得到多个手势动作在手势图像中的位置信息；
根据多个手势动作在手势图像中的位置信息，确定手势动作是否发生移动；
若确定手势动作未发生移动，则确定所述手势识别结果对应的预设交互事件为静态交互事件，若确定手势动作发生移动，则确定所述手势识别结果对应的预设交互事件为动态交互事件。


4.根据权利要求3所述的方法，其特征在于，所述动态交互事件包括第一动态交互事件和第二动态交互事件，其中，
在当前显示的虚拟内容中未显示有用户界面元素时，则确定所述手势识别结果对应的预设交互事件为第一动态交互事件；在当前显示的虚拟内容中已经显示有用户界面元素时，则确定所述手势识别结果对应的预设交互事件为第二动态交互事件。


5.根据权利要求4所述的方法，其特征在于，所述预设动作为单手的至少两个手指形成的抓握手势动作，所述手势动作在手势图像中的位置信息为抓握手势动作对应的抓握接触点在图像坐标系下的位置信息，所述根据所述手势识别结果对应的预设交互事件，对显示界面上显示的虚拟内容执行相应的操作包括：
若所述手势识别结果对应的预设交互事件为静态交互事件，则根据所述抓握手势动作对应的抓握接触点在图像坐标系下的位置信息，确定所述显示界面上对应的虚拟内容，以对对应的虚拟内容进行选择和确认；
若所述手势识别结果对应的预设交互事件为第一动态交互事件，则根据所述抓握手势动作的方向以及所述抓握接触点在图像坐标系下的位置信息，在所述显示界面所显示的虚拟内容中展示带方向的射线，基于所述抓握手势动作在真实场景中的移动而移动所述带方向的射线，并通过抓握手势动作的放开完成对所述虚拟内容的选择和确认；
若所述手势识别结果对应的预设交互事件为第二动态交互事件，则根据所述...

【专利技术属性】
技术研发人员：吴涛，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37