头戴式显示设备的交互方法、装置及头戴式显示设备制造方法及图纸

本申请公开了一种头戴式显示设备的交互方法、装置及头戴式显示设备。该方法包括：实时获取手势图像；利用手势识别模型对所述手势图像进行识别，得到手势识别结果；判断手势识别结果是否满足预设交互条件；若满足，则响应于手势识别结果生成相应的用户界面元素，并将用户界面元素在显示界面上进行显示。本申请可以大大降低用户为了提供用户输入信息而需持有额外硬件的需要，减少了人工与头戴式显示设备的各独立组件之间的通信处理步骤，简化了用户操作，降低了用户学习成本，进而提高了头戴式显示设备的整体交互效率；同时本申请提高了各种不便于手持外部输入设备的用户对虚拟现实等头戴式显示设备的可访问性，进而提高了用户的虚拟交互体验。

【技术实现步骤摘要】
头戴式显示设备的交互方法、装置及头戴式显示设备
本申请涉及头戴式显示设备
，具体涉及一种头戴式显示设备的交互方法、装置及头戴式显示设备。
技术介绍
随着科技的进步，市场需求的多元化发展，虚拟现实设备等头戴式显示设备正变得越来越普遍，并应用在许多领域，如电脑游戏，健康和安全，工业和教育培训等领域。例如混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院、主题公园、大学实验室、学生教室以及医院锻炼健身室等生活中的各个角落。一般而言，现有的头戴式显示设备中涉及到的技术主要包括虚拟现实(VirtualReality，简称VR)、增强现实(AugmentedReality，简称AR)、混合现实(MixedReality，简称MR)，以及它们的某种组合和/或衍生组合等，其实现原理是：在将显示内容呈现给用户之前以某种方式进行调整，以给用户提供更好的沉浸式体验。以虚拟现实系统为例，典型的虚拟现实系统一般包括一个或多个用于向用户呈现和显示内容的设备，例如可以包含由用户佩戴并配置为向用户输出虚拟现实内容的头戴式显示器(HeadMountedDisplay，简称HMD)，虚拟现实内容可能包括完全生成的内容或生成的内容与捕获的内容(例如，真实世界的视频、图像等)相结合。在用户操作使用期间，用户通常与虚拟现实系统交互，以选择内容、启动应用程序或以其他方式配置系统。现有的用户和虚拟现实系统进行交互的方式是通过在头戴式显示器的基础上增加一个外部输入设备，例如可以是手柄控制追踪器，用户通过触发手柄控制追踪器和头戴式显示设备呈现的虚拟现实内容进行交互。然而专利技术人发现，上述交互方案至少存在如下问题：1)在一些虚拟场景下比如多人虚拟影院，通过外部输入设备控制头戴式显示设备呈现虚拟现实内容的方式较为繁琐，交互效率低；2)如果用户需要手持外部输入设备，可能会降低各种不便于手持外部输入设备的用户的可访问性，进而导致用户的虚拟交互体验较差。
技术实现思路
有鉴于此，本申请的主要目的在于提供了一种头戴式显示设备的交互方法、装置及头戴式显示设备，用于解决现有的头戴式显示设备的交互方法交互效率不高，用户体验较差等技术问题。依据本申请的第一方面，提供了一种头戴式显示设备的交互方法，包括：实时获取手势图像；利用手势识别模型对所述手势图像进行识别，得到手势识别结果；判断所述手势识别结果是否满足预设交互条件；若所述手势识别结果满足预设交互条件，则响应于所述手势识别结果生成相应的用户界面元素，并将所述用户界面元素在显示界面上进行显示。依据本申请的第二方面，提供了一种头戴式显示设备的交互装置，包括：手势图像获取单元，用于实时获取手势图像；手势图像识别单元，用于利用手势识别模型对所述手势图像进行识别，得到手势识别结果；手势识别结果判断单元，用于判断所述手势识别结果是否满足预设交互条件；用户界面元素生成及显示单元，用于若所述手势识别结果满足预设交互条件，则响应于所述手势识别结果生成相应的用户界面元素，并将所述用户界面元素在显示界面上进行显示。依据本申请的第三方面，提供了一种头戴式显示设备，包括：处理器，存储计算机可执行指令的存储器，所述可执行指令在被所述处理器执行时，实现前述头戴式显示设备的交互方法。依据本申请的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的头戴式显示设备的交互方法。本申请的有益效果是：本申请实施例的头戴式显示设备的交互方法，通过利用预先训练好的手势识别模型对实时获取到的手势图像进行识别，并在手势识别结果满足预设交互条件时，触发相应的用户界面元素的生成，进而将用户界面元素展示给用户。本申请实施例的头戴式显示设备的交互方法可以大大降低用户为了提供用户输入信息而需持有额外硬件的需要，减少了人工与头戴式显示设备的各独立组件之间的通信处理步骤，简化了用户操作，降低了用户学习成本，进而提高了头戴式显示设备的整体交互效率；同时提高了各种不便于手持外部输入设备的用户对虚拟现实等头戴式显示设备的可访问性，进而提高了用户的虚拟交互体验。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本申请一个实施例的头戴式显示设备的交互方法的流程示意图；图2为本申请一个实施例的头戴式显示设备的交互装置的框图；图3为本申请一个实施例中头戴式显示设备的结构示意图。具体实施方式下面将参照附图更详细地描述本申请的示例性实施例。提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。图1示出了根据本申请一个实施例的头戴式显示设备的交互方法的流程示意图，参见图1，本申请实施例的头戴式显示设备的交互方法包括如下步骤S110至步骤S140：步骤S110，实时获取手势图像。本申请实施例的头戴式显示设备可以是各种能够实现VR或AR等技术的设备，例如可以是VR眼镜、VR头盔等，因此无论采用何种形式的头戴式显示设备，均能够适用本申请实施例的头戴式显示设备的交互方法。在与头戴式显示设备进行交互时，可以实时采集用户的手势图像，这里的手势图像可以理解为是包含用户手部动作的图像，利用头戴式显示设备内置的手势追踪相机可对用户的手部动作进行实时追踪，进而可以实时采集到用户的手势图像。步骤S120，利用手势识别模型对手势图像进行识别，得到手势识别结果。在采集到手势图像后，本申请实施例可以利用预先训练好的手势识别模型对手势图像进行识别，这里的手势识别模型可以理解为是对事先定义好的手势动作进行识别的模型，用以对实时采集到的手势图像中包含的手势动作进行识别，进而得到手势识别结果。步骤S130，判断手势识别结果是否满足预设交互条件。在得到手势识别结果后，需要判断手势识别结果是否满足预设交互条件，这里的预设交互条件可以根据实际需求事先定义好，例如可以设置用户手势动作满足何种条件时才会触发后续的交互步骤等。步骤S140，若手势识别结果满足预设交互条件，则响应于手势识别结果生成相应的用户界面元素，并将用户界面元素在显示界面上进行显示。如果判断出手势识别结果满足预设交互条件，则可以响应于手势识别结果，生成相应的用户界面元素，并在头戴式显示设备的显示界面上进行显示，从而使得用户可以对呈现的用户界面元素进行确认，实现静态手势的简单交互。上述用户界面元素具体可以包括交互GUI元素，如用户与之交互以操作显示界面上的菜单或子菜单，还可以包括单个GUI元素本文档来自技高网...

【技术保护点】
1.一种头戴式显示设备的交互方法，其特征在于，所述方法包括：/n实时获取手势图像；/n利用手势识别模型对所述手势图像进行识别，得到手势识别结果；/n判断所述手势识别结果是否满足预设交互条件；/n若所述手势识别结果满足预设交互条件，则响应于所述手势识别结果生成相应的用户界面元素，并将所述用户界面元素在显示界面上进行显示。/n

【技术特征摘要】
1.一种头戴式显示设备的交互方法，其特征在于，所述方法包括：
实时获取手势图像；
利用手势识别模型对所述手势图像进行识别，得到手势识别结果；
判断所述手势识别结果是否满足预设交互条件；
若所述手势识别结果满足预设交互条件，则响应于所述手势识别结果生成相应的用户界面元素，并将所述用户界面元素在显示界面上进行显示。


2.根据权利要求1所述的方法，其特征在于，所述手势图像为多帧连续的手势图像，所述预设交互条件包括预设动作条件，所述利用手势识别模型对所述手势图像进行识别，得到手势识别结果包括：
利用预先训练好的手势识别模型对多帧连续的手势图像逐帧进行识别，对应每帧手势图像得到一个当前帧的手势动作；
对每个当前帧的手势动作，判断当前帧的手势动作是否满足所述预设动作条件；
若当前帧的手势动作满足所述预设动作条件，则直接输出当前帧的手势动作在当前帧的手势图像中的位置信息；
若当前帧的手势动作不满足所述预设动作条件，则不输出当前帧的手势动作在当前帧的手势图像中的位置信息；
其中，所述预设动作条件包括单手的拇指与食指之间形成的直角形状。


3.根据权利要求2所述的方法，其特征在于，所述预设交互条件还包括预设位置条件，所述判断所述手势识别结果是否满足预设交互条件包括：
根据多个满足所述预设动作条件的手势动作在手势图像中的位置信息，确定满足所述预设动作条件的手势动作的位置状态；
若所述手势动作的位置状态为静止状态，则确定满足所述预设动作条件的手势动作还满足所述预设位置条件，进而确定所述手势识别结果满足所述预设交互条件；
若所述手势动作的位置状态为非静止状态，则确定满足所述预设动作条件的手势动作不满足所述预设位置条件，进而确定所述手势识别结果不满足所述预设交互条件。


4.根据权利要求3所述的方法，其特征在于，所述根据多个满足所述预设动作条件的手势动作在手势图像中的位置信息，确定满足所述预设动作条件的手势动作的位置状态包括：
根据各个满足所述预设动作条件的手势动作在手势图像中的位置坐标，确定位置坐标集；
确定所述位置坐标集中的位置坐标最大值和位置坐标最小值；
若所述位置坐标最大值与所述位置坐标最小值的差值小于预设阈值，则确定所述手势动作的位置状态为静止状态；
若所述位置坐标最大值与所述位置坐标最小值的差值不小于所述预设阈值，则确定所述手势动作的位置状态为非静止状态。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述手势识别模型通过如下方式训练得到：
获取待训练手势图像，其中所述待训练手势图像中包括单手的拇指与食指之间形成直角形状的手势；
将所述待训练手势图像输入手势识别模型进行识别，得到待训练手势图像的手势识别结果；
将所述待训练手势图像的手势识别结果与所述待训练手势图像中已标记...

【专利技术属性】
技术研发人员：吴涛，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37