一种增强现实的人机交互方法及设备技术

本发明专利技术公开了一种增强现实的人机交互方法及设备，用于将AR技术中的手势操作融入术中导航，能够更便捷、直观的进行手术中的人机交互，并且能够保证手术中的人机交互的无菌性。该方法包括：确定使用增强现实AR设备的用户进行操作的目标对象；响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。令对应的所述命令项的操作。令对应的所述命令项的操作。

【技术实现步骤摘要】
一种增强现实的人机交互方法及设备


[0001]本专利技术涉及增强现实
，特别涉及一种增强现实的人机交互方法及设备。

技术介绍

[0002]目前在手术过程中，主要使用基于终端的界面交互逻辑实现人机交互，由于手术过程对环境的要求相对严格，目前手术过程中使用的人机交互方式过于繁杂，不便于手术医生的操作。
[0003]手势操作是增强现实(Augmented Reality，AR)技术中的主要的人机界面交互方式之一，具备便捷，直观，无菌等特点，但是由于传统的界面交互逻辑比较繁杂，使用的树状结构不适用于AR的应用，一方面，可能导致终端屏幕的大面积菜单遮掉AR使用者的视野，另一方面，由于传统的界面交互逻辑需要通过从多级菜单一层一层的寻找对物体所需执行的操作，并且寻找操作的过程和物体本身是不相关的，并不利于AR的使用者直接和现实中的物体进行交互。

技术实现思路

[0004]本专利技术提供一种增强现实的人机交互方法及设备，用于将AR技术中的手势操作融入术中导航，能够更便捷、直观的进行手术中的人机交互，并且能够保证手术中的人机交互的无菌性。
[0005]第一方面，本专利技术实施例提供的一种增强现实的人机交互方法，包括：
[0006]确定使用增强现实AR设备的用户进行操作的目标对象；
[0007]响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；
[0008]响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。
[0009]本实施例的核心思想是，在AR场景中显示需要进行操作的目标对象的虚拟对象，并显示与该虚拟对象相关的环状菜单，由于该环状菜单上分布有与目标对象相关的命令项，用户在AR场景中可以与环状菜单上的命令项进行直接交互，通过手势和命令项交互后触发打开对应的命令项，对虚拟对象执行对应的操作。本实施例中提供的用户打开命令项的方式更加适用于AR场景，替代传统的树状菜单，更加简便，极大提高了用户的操作体验。
[0010]本实施例利用直接在环状菜单上显示与虚拟对象相关的命令项的方式，将菜单应用在AR场景中，实现了用户和命令项的直接交互，从而直观的控制虚拟对象进行对象的操作，实现了与虚拟对象的交互，使得交互方式更加简单方便，有效提高了用户的使用体验。
[0011]作为一种可选的实施方式，所述环状菜单的环内区域用于显示所述目标对象的部分所述虚拟对象或全部所述虚拟对象。
[0012]作为一种可选的实施方式，所述在所述AR设备构建的虚拟空间中显示与所述虚拟
对象对应的环状菜单，包括：
[0013]确定在所述虚拟空间中所述用户的眼睛的第一位置和所述虚拟对象的第二位置；
[0014]在所述第一位置和所述第二位置之间，显示与所述虚拟对象对应的所述环状菜单。
[0015]作为一种可选的实施方式，所述在所述第一位置和所述第二位置之间，显示与所述虚拟对象对应的所述环状菜单，包括：
[0016]在所述第一位置和所述第二位置确定的线段上，与所述第一位置相距预设值的第三位置显示所述环状菜单；
[0017]其中所述第三位置与所述第一位置之间的距离，小于所述第三位置与所述第二位置之间的距离。
[0018]作为一种可选的实施方式，所述打开指令，包括：
[0019]所述用户在所述虚拟空间利用所述手势对所述命令项进行触控后触发的打开指令；和/或，
[0020]所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，其中所述移动的所述手势的移动方向由所述环状菜单的中心指向所述环状菜单上的所述命令项。
[0021]作为一种可选的实施方式，所述响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单之后，还包括：
[0022]确定所述手势指令在所述虚拟空间中的手势位置；
[0023]根据所述手势位置，确定与所述手势指令对应的备选位置；
[0024]在所述备选位置显示与所述环状菜单对应的缩略菜单，其中所述缩略菜单将所述环状菜单上显示的全部的所述命令项进行隐藏。
[0025]作为一种可选的实施方式，所述在所述备选位置显示与所述环状菜单对应的缩略菜单之后，还包括：
[0026]响应于所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，在所述缩略菜单上显示所述移动的所述手势的所述移动方向以及指向的所述环状菜单上的所述命令项；和/或，
[0027]响应于所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，在所述环状菜单上显示所述移动的所述手势的所述移动方向。
[0028]第二方面，本专利技术实施例提供的一种增强现实的人机交互设备，包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：
[0029]确定使用增强现实AR设备的用户进行操作的目标对象；
[0030]响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；
[0031]响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。
[0032]作为一种可选的实施方式，所述环状菜单的环内区域用于显示所述目标对象的部分所述虚拟对象或全部所述虚拟对象。
[0033]作为一种可选的实施方式，所述处理器具体被配置为执行：
[0034]确定在所述虚拟空间中所述用户的眼睛的第一位置和所述虚拟对象的第二位置；
[0035]在所述第一位置和所述第二位置之间，显示与所述虚拟对象对应的所述环状菜单。
[0036]作为一种可选的实施方式，所述处理器具体被配置为执行：
[0037]在所述第一位置和所述第二位置确定的线段上，与所述第一位置相距预设值的第三位置显示所述环状菜单；
[0038]其中所述第三位置与所述第一位置之间的距离，小于所述第三位置与所述第二位置之间的距离。
[0039]作为一种可选的实施方式，所述打开指令，包括：
[0040]所述用户在所述虚拟空间利用所述手势对所述命令项进行触控后触发的打开指令；和/或，
[0041]所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，其中所述移动的所述手势的移动方向由所述环状菜单的中心指向所述环状菜单上的所述命令项。
[0042]作为一种可选的实施方式，所述响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实的人机交互方法，其特征在于，该方法包括：确定使用增强现实AR设备的用户进行操作的目标对象；响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。2.根据权利要求1所述的方法，其特征在于，所述环状菜单的环内区域用于显示所述目标对象的部分所述虚拟对象或全部所述虚拟对象。3.根据权利要求1所述的方法，其特征在于，所述在所述AR设备构建的虚拟空间中显示与所述虚拟对象对应的环状菜单，包括：确定在所述虚拟空间中所述用户的眼睛的第一位置和所述虚拟对象的第二位置；在所述第一位置和所述第二位置之间，显示与所述虚拟对象对应的所述环状菜单。4.根据权利要求3所述的方法，其特征在于，所述在所述第一位置和所述第二位置之间，显示与所述虚拟对象对应的所述环状菜单，包括：在所述第一位置和所述第二位置确定的线段上，与所述第一位置相距预设值的第三位置显示所述环状菜单；其中所述第三位置与所述第一位置之间的距离，小于所述第三位置与所述第二位置之间的距离。5.根据权利要求1所述的方法，其特征在于，所述打开指令，包括：所述用户在所述虚拟空间利用所述手势对所述命令项进行触控后触发的打开指令；和/或，所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，其中所述移动的所述手势的移动方向由所述环状菜单的中心指向所述环状菜单上的所述命令项。6.根据权利要求1～5任一所述的方法，其特征在于，所述响应于所述用户的手势指令，在所述AR设备构建的虚拟空间...

【专利技术属性】
技术研发人员：陈罡，徐欣，钱广璞，
申请(专利权)人：上海电气集团股份有限公司，
类型：发明
国别省市：