一种头戴显示设备多模交互方法及系统技术方案

本发明专利技术涉及头戴显示设备技术领域，尤其涉及一种头戴显示设备多模交互方法及系统。所述的多模交互方法，包括：S1、设备界面显示项目图标；S2、与设备交互，将界面上的光标定位到目标项目图标处；S3、向选中的目标项目传输操作指令；S4、执行操作指令。本发明专利技术结合语音、手势、头部和眼部多种交互方式的优势，实现对操作指令的精准跟踪，提高了交互响应的准确性。本发明专利技术在传输操作指令时可以灵活选择语音直接传达或以递进式语音指令、文字指令等菜单选择方式，向系统传达操作指令，提高了用户体验度。提高了用户体验度。提高了用户体验度。

【技术实现步骤摘要】
一种头戴显示设备多模交互方法及系统


[0001]本专利技术涉及头戴显示设备
，尤其涉及一种头戴显示设备多模交互方法及系统。

技术介绍

[0002]现有的近眼显示设备或头戴显示设备，如AR或VR设备等，如何实现用户与设备之间的交互是最重要的问题。现有的设备多是采用眼动追踪进行交互。目前的眼动追踪交互是基于眼动追踪装置捕获眼睛注视点坐标，将坐标位置映射在交互界面上，以光标形式呈现，用户通过眼睛视点移动控制光标选择目标，并通过眨眼动作或者其他辅助点击设备进行点击或进入下一步。现有的眼动追踪误差大，操作复杂，眼动追踪准确度不高，且单独使用眼睛交互与人们自然环境下的交互差异较大，不能更加真实的贴近自然交互。

技术实现思路

[0003]针对上述问题，本专利技术提供了一种将多种交互方式结合使用的头戴显示设备多模交互方法，可综合利用各种交互方式的优点，实现精准跟踪交互。
[0004]本专利技术的具体方案如下：
[0005]一种头戴显示设备多模交互方法，包括：
[0006]S1、设备界面显示项目图标；
[0007]S2、与设备交互，将界面上的光标定位到目标项目图标处；
[0008]S3、向选中的目标项目传输操作指令；
[0009]S4、执行操作指令。
[0010]步骤S2中与设备交互的方式为眼动交互方式，或者眼动交互和头动交互配合，或者语音指令交互、眼动交互和头动交互配合，或者语音指令交互、眼动交互、头动交互和手势交互配合。本专利技术主要考虑充分利用各交互方式的特点，综合它们的优点，实现多种交互方式的结合应用。具体方式如下：
[0011]第一种：所述的交互方式为眼动交互，通过跟踪眼球动作控制光标移动。
[0012]第二种：所述的交互方式为眼动交互和头动交互配合，先对头部移动距离进行检测，超出设定的阈值时，跟踪头部动作进行光标移动；头部移动距离小于设定阈值时，检测用户眼球移动距离，跟踪眼球动作进行光标移动。
[0013]第三种：所述的交互方式为语音指令交互、眼动交互和头动交互配合，先输入语音指令，突出显示与语音指令相关联的图标，再跟踪头部或眼球动作从中选取目标项目图标。
[0014]第四种：所述的交互方式为语音指令交互、眼动交互、头动交互和手势交互配合，先输入语音指令，突出显示与语音指令相关联的图标，然后按照手势交互优先于头动交互、头动交互优先于眼动交互的顺序，识别各肢体动作并进行跟踪。
[0015]在第四种方案中，采用手势交互时，在识别的手部位置和目标项目图标之间增加射线，用于直观显示选择项目的过程。手势交互过程中，还可以通过手部动作对选取的目标
项目图标进行移动、旋转、调节大小、翻页或调节图标前后距离。
[0016]对于步骤S3的实现方式有两种：一是直接输入语音指令，系统解析接收的语音指令并执行；二是在选中的目标项目图标周围以递进式语音指令或文字指令方式展示与目标项目图标相关的操作指令，与设备交互移动光标选择操作指令后执行。
[0017]对应上述多模交互方法，配备的头戴显示设备多模交互系统，包括：
[0018]显示设备，用于显示交互界面和图标；
[0019]图像采集设备，用于采集用户的眼部、头部和/或手势动作；
[0020]处理器，所述处理器与显示设备、图像采集设备连接以获取所述用户的动作，跟踪用户动作在显示设备上移动光标到目标项目图标，向选中的目标项目传输操作指令，对选择的指令作出响应。
[0021]进一步，所述多模交互系统还包括语音采集设备，与处理器连接，用于采集用户发出的语音指令并传输给处理器。
[0022]进一步，所述处理器被配置为：选中目标项目后，获取语音采集设备采集的语音操作指令并解析，执行正确指令或对错误指令进行反馈。
[0023]进一步，所述处理器被配置为：在选中目标项目图标后，在目标项目图标周围以递进式语音指令或文字指令方式展示与目标项目相关的操作指令，执行选择的指令。
[0024]进一步，所述处理器被配置为：在识别用户动作时按照手势动作优先于头部动作、头部动作优先于眼球动作顺序识别。
[0025]本专利技术的有益效果：
[0026]1、结合语音、手势、头部和眼部多种交互方式的优势，实现对操作指令的精准跟踪，提高了交互响应的准确性，同时也提高了用户体验度。
[0027]2、在传输操作指令上，可以灵活选择语音直接传达或以递进式语音指令、文字指令等菜单选择方式，向系统传达操作指令，提高了用户体验度。
附图说明
[0028]图1是本专利技术实施例一的系统框图；
[0029]图2是本专利技术实施例一的流程示意图；
[0030]图3是本专利技术实施例二、三、四的系统框图；
[0031]图4是本专利技术实施例二的流程示意图；
[0032]图5是本专利技术实施例三的流程示意图；
[0033]图6是本专利技术实施例四的流程示意图；
[0034]图中，1、处理器，2、显示设备，3、图像采集设备，4、语音采集设备。
具体实施方式
[0035]下面结合附图和实施例对本专利技术的方案进行详细说明，以下仅为本专利技术的优选方案，并不能用来限制本专利技术的保护范围，任何在本专利技术构思启示下作出的替换方案，均在本专利技术的保护范围内。
[0036]实施例一
[0037]一种头戴显示设备多模交互系统，如图1所示，包括处理器1、显示设备2和图像采
集设备3，图像采集设备3安装于头戴显示设备上，用于采集用户眼球的动作，并传输给处理器。所述显示设备2用于显示交互界面。如图2所示，所述处理器1按以下方法执行交互操作：
[0038]S101、设备界面显示项目图标：
[0039]头戴显示设备操作界面显示可操作性的项目图标，操作界面上显示了光标的位置，光标位置随着眼球的移动而改变位置。初次使用可以先对眼动操作的光标进行校正，进入校正模式后，可以将光标位置移动到用户眼部注视点适应的位置，通常为眼睛正前方对应光标的位置，测试随着眼睛移动，光标的移动距离和移动速度。
[0040]S102、采用眼动交互方式选择目标项目图标：
[0041]界面上显示的光标如果不在目标项目图标上，用户通过眼球动作控制界面上的光标移动到目标项目图标处，选中要操作的项目。一般情况下，只要光标到达设定的图标区域内就会认为项目被选中，可以以区别于未选中图标的方式突出显示。
[0042]在项目选择过程中，对于是否选中项目的判断可以有两种方式：
[0043](1)通过在项目图标周围设定一定区域范围，来判断是否选中该项目。
[0044]若光标在到达某个项目图标位置后发生移动，移动范围还在设定的项目图标范围内，则不发生变化；若光标移动范围超出设定范围，并且移动到下一个项目区域范围内，则上一个项目图标恢复正常，突出显示下一个项目图标。
[0045](2)通过设定时间阈值，根据光标停留在项目图标位置的时间，判断是否需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头戴显示设备多模交互方法，其特征在于包括：S1、设备界面显示项目图标；S2、与设备交互，将界面上的光标定位到目标项目图标处；S3、向选中的目标项目传输操作指令；S4、执行操作指令。2.根据权利要求1所述的头戴显示设备多模交互方法，其特征在于：步骤S2中与设备交互的方式为眼动交互方式，或者眼动交互和头动交互配合，或者语音指令交互、眼动交互和头动交互配合，或者语音指令交互、眼动交互、头动交互和手势交互配合。3.根据权利要求1所述的头戴显示设备多模交互方法，其特征在于：所述的交互方式为眼动交互，通过跟踪眼球动作控制光标移动。4.根据权利要求1所述的头戴显示设备多模交互方法，其特征在于：所述的交互方式为眼动交互和头动交互配合，先对头部移动距离进行检测，超出设定的阈值时，跟踪头部动作进行光标移动；头部移动距离小于设定阈值时，检测用户眼球移动距离，跟踪眼球动作进行光标移动。5.根据权利要求1所述的头戴显示设备多模交互方法，其特征在于：所述的交互方式为语音指令交互、眼动交互和头动交互配合，先输入语音指令，突出显示与语音指令相关联的图标，再跟踪头部或眼球动作从中选取目标项目图标。6.根据权利要求1所述的头戴显示设备多模交互方法，其特征在于：所述的交互方式为语音指令交互、眼动交互、头动交互和手势交互配合，先输入语音指令，突出显示与语音指令相关联的图标，然后按照手势交互优先于头动交互、头动交互优先于眼动交互的顺序，识别各肢体动作并进行跟踪。7.根据权利要求6所述的头戴显示设备多模交互方法，其特征在于：采用手势交互时，在识别的手部位置和目标项目图标之间增加射线，用于直观显示选择项目的过程。8.根据权利要求6所述的头戴显示设备多模交互方法，其特征在于：手势交互过程中，通过手部...

【专利技术属性】
技术研发人员：卫荣杰，
申请(专利权)人：塔普翊海上海智能科技有限公司，
类型：发明
国别省市：