一种带有眼控和语音识别的头戴式设备和交互方法技术

本发明专利技术公开了一种带有眼控和语音识别的头戴式设备和交互方法，所述设备包括输出模块、通信模块、输入模块、电源模块、处理模块、存储模块和壳体。所述处理模块连接所述输出模块、通信模块、输入模块、电源模块和存储模块；所述输出模块包含：显示模块和声音输出模块；所述输入模块包含：眼控模块、语音识别模块和融合判决模块；所述处理模块包含：第一处理单元和第二处理单元；所述壳体用于支撑和固定上述部分或全部模块。一种交互方法：实时检测语音唤醒指令；检测用户视线的位置；语音和用户视线位置同时满足预定条件时唤醒语音识别模块；检测识别语音交互指令；基于所述语音指令执行至少一个操作。

【技术实现步骤摘要】
一种带有眼控和语音识别的头戴式设备和交互方法
本专利技术属于虚拟现实和人机交互领域，具体涉及一种带有眼控和语音识别的的头戴式设备和交互方法。
技术介绍
现有技术中的头戴式显示设备体验中，有一部分采用了物理按键的方式进行选择确认，有的采用触摸按键的方式进行选择确认，但是采用触摸或者物理按键的方式需要使用者一直将手臂悬空，长时间操作会导致用户疲劳；有一部分采用陀螺仪的方式通过转动头部进行选择，采用头动的方式需要用户不断移动头部进行选择；有的使用语音识别的方式进行交互，但是何时唤醒语音识别模块进行识别交互指令，传统的方法单单通过按键或语音唤醒指令的方式进行唤醒，其中使用按键的方式，对于VR来说需要抬手或者外接其他按键，造成用户疲劳或设备冗余，有的采用语音唤醒指令的方式，但是如果过于灵敏会造成语音助手一直弹出，若不灵敏则造成用户调用语音助手困难；前面所述的交互方式造成用户使用体验性较差。
技术实现思路
本专利技术提供了一种带有眼控和语音识别的的头戴式设备和交互方法，可以通过虹膜识别模块、指纹识别模块、视网膜识别模块验证用户的身份，可以通过视线追踪模块实时的检测用户的视线方向，通过语音识别模块识别用户的交互指令，通过眼控加语音识别模块提高了语音识别模块唤醒的可靠性，可以通过多个处理模块间的协作，提高系统的性能，进而提高系统的反映速度，降低延迟，存储模块中的加密和解密模块能够保护用户的隐私和数据的安全，进而提高用户的使用体验。本专利技术中头戴式设备是指：虚拟现实设备(VR)、增强现实设备(AR)和混合现实设备(MR)。为解决上述问题，本专利技术采用如下技术方案：一种带有眼控和语音识别的的头戴式设备，包括：输出模块、通信模块、输入模块、电源模块、处理模块、存储模块和壳体；所述处理模块连接所述输出模块、通信模块、输入模块、电源模块和存储模块，所述输出模块包含显示模块和声音输出模块，所述壳体用于支撑和固定上述部分或全部模块。所述处理模块包含第一处理单元和第二处理单元。所述第一处理单元连接所述眼控模块和所述第二处理单元，所述第一处理单元对眼控模块传来数据进行处理，将处理结果传给第二处理单元。所述第一处理单元与第二处理单元同时工作，即第一处理单元将图像数据处理后的结果传给第二处理单元，第二处理单元对该结果进行处理，并根据程序执行其他操作，与此同时第一处理单元继续处理下一帧的图像数据，直到接收到停止或暂停指令。所述第一处理单元将图像数据进行处理得到此时视线在显示模块中的落点坐标，将该坐标交给第二处理模块；或者第一处理模块将图像数据进行处理得到一个数据量的兴趣区域的数据，将该数据交由第二处理模块进行处理；或者所述第一处理单元将图像数据进行预处理，将增强后的数据交由第二处理模块进行处理；或者第一处理模块仅对图像数据进行压缩编码，将该压缩编码后的数据交给第二处理模块进行处理。所述第一处理单元连接所述语音识别模块和所述第二处理单元，所述第一处理单元对语音识别模块传来数据进行处理，将处理结果传给第二处理单元。所述第一处理单元与第二处理单元同时工作，即第一处理单元将语音数据处理后的结果传给第二处理单元，第二处理单元对该结果进行处理，并根据程序执行其他操作，与此同时第一处理单元继续处理下一语音数据，直到接收到停止或暂停指令。所述第一处理单元将语音数据进行处理得到此时识别结果，将该结果交给第二处理模块；或者所述第一处理单元将语音数据进行预处理，将增强后的数据交由第二处理模块进行处理；或者第一处理模块仅对语音数据进行压缩编码，将该压缩编码后的数据交给第二处理模块进行处理。所述输入模块包含眼控模块、语音识别模块和融合判决模块。所述眼控模块包含摄像头模块。所述眼控模块还包括红外光源模块。所述红外光源模块连接第一处理单元和/或第二处理单元。所述融合判断模块，根据眼控模块和语音识别模块经过处理模块处理的信息与预设条件进行比对，根据比对结果执行至少一项操作。其中所述显示模块用于向用户提供视觉信息，显示模块为显示屏、投影装置和波导光学元件中一种或几种组合。所述声音输出模块包含：耳机输出接口模块、扬声器模块、蓝牙输出模块和骨传导输出模块中一种或几种组合。通信模块用于设备间、设备和基站间以及设备和服务器端的通信，通信模块包含蓝牙单元、WiFi单元、GSM单元、GPRS单元、CDMA单元、TDMA单元、ZigBee单元、Z-Wave单元、Infrared(IR)单元、RFID单元、NFC单元和WiGig单元中一种或几种。电源模块用于给上述输出模块、通信模块、输入模块、处理模块和存储模块供电，壳体用于支撑和固定上述部分或全部模块。所述红外光源直接连接电源模块或者所述红外光源连接第一处理单元和/或第二处理单元。所述第二处理单元将第一处理单元的处理结果进行处理，同时第二处理单元还连接显示模块、通信模块和电源模块。所述一种带有眼控和语音识别的的头戴式设备还包含虹膜识别模块。所述虹膜识别模块连接处理模块。所述第一处理单元将图像数据进行处理和匹配得到此时识别匹配结果，将该结果交给第二处理模块；或者所述第一处理单元将图像数据进行处理得到此时虹膜特征并将该特征压缩编码，将该压缩编码后的数据交给第二处理模块；或者所述第一处理单元将图像数据进行处理得到此时虹膜特征，将该虹膜特征交给第二处理模块；所述第一处理单元将图像数据进行处理得到此时虹膜特征，将虹膜特征交给第二处理模块进行压缩编码和匹配；或者第一处理模块将图像数据进行处理得到一个数据量的兴趣区域的数据，将该数据交由第二处理模块进行处理；或者所述第一处理单元将图像数据进行预处理，将增强后的数据交由第二处理模块进行处理；或者第一处理模块仅对图像数据进行压缩编码，将该压缩编码后的数据交给第二处理模块进行处理。所述第一处理模块自动根据环境和上下文信息或者手动切换虹膜识别和眼动模块。所述存储模块包含：加密模块和解密模块，用于保护用户数据安全。所述输入模块还包含：按键、触摸模块、脑电模块、骨传导模块、体感模块、压力感应模块、视网膜识别模块和指纹识别模块中的一种或几种。上述模块可以构成一套方案，所述一种带有红外光源和摄像头的头戴式显示设备还可包含光学透镜构成另一种方案；以及包含反光模块构成一种方案；以及同时包含光学透镜和反光模块构成另一种方案。所述反光模块为：可反射红外光透过其他波段的光的反光模块或者不可透过红外光可透过其他波段的光的反光模块，所述反光模块与屏幕平行放着或者贴合屏幕或者与屏幕成一定夹角放置。所述一种带有红外光源和摄像头的头戴式显示设备还包含有：陀螺仪、加速度传感器、重力感应传感器和定位模块。所述定位模块为：GPS、A-GPS、北斗和伽利略中一种或几种。一种带有眼控和语音识别的的头戴式设备的交互方法，其特征在于：包括以下步骤:S1.实时检测用户语音唤醒指令；S2.检测用户视线的位置；S3.判定语音和用户视线位置同时满足预定条件时唤醒语音识别模块；S4.检测识别语音交互指令；S5.基于所述语音指令执行至少一个操作。所述用户语音唤醒指令为系统指定或用户自定义指令。所述用户视线的位置为系统指定或用户自定义。所述判定语音和用户视线位置同时满足预定条件时唤醒语音识别模块中使用的视线位置数据为与检测语音唤醒指令同步的视线位置数据，或为语音唤醒指本文档来自技高网...

【技术保护点】
1.一种带有眼控和语音识别的的头戴式设备，包含：输出模块、通信模块、输入模块、电源模块、处理模块、存储模块和壳体；所述处理模块连接所述输出模块、通信模块、输入模块、电源模块和存储模块，所述输出模块包含显示模块和声音输出模块，所述壳体用于支撑和固定上述部分或全部模块；其特征在于：所述输入模块包含眼控模块、语音识别模块和融合判决模块；所述处理模块包含：第一处理单元和第二处理单元。

【技术特征摘要】
1.一种带有眼控和语音识别的的头戴式设备，包含：输出模块、通信模块、输入模块、电源模块、处理模块、存储模块和壳体；所述处理模块连接所述输出模块、通信模块、输入模块、电源模块和存储模块，所述输出模块包含显示模块和声音输出模块，所述壳体用于支撑和固定上述部分或全部模块；其特征在于：所述输入模块包含眼控模块、语音识别模块和融合判决模块；所述处理模块包含：第一处理单元和第二处理单元。2.根据权利要求1所述的一种带有眼控和语音识别的的头戴式设备，其特征在于，所述第一处理单元连接所述眼控模块和所述第二处理单元，所述第一处理单元对眼控模块传来数据进行处理，将处理结果传给第二处理单元。3.根据权利要求1所述的一种带有眼控和语音识别的的头戴式设备，其特征在于，所述第一处理单元连接所述语音识别模块和所述第二处理单元，所述第一处理单元对语音识别模块传来数据进行处理，将处理结果传给第二处理单元。4.根据权利要求1所述的一种带有眼控和语音识别的的头戴式设备，其特征在于：所述融合判决模块连接处理模块，对所述语音识别模块和眼控模块经过处理模块处理后的数据进行处理判决，进而执行至少一个操作。5.根据权利要求1所述的一种带有眼控和语音识别的的头戴式设备和交互方法，其特征在于：所述存储模块包含加密模块和解密模块用于保护用户数据安全。6.根据权利要求1所述的一种带有眼控和语音识别的的头戴式设备，其特征在于：所述输入模块还包含...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：深圳纬目信息技术有限公司，
类型：发明
国别省市：广东,44