一种人机交互方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种人机交互方法、装置、电子设备和存储介质，人机交互方法，应用在终端中，终端设置有显示屏幕，方法包括：控制显示屏幕进行显示；获取用户眼睛的第一眼部参数和第一光影，其中，第一眼部参数用于表征用户眼睛虹膜的位置，第一光影为显示屏幕在用户眼睛上的光影；获取用户眼睛到显示屏幕的第一观看距离；根据第一观看距离、第一眼部参数和第一光影得到用户眼睛注视在显示屏幕上的注视坐标；根据注视坐标得到用户在显示屏幕上的输入信息。本发明专利技术实施例能够通过眼睛来实现交互，无需触控到终端，提高用户的交互体验。提高用户的交互体验。提高用户的交互体验。

【技术实现步骤摘要】
一种人机交互方法、装置、电子设备和存储介质


[0001]本专利技术涉及人机交互
，特别是涉及一种人机交互方法、装置、电子设备和存储介质。

技术介绍

[0002]目前手机、平板电脑等智能终端逐渐走入人们的生活，如何进一步提升用户的交互体验成为未来人机交互的研究方向。相关技术中，用户与手机、平板电脑等智能终端之间一般需要通过手指触摸屏幕来实现人机交互，这种人机交互方式依赖于人手，交互形式单一，用户体验差。

技术实现思路

[0003]本专利技术实施例提供了一种人机交互方法、装置、电子设备和存储介质，能够在通过眼睛来实现交互，无需触控到终端，提高用户的交互体验。
[0004]第一方面，本专利技术实施例提供了一种人机交互方法，应用在终端中，所述终端设置有显示屏幕，所述方法包括：控制所述显示屏幕进行显示；获取用户眼睛的第一眼部参数和第一光影，其中，所述第一眼部参数用于表征用户眼睛虹膜的位置，所述第一光影为所述显示屏幕在用户眼睛上的光影；获取用户眼睛到所述显示屏幕的第一观看距离；根据所述第一观看距离、所述第一眼部参数和所述第一光影得到用户眼睛注视在所述显示屏幕上的注视坐标；根据所述注视坐标得到用户在所述显示屏幕上的输入信息。
[0005]在一些实施例中，所述终端设置有前置摄像头；所述获取用户眼睛的第一眼部参数和第一光影，包括：获取用户的脸部图像，所述脸部图像是由所述前置摄像头拍摄得到的；根据所述脸部图像解析得到第一眼眶位置信息、第一虹膜位置信息和第一光影，其中，所述第一眼眶位置信息用于表征用户眼眶的位置，所述第一虹膜位置信息用于表征用户眼睛虹膜的位置；根据所述第一眼眶位置信息和所述第一虹膜位置信息得到第一眼部参数。
[0006]在一些实施例中，所述根据所述脸部图像解析得到第一眼眶位置信息、第一虹膜位置信息和第一光影，包括：基于预设的检测器对所述脸部图像进行人脸眼睛区域检测，得到第一眼眶位置信息；将所述脸部图像转换为灰度图像，并对所述灰度图像进行二值化处理，得到第一预处理图像，根据所述第一预处理图像中矩形或圆形的噪声图像得到第一光影；对所述第一预处理图像进行腐蚀和膨胀处理，并剔除图像中的噪声，得到第二预处理图像，并利用圆形的结构元素提取所述第二预处理图像中表征用户眼睛虹膜的圆形区域的位置，得到用户眼睛的第一虹膜位置信息。
[0007]在一些实施例中，所述根据所述第一观看距离、所述第一眼部参数和所述第一光影得到用户眼睛注视在所述显示屏幕上的注视坐标，包括：根据所述第一观看距离匹配对应距离下的坐标映射关系表；计算所述第一光影的光影坐标；根据所述第一眼部参数和所述光影坐标，在所述坐标映射关系表中查表得到用户眼睛注视在所述显示屏幕上的注视坐标。
[0008]在一些实施例中，所述第一光影的形状为矩形或圆形，所述光影坐标是所述第一光影的几何中心点或平均点。
[0009]在一些实施例中，所述方法还包括：在所述显示屏幕上显示样本光标；获取用户眼睛注视所述样本光标时的第二眼部参数和第二光影，其中，所述第二眼部参数用于表征用户眼睛虹膜的位置，所述第二光影为所述显示屏幕或所述样本光标在用户眼睛上的光影；获取用户眼睛注视所述样本光标时到所述显示屏幕的第二观看距离；在所述第二观看距离下，记录所述第二眼部参数和所述第二光影的对应关系，以建立所述样本光标的坐标映射关系表。
[0010]在一些实施例中，所述在所述显示屏幕上显示样本光标，包括：将所述显示屏幕均匀划分成多个显示区域；分别在各个所述显示区域上显示样本光标。
[0011]在一些实施例中，所述在所述第二观看距离下，记录所述第二眼部参数和所述第二光影的对应关系，以建立所述样本光标的坐标映射关系表，包括：依次在各个所述显示区域上显示所述样本光标；当用户所处的观看位置不变时，在所述第二观看距离下，分别记录用户依次观看各个所述样本光标对应的多个所述第二眼部参数和多个所述第二光影的对应关系，以建立所述样本光标的坐标映射关系表。
[0012]在一些实施例中，所述第二观看距离有多个；所述获取用户眼睛注视所述样本光标时的第二眼部参数和第二光影，包括：获取多个不同的所述第二观看距离下的用户眼睛注视所述样本光标时的第二眼部参数和第二光影；所述在所述第二观看距离下，记录所述第二眼部参数和所述第二光影的对应关系，以建立所述样本光标的坐标映射关系表，包括：记录多个不同的所述第二观看距离对应的所述第二眼部参数和所述第二光影的对应关系，以建立不同观看距离下所述样本光标的坐标映射关系表。
[0013]在一些实施例中，所述获取用户眼睛注视所述样本光标时的第二眼部参数和第二光影，包括：在所述第二观看距离下，获取用户眼睛在不同的观看角度注视所述样本光标时的第二眼部参数和第二光影；其中，所述观看角度为用户脸部所在平面与所述显示屏幕所形成的角度。
[0014]在一些实施例中，所述根据所述第一观看距离、所述第一眼部参数和所述第一光影得到用户眼睛注视在所述显示屏幕上的注视坐标，包括：获取预设的拟合坐标模型或神经网络模型，所述拟合坐标模型和所述神经网络模型均由样本中的第三观看距离、第三眼部参数和第三光影与对应的样本坐标建立得到的；将所述第一观看距离、所述第一眼部参数和所述第一光影输入至所述拟合坐标模型或所述神经网络模型中，得到用户眼睛注视在所述显示屏幕上的注视坐标。
[0015]在一些实施例中，所述方法还包括：获取所述第三观看距离、所述第三眼部参数和所述第三光影与对应的所述样本坐标的坐标映射关系表，基于所述坐标映射表拟合得到所述第三观看距离、所述第三眼部参数和所述第三光影到所述样本光标的拟合坐标模型；或者，获取所述第三观看距离、所述第三眼部参数和所述第三光影与对应的所述样本坐标的坐标映射关系表，基于所述第三观看距离、所述第三眼部参数和所述第三光影建立用于得到所述样本坐标的神经网络模型，并通过所述坐标映射关系表优化所述神经网络模型。
[0016]在一些实施例中，所述根据所述注视坐标得到用户在所述显示屏幕上的输入信息，包括：通过所述显示屏幕显示虚拟键盘；获取所述虚拟键盘上各个按键键值与对应的输
入位置的键值映射关系表；根据所述注视坐标与所述键值映射关系表从所述虚拟键盘中触发对应的目标按键键值。
[0017]在一些实施例中，所述根据所述注视坐标得到用户在所述显示屏幕上的输入信息，包括：记录用户注视在所述注视坐标上的注视时间，当所述注视时间大于第一时间阈值，根据所述注视坐标得到用户在所述显示屏幕上的输入信息；或者，获取用户在注视所述注视坐标后的肢体动作，当所述肢体动作与目标肢体动作相匹配，根据所述注视坐标得到用户在所述显示屏幕上的输入信息。
[0018]在一些实施例中，所述第一虹膜位置信息包含左眼虹膜位置信息和右眼虹膜位置信息；所述获取用户眼睛到所述显示屏幕的第一观看距离，包括：根据所述左眼虹膜位置信息和所述右眼虹膜位置信息分别得到用户眼睛的左眼瞳孔位置信息和右眼瞳孔位置信息；根据所述左眼瞳孔位置信息和所述右眼瞳孔位置信息计算得到在所述脸部图像中用户的画面瞳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机交互方法，应用在终端中，所述终端设置有显示屏幕，其特征在于，所述方法包括：控制所述显示屏幕进行显示；获取用户眼睛的第一眼部参数和第一光影，其中，所述第一眼部参数用于表征用户眼睛虹膜的位置，所述第一光影为所述显示屏幕在用户眼睛上的光影；获取用户眼睛到所述显示屏幕的第一观看距离；根据所述第一观看距离、所述第一眼部参数和所述第一光影得到用户眼睛注视在所述显示屏幕上的注视坐标；根据所述注视坐标得到用户在所述显示屏幕上的输入信息。2.根据权利要求1所述的人机交互方法，其特征在于，所述终端设置有前置摄像头；所述获取用户眼睛的第一眼部参数和第一光影，包括：获取用户的脸部图像，所述脸部图像是由所述前置摄像头拍摄得到的；根据所述脸部图像解析得到第一眼眶位置信息、第一虹膜位置信息和第一光影，其中，所述第一眼眶位置信息用于表征用户眼眶的位置，所述第一虹膜位置信息用于表征用户眼睛虹膜的位置；根据所述第一眼眶位置信息和所述第一虹膜位置信息得到第一眼部参数。3.根据权利要求2所述的人机交互方法，其特征在于，所述根据所述脸部图像解析得到第一眼眶位置信息、第一虹膜位置信息和第一光影，包括：基于预设的检测器对所述脸部图像进行人脸眼睛区域检测，得到第一眼眶位置信息；将所述脸部图像转换为灰度图像，并对所述灰度图像进行二值化处理，得到第一预处理图像，根据所述第一预处理图像中矩形或圆形的噪声图像得到第一光影；对所述第一预处理图像进行腐蚀和膨胀处理，并剔除图像中的噪声，得到第二预处理图像，并利用圆形的结构元素提取所述第二预处理图像中表征用户眼睛虹膜的圆形区域的位置，得到用户眼睛的第一虹膜位置信息。4.根据权利要求1所述的人机交互方法，其特征在于，所述根据所述第一观看距离、所述第一眼部参数和所述第一光影得到用户眼睛注视在所述显示屏幕上的注视坐标，包括：根据所述第一观看距离匹配对应距离下的坐标映射关系表；计算所述第一光影的光影坐标；根据所述第一眼部参数和所述光影坐标，在所述坐标映射关系表中查表得到用户眼睛注视在所述显示屏幕上的注视坐标。5.根据权利要求4所述的人机交互方法，其特征在于，所述第一光影的形状为矩形或圆形，所述光影坐标是所述第一光影的几何中心点或平均点。6.根据权利要求4所述的人机交互方法，其特征在于，所述方法还包括：在所述显示屏幕上显示样本光标；获取用户眼睛注视所述样本光标时的第二眼部参数和第二光影，其中，所述第二眼部参数用于表征用户眼睛虹膜的位置，所述第二光影为所述显示屏幕或所述样本光标在用户眼睛上的光影；获取用户眼睛注视所述样本光标时到所述显示屏幕的第二观看距离；在所述第二观看距离下，记录所述第二眼部参数和所述第二光影的对应关系，以建立
所述样本光标的坐标映射关系表。7.根据权利要求6所述的人机交互方法，其特征在于，所述在所述显示屏幕上显示样本光标，包括：将所述显示屏幕均匀划分成多个显示区域；分别在各个所述显示区域上显示样本光标。8.根据权利要求7所述的人机交互方法，其特征在于，所述在所述第二观看距离下，记录所述第二眼部参数和所述第二光影的对应关系，以建立所述样本光标的坐标映射关系表，包括：依次在各个所述显示区域上显示所述样本光标；当用户所处的观看位置不变时，在所述第二观看距离下，分别记录用户依次观看各个所述样本光标对应的多个所述第二眼部参数和多个所述第二光影的对应关系，以建立所述样本光标的坐标映射关系表。9.根据权利要求6所述的人机交互方法，其特征在于，所述第二观看距离有多个；所述获取用户眼睛注视所述样本光标时的第二眼部参数和第二光影，包括：获取多个不同的所述第二观看距离下的用户眼睛注视所述样本光标时的第二眼部参数和第二光影；所述在所述第二观看距离下，记录所述第二眼部参数和所述第二光影的对应关系，以建立所述样本光标的坐标映射关系表，包括：记录多个不同的所述第二观看距离对应的所述第二眼部参数和所述第二光影的对应关系，以建立不同观看距离下所述样本光标的坐标映射关系表。10.根据权利要求6所述的人机交互方法，其特征在于，所述获取用户眼睛注视所述样本光标时的第二眼部参数和第二光影，包括：在所述第二观看距离下，获取用户眼睛在不同的观看角度注视所述样本光标时的第二眼部参数和第二光影；其中，所述观看角度为用户脸部所在平面与所述显示屏幕所形成的角度。11.根据权利要求1所述的人机交互方法，...

【专利技术属性】
技术研发人员：杨亚军，游城，魏学华，杨克庆，
申请(专利权)人：深圳市立体通技术有限公司，
类型：发明
国别省市：