一种设备交互方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种设备交互方法、装置及电子设备，方法包括：确定用户在电子设备的屏幕中的注视区域；基于注视区域，操作电子设备；可见，本方案中，用户只需要注视电子设备，便可以操作电子设备，用户不需要点击物理按键、触摸屏按键，也不需要语音操作电子设备，提高了操作便利性。作便利性。作便利性。

【技术实现步骤摘要】
一种设备交互方法、装置及电子设备


[0001]本专利技术涉及辅助驾驶
，尤其涉及一种设备交互方法、装置及电子设备。

技术介绍

[0002]随着经济的发展，越来越多的人们驾驶车辆出行，驾驶环境也越来越舒适。用户可以通过电子设备进行导航、听音乐、调节车内空调温度等等。
[0003]目前，用户可以通过物理按键、或者触摸屏按键、或者语音指令操作电子设备，使得电子设备进行导航、播放音乐、调节车内空调温度等等。
[0004]一些情况下，对于用户来说，上述操作电子设备的方案便利性较差。比如光线较暗的情况下，用户点击物理按键或者触摸屏按键，操作不方便；再比如，噪声较大的情况下，用户通过语音操作电子设备，电子设备不能区分噪声和用户的语音。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提出一种设备交互方法、装置及电子设备，以提高便利性。
[0006]基于上述目的，本专利技术实施例提供了一种设备交互方法，包括：
[0007]确定用户在电子设备的屏幕中的注视区域；
[0008]基于所述注视区域，操作所述电子设备。
[0009]可选的，所述确定用户在电子设备的屏幕中的注视区域，包括：
[0010]根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点；
[0011]所述基于所述注视区域，操作所述电子设备，包括：
[0012]若所述注视点位于所述电子设备的屏幕中，则唤醒所述电子设备；
[0013]或者，确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令。
[0014]可选的，所述根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点，包括：
[0015]获取待处理图像，所述待处理图像中包括用户的眼部；
[0016]检测所述待处理图像中的普尔钦斑，并确定所述普尔钦斑在眼部坐标系中的坐标；
[0017]根据屏幕坐标系与眼部坐标系之间的转换关系，将所述普尔钦斑在眼部坐标系中的坐标转换为用户的注视点在所述屏幕坐标系中的坐标。
[0018]可选的，获得所述屏幕坐标系与眼部坐标系之间的转换关系的过程包括：
[0019]获取多张所述用户的注视点不同的眼部图像，所采集的眼部图像对应的注视点均位于所述电子设备的屏幕中；
[0020]针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对
应的注视点在屏幕坐标系中的坐标；
[0021]基于所述普尔钦斑在眼部坐标系中的坐标和所述注视点在屏幕坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
[0022]可选的，所述获取多张所述用户的注视点不同的眼部图像，包括：
[0023]输出第一提示信息，所述第一提示信息用于提示用户注视电子设备的屏幕中的第一点；在用户注视所述第一点时，采集第一眼部图像；
[0024]输出第二提示信息，所述第二提示信息用于提示用户注视电子设备的屏幕中的第二点；在用户注视所述第二点时，采集第二眼部图像；
[0025]输出第三提示信息，所述第三提示信息用于提示用户注视电子设备的屏幕中的第三点；在用户注视所述第三点时，采集第三眼部图像；
[0026]输出第四提示信息，所述第四提示信息用于提示用户注视电子设备的屏幕中的第四点；在用户注视所述第四点时，采集第四眼部图像；
[0027]输出第五提示信息，所述第五提示信息用于提示用户注视电子设备的屏幕中的第五点；在用户注视所述第五点时，采集第五眼部图像；
[0028]输出第六提示信息，所述第六提示信息用于提示用户注视电子设备的屏幕中的第六点；在用户注视所述第六点时，采集第六眼部图像；
[0029]所述针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标，包括：
[0030]检测所述第一眼部图像中的普尔钦斑，作为第一普尔钦斑；并确定所述第一普尔钦斑在眼部坐标系中的坐标；确定所述第一点在屏幕坐标系中的坐标；
[0031]检测所述第二眼部图像中的普尔钦斑，作为第二普尔钦斑；并确定所述第二普尔钦斑在眼部坐标系中的坐标；确定所述第二点在屏幕坐标系中的坐标；
[0032]检测所述第三眼部图像中的普尔钦斑，作为第三普尔钦斑；并确定所述第三普尔钦斑在眼部坐标系中的坐标；确定所述第三点在屏幕坐标系中的坐标；
[0033]检测所述第四眼部图像中的普尔钦斑，作为第四普尔钦斑；并确定所述第四普尔钦斑在眼部坐标系中的坐标；确定所述第四点在屏幕坐标系中的坐标；
[0034]检测所述第五眼部图像中的普尔钦斑，作为第五普尔钦斑；并确定所述第五普尔钦斑在眼部坐标系中的坐标；确定所述第五点在屏幕坐标系中的坐标；
[0035]检测所述第六眼部图像中的普尔钦斑，作为第六普尔钦斑；并确定所述第六普尔钦斑在眼部坐标系中的坐标；确定所述第六点在屏幕坐标系中的坐标；
[0036]所述基于所述坐标和所述坐标，求解屏幕坐标系与眼部坐标系之间的转换关系，包括：
[0037]根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
[0038]可选的，所述根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中
的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系，包括：
[0039]将所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标代入如下算式，求解屏幕坐标系与眼部坐标系之间的转换关系：
[0040]x＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；
[0041]y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；
[0042]其中，a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5表示所述转换关系中的转换参数，(x1，y1)表示所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑或所述第六普尔钦斑在眼部坐标系中的坐标，(x，y)表示所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标。
[0043]可选的，所述根据屏幕坐标系与眼部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备交互方法，其特征在于，包括：确定用户在电子设备的屏幕中的注视区域；基于所述注视区域，操作所述电子设备。2.根据权利要求1所述的方法，其特征在于，所述确定用户在电子设备的屏幕中的注视区域，包括：根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点；所述基于所述注视区域，操作所述电子设备，包括：若所述注视点位于所述电子设备的屏幕中，则唤醒所述电子设备；或者，确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令。3.根据权利要求2所述的方法，其特征在于，所述根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点，包括：获取待处理图像，所述待处理图像中包括用户的眼部；检测所述待处理图像中的普尔钦斑，并确定所述普尔钦斑在眼部坐标系中的坐标；根据屏幕坐标系与眼部坐标系之间的转换关系，将所述普尔钦斑在眼部坐标系中的坐标转换为用户的注视点在所述屏幕坐标系中的坐标。4.根据权利要求3所述的方法，其特征在于，获得所述屏幕坐标系与眼部坐标系之间的转换关系的过程包括：获取多张所述用户的注视点不同的眼部图像，所采集的眼部图像对应的注视点均位于所述电子设备的屏幕中；针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标；基于所述普尔钦斑在眼部坐标系中的坐标和所述注视点在屏幕坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。5.根据权利要求4所述的方法，其特征在于，所述获取多张所述用户的注视点不同的眼部图像，包括：输出第一提示信息，所述第一提示信息用于提示用户注视电子设备的屏幕中的第一点；在用户注视所述第一点时，采集第一眼部图像；输出第二提示信息，所述第二提示信息用于提示用户注视电子设备的屏幕中的第二点；在用户注视所述第二点时，采集第二眼部图像；输出第三提示信息，所述第三提示信息用于提示用户注视电子设备的屏幕中的第三点；在用户注视所述第三点时，采集第三眼部图像；输出第四提示信息，所述第四提示信息用于提示用户注视电子设备的屏幕中的第四点；在用户注视所述第四点时，采集第四眼部图像；输出第五提示信息，所述第五提示信息用于提示用户注视电子设备的屏幕中的第五点；在用户注视所述第五点时，采集第五眼部图像；输出第六提示信息，所述第六提示信息用于提示用户注视电子设备的屏幕中的第六点；在用户注视所述第六点时，采集第六眼部图像；
所述针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标，包括：检测所述第一眼部图像中的普尔钦斑，作为第一普尔钦斑；并确定所述第一普尔钦斑在眼部坐标系中的坐标；确定所述第一点在屏幕坐标系中的坐标；检测所述第二眼部图像中的普尔钦斑，作为第二普尔钦斑；并确定所述第二普尔钦斑在眼部坐标系中的坐标；确定所述第二点在屏幕坐标系中的坐标；检测所述第三眼部图像中的普尔钦斑，作为第三普尔钦斑；并确定所述第三普尔钦斑在眼部坐标系中的坐标；确定所述第三点在屏幕坐标系中的坐标；检测所述第四眼部图像中的普尔钦斑，作为第四普尔钦斑；并确定所述第四普尔钦斑在眼部坐标系中的坐标；确定所述第四点在屏幕坐标系中的坐标；检测所述第五眼部图像中的普尔钦斑，作为第五普尔钦斑；并确定所述第五普尔钦斑在眼部坐标系中的坐标；确定所述第五点在屏幕坐标系中的坐标；检测所述第六眼部图像中的普尔钦斑，作为第六普尔钦斑；并确定所述第六普尔钦斑在眼部坐标系中的坐标；确定所述第六点在屏幕坐标系中的坐标；所述基于所述坐标和所述坐标，求解屏幕坐标系与眼部坐标系之间的转换关系，包括：根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系，包括：将所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标代入如下算式，求解屏幕坐标系与眼部坐标系之间的转换关系：x＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；其中，a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5表示所述转换关系中的转换参数，(x1，y1)表示所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑或所述第六普尔钦斑在眼部坐标系中的坐标，(x，y)表示所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标。7.根据权利要求2所述的方法，其特征在于，所述根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点，包括：识别用户的身份，作为待处理身份；在预先存储的用户身份与坐标系转换关系的对应关系中，查找所述待处理身份对应的坐标系转换关系，作为待处理转换关系；其中，所述坐标系转换关系为：屏幕坐标系与眼部
坐标系之间的转换关系；根据所述待处理转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点。8.根据权利要求1所述的方法，其特征在于，所述确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令，包括：确定所述注视点在所述屏幕中对应的软件图标；打开所述软件图标对应的显示界面；或者，在音乐播放界面中，确定所述注视点在所述屏幕中对应的操作按钮；若所述操作...

【专利技术属性】
技术研发人员：左亚军，董磊，
申请(专利权)人：大众问问北京信息科技有限公司，
类型：发明
国别省市：