注视点估计方法及电子设备技术

本申请公开了一种注视点估计方法及电子设备，涉及终端领域，该方法包括：第一电子设备接收到第一注视点估计模型。第一电子设备接收并响应于第一用户的第一输入，通过第一摄像头拍摄到包括第一用户人脸的第一图像及第一用户在显示屏上选中的位置。第一用户在显示屏上选中的位置用于表示第一电子设备拍摄到第一图像时第一用户的注视位置。第一电子设备基于第一注视点估计模型、第一图像和第一用户在显示屏上选中的位置，训练出第二注视点估计模型。当第一用户与第一电子设备进行视线交互时，第一电子设备基于第二注视点估计模型，确定出第一用户的视线聚焦于显示屏上的第一位置，第一电子设备基于第一位置执行第一指令。第一电子设备基于第一位置执行第一指令。第一电子设备基于第一位置执行第一指令。

【技术实现步骤摘要】
注视点估计方法及电子设备


[0001]本申请涉及终端领域，尤其涉及一种注视点估计方法及电子设备。

技术介绍

[0002]随着终端技术的发展以及设备交互技术的成熟，用户逐渐脱离鼠标键盘输入或者触摸显示屏以控制电子设备执行相应指令等传统的交互方式，开始探索更为方便的人机交互方法，例如基于视线交互、语音交互或手势交互等方式来控制电子设备。在上述视线交互方法中，电子设备可以基于用户的眼球运动确定出相应的控制指令，以执行用户的意图操作。然而，在当前的视线交互
，用户的视线估计需要借助头戴式设备获取眼球运动的信息，因此，该视线交互方法的应用场景不够广泛，操作十分繁琐，眼球运动信息的获取方式也较为复杂。

技术实现思路

[0003]本申请提供了一种注视点估计方法及电子设备，实现了第一电子设备不需要借助除第一电子设备外的其他设备(例如前述的头戴式设备)即可确定出用户针对电子设备100上显示屏的视线聚焦位置，应用场景更为广泛，且操作十分方便，极大地提升了电子设备100的计算效率，节约了电子设备100的计算资源。
[0004]第一方面，本申请提供了一种注视点估计方法，应用于包括第一摄像头和显示屏的第一电子设备上，所述第一摄像头和所述显示屏位于所述第一电子设备的同一侧，该方法包括：所述第一电子设备接收到第一注视点估计模型；所述第一注视点估计模型用于从人脸图像中确定出用户的注视方向；所述第一电子设备接收到第一用户的第一输入；响应于所述第一输入，所述第一电子设备通过所述第一摄像头拍摄到第一图像，及所述第一用户在所述显示屏上选中的位置；其中，所述第一图像包括第一用户的人脸图像，所述第一用户在所述显示屏上选中的位置用于表示，所述第一电子设备通过所述第一摄像头拍摄到所述第一图像时所述第一用户的实际注视位置；所述第一电子设备基于所述第一注视点估计模型、所述第一图像所述第一用户在所述显示屏上选中的位置，训练出第二注视点估计模型；当所述第一用户与所述第一电子设备进行视线交互时，所述第一电子设备基于所述第二注视点估计模型，确定出所述第一用户的视线聚焦于所述显示屏上的第一位置；当所述第一电子设备确定出所述第一位置位于所述显示屏的预设区域时，所述电子设备执行第一指令。
[0005]在一种可能的实现方式中，所述第一注视点估计模型是基于第二电子设备采集到的训练数据训练得出的模型；其中，所述训练数据包括：所述第二用户的图像、所述第二用户的实际注视方向、所述第三用户的图像和所述第三用户的实际注视方向。
[0006]在一种可能的实现方式中，所述第一输入为：所述第一用户针对于所述显示屏的触摸操作、所述第一用户针对所述第一电子设备的语音输入或所述第一用户针对所述第一电子设备的手势输入。
[0007]在一种可能的实现方式中，所述第一电子设备接收到第一用户的第一输入之前，所述方法还包括：所述第一电子设备显示出第一提示信息，所述第一提示信息用于提示所述第一用户点击所述显示屏。
[0008]在一种可能的实现方式中，当所述第一用户与所述第一电子设备进行视线交互时，所述第一电子设备基于所述第二注视点估计模型，确定出所述第一用户的视线聚焦于所述显示屏上的第一位置，具体包括：所述第一电子设备通过所述第一摄像头采集到所述第一用户的第二图像，所述第二图像包括所述第一用户的人脸图像；所述电子设备基于所述第二注视点估计模型和所述第二图像，确定出所述第一用户的视线聚焦于所述显示屏上的第一位置；所述电子设备基于所述第一位置执行第一指令。
[0009]在一种可能的实现方式中，所述第一指令为：显示通知界面、打开指定应用或显示桌面界面。
[0010]第二方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器和显示屏；所述一个或多个存储器与一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行上述第一方面任一项可能的实现方式中的方法。
[0011]第三方面，本申请实施例提供了一种计算机可读存储介质，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行上述第一方面任一项可能的实现方式中的方法。
[0012]第四方面，本申请实施例提供了一种芯片或芯片系统，包括处理电路和接口电路，所述接口电路用于接收代码指令并传输至所述处理电路，所述处理电路用于运行所述代码指令以执行上述第一方面任一项可能的实现方式中的方法。
[0013]第五方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行上述第一方面任一项可能的实现方式中的方法。
附图说明
[0014]图1A为本申请实施例提供的一种应用场景示意图；
[0015]图1B为本申请实施例提供的一种用户界面示意图；
[0016]图2为本申请实施例提供的一种注视点估计方法的具体流程示意图；
[0017]图3A为本申请实施例提供的一种注视特征向量提取的流程示意图；
[0018]图3B为本申请实施例提供的一种模型训练图；
[0019]图3C
‑
图3G为本申请实施例提供的一组用户界面示意图；
[0020]图3H为本申请实施例提供的一种电子设备配置的示意图；
[0021]图3I为本申请实施例提供的一种应用场景示意图；
[0022]图3J为本申请实施例提供的一种用户图像示意图；
[0023]图3K为本申请实施例提供的一种电子设备基于用户注视位置执行指令的示意图；
[0024]图4为本申请实施例提供的一种电子设备的软件模块示意图；
[0025]图5为本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
[0026]本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请得到说明书和所附权利要书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指包含一个或多个所列出醒目的任何或所有可能组合。在本申请实施例中，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0027]在一些应用场景中，电子设备可以不必接收用户针对于显示屏的触摸操作和/或用户基于键盘/鼠标的输入，而是基于用户视线聚焦在显示屏上的坐标位置(也可以被称为用户的注视位置)确定出相应的控制指令，以执行用户的意图操作。上述交互方式可以被称为视线交互方式。
[0028]示例性的，以电子设备基于视线交互方式显示出通知界面为例，具体说明上述视线交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注视点估计方法，应用于包括第一摄像头和显示屏的第一电子设备上，所述第一摄像头和所述显示屏位于所述第一电子设备的同一侧，其特征在于，所述方法包括：所述第一电子设备接收到第一注视点估计模型；所述第一注视点估计模型用于从人脸图像中确定出用户的注视方向；所述第一电子设备接收到第一用户的第一输入；响应于所述第一输入，所述第一电子设备通过所述第一摄像头拍摄到第一图像，及所述第一用户在所述显示屏上选中的位置；其中，所述第一图像包括第一用户的人脸图像，所述第一用户在所述显示屏上选中的位置用于表示，所述第一电子设备通过所述第一摄像头拍摄到所述第一图像时所述第一用户的实际注视位置；所述第一电子设备基于所述第一注视点估计模型、所述第一图像所述第一用户在所述显示屏上选中的位置，训练出第二注视点估计模型；当所述第一用户与所述第一电子设备进行视线交互时，所述第一电子设备基于所述第二注视点估计模型，确定出所述第一用户的视线聚焦于所述显示屏上的第一位置；当所述第一电子设备确定出所述第一位置位于所述显示屏的预设区域时，所述电子设备执行第一指令。2.根据权利要求1所述的方法，其特征在于，所述第一注视点估计模型是基于第二电子设备采集到的训练数据训练得出的模型；其中，所述训练数据包括：所述第二用户的图像、所述第二用户的实际注视方向、所述第三用户的图像和所述第三用户的实际注视方向。3.根据权利要求1所述的方法，其特征在于，所述第一输入为：所述第一用户针对于所述显示屏的触摸操作、所述第一用户针对所述第一电子设备的语音输入或所述第一用户针对所述第一电子设备的手势输入。4.根据权利要求1所述的方法，其特征在于，所述第一电子设备接收到第一用户的第一输入之前，所述方法还包括：所述第一电子设备显示出第一提示信息，所述第一提...

【专利技术属性】
技术研发人员：邸皓轩，李丹洪，谢字希，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：