眼动追踪方法、装置、电子设备、存储介质和程序产品制造方法及图纸

本申请涉及一种眼动追踪方法、装置、电子设备、存储介质和程序产品。所述方法包括：获取待检测图像；根据所述待检测图像和预设的检测模型进行眼动追踪，得到眼动追踪结果；其中，所述检测模型为根据样本图像、所述样本图像对应的增强图像和教师模型对初始检测模型进行训练得到的。采用本方法能够准确地进行眼动追踪。踪。踪。

【技术实现步骤摘要】
眼动追踪方法、装置、电子设备、存储介质和程序产品


[0001]本申请涉及眼动追踪
，特别是涉及一种眼动追踪方法、装置、电子设备、存储介质和程序产品。

技术介绍

[0002]随着模式识别与计算机视觉技术的发展，眼动追踪技术得到了广泛应用。眼动追踪技术通过测量眼睛的运动情况估计眼睛的凝视点，从而实时追踪眼睛的变化，根据眼睛的变化对用户的状态和需求进行预测。
[0003]传统技术中，主要是利用训练好的神经网络模型学习人脸图像中眼部特征到注视方向之间的映射关系，以进行眼动追踪。然而，传统的眼动追踪方法，存在准确度较低的问题。

技术实现思路

[0004]本申请实施例提供了一种眼动追踪方法、装置、电子设备、存储介质和程序产品，可以准确地进行眼动追踪。
[0005]第一方面，本申请实施例提供了一种眼动追踪方法，包括：
[0006]获取待检测图像；
[0007]根据所述待检测图像和预设的检测模型进行眼动追踪，得到眼动追踪结果；其中，所述检测模型为根据样本图像、所述样本图像对应的增强图像和教师模型对初始检测模型进行训练得到的。
[0008]第二方面，本申请实施例提供了一种眼动追踪装置，包括：
[0009]第一获取模块，用于获取待检测图像；
[0010]第二获取模块，用于根据所述待检测图像和预设的检测模型进行眼动追踪，得到眼动追踪结果；其中，所述检测模型为根据样本图像、所述样本图像对应的增强图像和教师模型对初始检测模型进行训练得到的。
[0011]第三方面，本申请实施例提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面所述的眼动追踪方法的步骤。
[0012]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
[0013]第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面所述的眼动追踪方法的步骤。
[0014]上述眼动追踪方法、装置、电子设备、存储介质和程序产品，由于预设的检测模型是根据样本图像、样本图像对应的增强图像和教师模型对初始检测模型进行训练得到的，通过样本图像、样本图像对应的增强图像和教师模型能够对初始检测模型进行准确地训练，使得得到的检测模型的准确度较高，从而能够根据待检测图像和预设的检测模型进行
准确度较高的眼动追踪，得到准确度较高的眼动追踪结果。
附图说明
[0015]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为一个实施例中眼动追踪方法的应用环境图；
[0017]图2为一个实施例中眼动追踪方法的流程图；
[0018]图3为另一个实施例中眼动追踪方法的流程图；
[0019]图4为另一个实施例中眼动追踪方法的流程图；
[0020]图5为另一个实施例中眼动追踪方法的流程图；
[0021]图6为另一个实施例中眼动追踪方法的流程图；
[0022]图7为另一个实施例中眼动追踪方法的流程图；
[0023]图8为另一个实施例中眼动追踪方法的流程图；
[0024]图9为另一个实施例中眼动追踪方法的流程图；
[0025]图10为另一个实施例中眼动追踪方法的流程图；
[0026]图11为一个实施例中检测模型的训练流程示意图；
[0027]图12为一个实施例中眼动追踪装置的结构框图；
[0028]图13为另一个实施例中眼动追踪装置的结构框图；
[0029]图14为另一个实施例中眼动追踪装置的结构框图；
[0030]图15为另一个实施例中眼动追踪装置的结构框图；
[0031]图16为另一个实施例中眼动追踪装置的结构框图；
[0032]图17为另一个实施例中眼动追踪装置的结构框图；
[0033]图18为另一个实施例中眼动追踪装置的结构框图；
[0034]图19为另一个实施例中眼动追踪装置的结构框图；
[0035]图20为一个实施例中计算机设备的结构示意图。
具体实施方式
[0036]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0037]本申请实施例提供的眼动追踪方法，可以应用于如图1所示的应用环境中。其中，电子设备102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。电子设备102可以向服务器104发送获取请求，从服务器104中获取对应的信息。其中，电子设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是
多个服务器组成的服务器集群来实现。
[0038]在一个实施例中，如图2所示，提供了一种眼动追踪方法，以该方法应用于图1中的电子设备为例进行说明，包括以下步骤：
[0039]S201，获取待检测图像。
[0040]其中，待检测图像为使用电子设备的用户的图像。可选的，待检测图像中可以包括有人脸，也可以不包括人脸。可选的，待检测图像可以为利用电子设备的摄像头进行拍摄得到的图像。可选的，获取的待检测图像可以为用户的正面图像，也可以为用户的侧面图像等等，又或者，获取的待检测图像可以为用户远离电子设备的图像，也可以为用户靠近电子设备的图像。可选的，待检测图像可以是用户使用电子设备进行阅读时采集的图像，也可以是用户使用电子设备观看视频时采集的图像等等，本实施例在此不做限制。可选的，获取的待检测图像中可以为包括有一个用户的图像，也可以为包括有多个用户的图像。
[0041]S202，根据待检测图像和预设的检测模型进行眼动追踪，得到眼动追踪结果；其中，检测模型为根据样本图像、样本图像对应的增强图像和教师模型对初始检测模型进行训练得到的。
[0042]其中，样本图像对应的增强图像为对样本图像进行翻转、平移等变换处理所得到的，进一步地，检测模型为预先根据样本图像、样本图像对应的增强图像和教师模型对初始检测模型进行弱监督训练得到的，也就是说，在对初始检测模型进行训练的过程中，可以将初始检测模型作为学生模型，利用教师模型指导初始检测模型的学习训练，并利用样本图像、样本图像对应的增强本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种眼动追踪方法，其特征在于，所述方法包括：获取待检测图像；根据所述待检测图像和预设的检测模型进行眼动追踪，得到眼动追踪结果；其中，所述检测模型为根据样本图像、所述样本图像对应的增强图像和教师模型对初始检测模型进行训练得到的。2.根据权利要求1所述的方法，其特征在于，所述检测模型包括检测网络和追踪网络；所述根据所述待检测图像和预设的检测模型进行眼动追踪，得到眼动追踪结果，包括：将所述待检测图像输入所述检测网络，得到所述待检测图像中的人脸关键点；根据所述人脸关键点和所述追踪网络，获取所述眼动追踪结果。3.根据权利要求2所述的方法，其特征在于，所述检测网络包括主干网络、人脸识别网络和关键点检测网络；所述将所述待检测图像输入所述检测网络，得到所述待检测图像中的人脸关键点，包括：将所述待检测图像输入所述主干网络中，得到所述待检测图像的特征；将所述待检测图像的特征输入所述人脸识别网络中，得到所述待检测图像对应的人脸图像；将所述人脸图像输入所述关键点检测网络中，得到所述人脸关键点。4.根据权利要求3所述的方法，其特征在于，所述追踪网络包括识别网络；所述根据所述人脸关键点和所述追踪网络，获取所述眼动追踪结果，包括：将所述人脸关键点和所述人脸图像输入所述识别网络中，得到所述待检测图像对应的人眼图像；根据所述人脸关键点和所述人眼图像，得到第一注视点估计结果。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在电子设备的屏幕显示状态为亮屏状态下，若所述第一注视点估计结果表示注视点位于所述电子设备的屏幕之外的区域，则控制所述电子设备的屏幕息屏；或者，在所述电子设备的屏幕显示状态为息屏状态下，若所述第一注视点估计结果表示注视点位于所述电子设备的屏幕上，则控制所述电子设备的屏幕亮屏。6.根据权利要求4所述的方法，其特征在于，所述追踪网络还包括分割网络和估计网络，所述方法还包括：将所述人眼图像输入所述分割网络中，得到虹膜分割后的人眼图像；将所述人脸关键点、所述人眼图像和所述虹膜分割后的人眼图像输入所述估计网络中，得到第二注视点估计结果；若所述第二注视点估计结果表示注视点位于电子设备的屏幕的预设区域，则控制所述电子设备进行翻页操作。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据所述虹膜分割后的人眼图像，获取虹膜面积；根据所述虹膜面积，得到人眼到电子设备摄像头的距离；若所述距离小于预设距离阈值，则控制所述电子设备输出护眼提示信息。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述初始检测模型包括初始检测网络和初始追踪网络，所述方法还包括：
将所述样本图像输入所述初始检测网络，得到所述样本图像中的样本人脸关键点；根据所述样本人脸关键点和所述初始...

【专利技术属性】
技术研发人员：张环宇，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：