一种眼球追踪方法及相关设备技术

本申请公开了一种眼球追踪方法及相关设备，应用于电子设备，所述方法包括：获取第一眼睛图像；当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。实施本申请的实施例，通过SRGAN的超分辨率技术将低分辨率的眼睛图像转化成高分辨率的眼睛图像后，用于眼球追踪应用，从而提升眼球追踪准确度和精确度。

【技术实现步骤摘要】
一种眼球追踪方法及相关设备
本申请涉及电子
，尤其涉及一种眼球追踪方法及相关设备。
技术介绍
眼球追踪是一种机器视觉技术，通过设备捕捉用户眼部图像，然后采用算法进行分析，最后得到用户注视位置的技术。然而，眼球追踪主要应用于医疗行业和AR、VR眼镜等方面，而应用于移动终端上非常少。其中，阻碍眼球追踪在移动终端上应用的一个很重要原因是由于随着距离的增加，移动终端摄像头采集的眼睛像素减少，导致眼球追踪识别精度降低。
技术实现思路
本申请实施例提供一种眼球追踪方法及相关设备，通过SRGAN超分辨率技术将低分辨率的眼睛图像进行超分率重建处理，得到高分辨率的眼睛图像，从而提升眼球追踪准确度和精确度。第一方面，本申请实施例提供一种眼球追踪方法，应用于电子设备，所述方法包括：获取第一眼睛图像；当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。第二方面，本申请实施例提供一种眼球追踪装置，应用于电子设备，所述装置包括：获取单元，用于获取第一眼睛图像；处理单元，当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；运行单元，用于根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。第三方面，本申请实施例提供一种电子设备，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质用于存储计算机程序，其中，上述计算机程序被处理器执行，以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。可以看出，在本申请实施例中，首先获取第一眼睛图像；当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；然后根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。因此，将低分辨率的眼睛图像转化成高分辨率的眼睛图像后，用于眼球追踪应用，从而提升眼球追踪准确度和精确度。本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种电子设备硬件的结构示意图；图2是本申请实施例提供的一种眼球追踪方法的软件架构图；图3是本申请实施例提供的一种眼球追踪方法的流程示意图；图4是本申请实施例提供的另一种眼球追踪方法的流程示意图；图5是本申请实施例提供的一种眼球追踪方法的人机交互图；图6是本申请实施例提供的一种电子设备的结构示意图；图7是本申请实施例提供的一种眼球追踪装置的结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。以下分别进行详细说明。本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本说明书中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本说明书所描述的实施例可以与其它实施例相结合。以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或通信连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(MobileStation，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子设备。请参阅图1，图1是本申请实施例提供的一种电子设备硬件的结构示意图。该电子设备包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(RandomAccessMemory，RAM)、摄像头、传感器和红外光(Infraredlightsource，IR)等等。其中，存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像头、传感器、IR与处理器连接，收发器与信号处理器连接。其中，显示屏可以是液晶显示器(LiquidCrystalDisplay，LCD)、有机或无机发光二极管(OrganicLight-EmittingDiode，OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/OrganicLightEmittingDiode，AMOLED)等。其中，该摄像头可以是普通摄像头、也可以是红外摄像，在此不作限定。该摄像头可以是前置摄像头或后置摄像头，在此不作限定。其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外接近传感器、指纹传感器、压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号本文档来自技高网...

【技术保护点】
1.一种眼球追踪方法，其特征在于，应用于电子设备，所述方法包括：/n获取第一眼睛图像；/n当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；/n根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。/n

【技术特征摘要】
1.一种眼球追踪方法，其特征在于，应用于电子设备，所述方法包括：
获取第一眼睛图像；
当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；
根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。


2.根据权利要求1所述的方法，其特征在于，所述电子设备包括摄像头，所述获取第一眼睛图像，包括：
当检测到眼球追踪应用程序请求启动时，或者当检测到所述眼球追踪应用程序请求启用预设功能时，或者当检测到所述眼球追踪应用程序请求获取眼球注视位置信息时，启动所述眼球追踪服务；
根据所述眼球追踪服务通过所述摄像头获取所述第一眼睛图像。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第二眼睛图像运行眼球追踪服务以完成预设功能，包括：
根据所述第二眼睛图像运行所述眼球追踪服务以得到所述第二眼睛图像的眼球追踪数据；
将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序；
根据所述第二眼睛图像的眼球追踪数据执行所述眼球追踪应用程序以完成所述预设功能。


4.根据权利要求3所述的方法，其特征在于，所述电子设备包括红外灯，在将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序之前，所述方法还包括：
根据所述眼球追踪服务开启所述红外灯照射拍摄目标的眼睛，所述红外灯用于在所述拍摄目标的眼睛上产生亮斑；
通过所述摄像头拍摄包括亮斑的所述拍摄目标的眼睛，得到N张第四眼睛图像；
根据所述N张第四眼睛图像得到N组校准坐标，所述N组校准坐标数据与所述N张第四眼睛图像一一对应，每组校准坐标数据包括瞳孔坐标和亮斑坐标；
根据所述N组校准坐标数据得到N个校准向量，所述N个校准向量与所述N组校准坐标数据一一对应，每个校准向量由对应的瞳孔坐标和亮斑坐标确定；
根据所述N个校准向量对所述第二眼睛图像的眼球追踪数据进行校准。


5.根据权利要求1所述的方法，其特征在于，所述图像超分辨率重建模型由第一模型和第二模型组成，所述第一模型和所述第二模型采用不同分辨率阶段的眼睛图像训练得到，所述将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，包括：
判断所述第一眼睛图像的分辨率是否大于第二预设分辨率阈值；
若所述第一眼睛图像的分辨率大于第二预设分辨率阈值，则将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像；
若所述第一眼睛图像的分辨率不大于第二预设分辨率阈值，则将所述第一眼睛图像输入第二模型中以得到所述第二眼睛图像；
其中，所述第一模型包括第一特征提取网络、第一生成网络和第一判别网络，所述第一生成网络包括第一残差网络层和第一上采样层，所述将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像，包括：
将所述第...

【专利技术属性】
技术研发人员：王文东，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44