眼球检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了眼球检测方法、装置、设备及存储介质。其中，该方法包括：获取待检测的目标眼部图像，将目标眼部图像输入至预先训练的眼球检测模型中，其中，眼球检测模型为包含可逆残差网络的卷积神经网络模型，根据眼球检测模型的输出结果确定目标眼部图像中的眼球关键点的位置信息。本发明专利技术实施例提供的技术方案，由于预先训练的眼球检测模型为包含可逆残差网络的卷积神经网络模型，可以在保证眼球检测精度的同时有效提高眼球检测的计算效率，进而快速得到眼球检测结果，提升眼球检测相关应用的响应速度。

【技术实现步骤摘要】
眼球检测方法、装置、设备及存储介质
本专利技术实施例涉及图像识别领域，尤其涉及眼球检测方法、装置、设备及存储介质。
技术介绍
眼球检测技术一般包括眼球关键点定位技术，是图像处理和计算机视觉领域一项重要的技术，目标是为了准确定位出虹膜以及瞳孔等在输入人脸图像或视频中的位置，主要包括虹膜边界或者边界上的关键点的检测以及瞳孔中心点的检测。眼球检测技术在娱乐直播、短视频特效、虚拟人偶以及安防等领域有重要的作用。目前，眼球检测方法大致上可以分为两大类，一类是基于传统计算机视觉领域的手工特征提取方法，另外一类是基于神经网络技术的方法。前者主要是利用图像的梯度来提取特征，例如尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)特征，并结合传统算法(例如霍夫变换和支持向量机等)做虹膜边缘检测或关键点检测，这类方案需要针对不同场景设置不同参数，而且准确性一般较低。后者主要是利用多层卷积神经网络对图像进行特征提取，再回归关键点的位置，这类方案较前者准确性高，但是模型的计算复杂度高，对计算资源有很高的要求。因此，现有的眼球检测方案仍不够完善，需要改进。
技术实现思路
本专利技术实施例提供了眼球检测方法、装置、设备及存储介质，可以优化现有的眼球检测方案。第一方面，本专利技术实施例提供了一种眼球检测方法，该方法包括：获取待检测的目标眼部图像；将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型；<br>根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。第二方面，本专利技术实施例提供了一种眼球检测装置，该装置包括：目标眼部图像获取模块，用于获取待检测的目标眼部图像；图像输入模块，用于将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型；位置信息确定模块，用于根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。第三方面，本专利技术实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本专利技术实施例提供的眼球检测方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例提供的眼球检测方法。本专利技术实施例中提供的眼球检测方案，获取待检测的目标眼部图像，将目标眼部图像输入至预先训练的眼球检测模型中，其中，眼球检测模型为包含可逆残差网络的卷积神经网络模型，根据眼球检测模型的输出结果确定目标眼部图像中的眼球关键点的位置信息。通过采用上述技术方案，由于预先训练的眼球检测模型为包含可逆残差网络的卷积神经网络模型，可以在保证眼球检测精度的同时有效提高眼球检测的计算效率，进而快速得到眼球检测结果，提升眼球检测相关应用的响应速度。附图说明图1为本专利技术实施例提供的一种眼球检测方法的流程示意图；图2为本专利技术实施例提供的一种眼球关键点分布示意图；图3为本专利技术实施例提供的又一种眼球检测方法的流程示意图；图4为本专利技术实施例提供的另一种眼球检测方法的流程示意图；图5为本专利技术实施例提供的一种眼球检测流程示意图；图6为本专利技术实施例提供的一种眼球检测模型网络结构示意图；图7为本专利技术实施例提供的一种可逆残差网络结构示意图；图8为本专利技术实施例提供的一种眼球检测装置的结构框图；图9为本专利技术实施例提供的一种计算机设备的结构框图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。图1为本专利技术实施例提供的一种眼球检测方法的流程示意图，该方法可以由眼球检测装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图1所示，该方法包括：步骤101、获取待检测的目标眼部图像。示例性的，计算机设备例如可包括手机、平板电脑、笔记本电脑以及个人数字助理等移动终端设备，也可包括台式电脑等其他设备。另外，本专利技术实施例可以在保证眼球检测精度的同时有效提高眼球检测的计算效率，计算复杂度得到了有效控制，因此，可广泛适用于移动计算平台和其他计算资源受限的平台，也即，计算机设备可以是计算资源有限的设备，如低端(如硬件配置较低)手机以及安防设备等等，经试验表明，可达到毫秒级的运行速度。本专利技术实施例提供的方案可应用于各种应用场景中，如涉及用户视线方向追踪、眼球追踪以及其他需要使用到眼球位置相关信息的应用中。可选的，可应用在视频直播或短视频应用中的特效、贴纸、虚拟人偶以及3D表情等功能中，还可应用在安防设备中用来辅助虹膜人脸识别和活体检测等。示例性的，目标眼部图像可以是包含人眼的图像。人眼区域在整个目标眼部图像中所占比例不限，目标眼部图像中可包含人脸五官中其他部位，也可仅包含人眼，本专利技术实施例不做限定。可选的，对于一些应用场景来说，如摄像头等图像采集装置所采集的原始图像中一般会包含整个人脸，还可能包含其他如人物背景等图像信息，因此，可以对原始图像进行进一步的裁剪等操作，得到目标眼部图像，以减少运算量。步骤102、将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型。本专利技术实施例中所采用的用于进行眼球检测的眼球检测模型具体可以是包含可逆残差网络的卷积神经网络模型。现有技术中的眼球检测模型中一般使用较多层的卷积网络，计算复杂度非常高，无法再计算资源有限的设备上使用，并且，由于计算复杂度高，计算速度也受到很大影响，计算效率低，影响眼球检测的实时性。为了降低计算复杂度，本专利技术实施例将可逆残差网络应用于眼球检测模型中，可在模型中设置一个或多个基于可逆残差网络的模块，可以在保证精度的同时提高计算效率。其中，可逆残差网络在眼球检测模型中的具体位置、可逆残差网络的具体数量、以及可逆残差网络中的具体参数可根据实际应用和场景进行设置，本专利技术实施例不做具体限定。另外，眼球检测模型中还可包括卷积层、池化层以及全连接层等，具体结构本专利技术实施例也不做限定，可通过重新组合和设计卷积层来平衡神经网络的准确性和复杂度，在基本保持准确性的前提下降低网络的复杂度。示例性的，可根据实际需求确定眼部检测模型对应的网络结构，得到眼部检测训练模型，并利用训练数据对眼部检测训练模型进行训练，优化眼部检测训练模型中各参数的取值，进而得到训练好的眼球检测模型，也即本专利技术实施例中的预先训练的眼球检测模型。步骤103、根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。示例性的，本文档来自技高网...

【技术保护点】
1.一种眼球检测方法，其特征在于，包括：/n获取待检测的目标眼部图像；/n将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型；/n根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。/n

【技术特征摘要】
1.一种眼球检测方法，其特征在于，包括：
获取待检测的目标眼部图像；
将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型；
根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。


2.根据权利要求1所述的方法，其特征在于，所述眼球关键点的位置信息包括眼球关键点的坐标信息和/或眼球关键点的可见性信息。


3.根据权利要求1所述的方法，其特征在于，所述获取待检测的目标眼部图像，包括：
采用预设人脸检测方法对待检测图像进行检测，以确定眼角位置信息；
根据所述眼角位置信息截取双眼图像；
根据所述双眼图像确定目标眼部图像。


4.根据权利要求3所述的方法，其特征在于，所述根据所述眼角位置信息截取双眼图像，包括：
根据所述眼角位置信息分别截取左眼图像和右眼图像。


5.根据权利要求4所述的方法，其特征在于，所述根据所述眼角位置信息分别截取左眼图像和右眼图像，包括：
根据当前眼睛对应的眼角位置信息确定内眼角点的相对位置，其中，所述当前眼睛包括左眼和右眼；
根据所述相对位置对所述待检测图像进行旋转，以使所述内眼角点处于同一水平线；
截取当前眼睛图像。


6.根据权利要求5所述的方法，其特征在于，所述根据所述相对位置对所述待检测图像进行旋转，以使所述内眼角点处于同一水平线，包括：
根据所述相对位置计算所述内眼角点连线的中心点；
计算通过所述中心点的水平线与所述内眼角点连线的夹角；
根据所述夹角确定旋转矩阵；
基于所述旋转矩阵对所述待检测图像进行旋转，以使所述内眼角点处于同一水平线。


7.根据权利要求6所述的方法，其特征在于，所述目标眼部图像中的眼球关键点的位置信息包括所述眼球关键点在所述待检测图像中的坐标信息；
所述根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息，包括：
根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的相对位置信息；
基于所述旋转矩阵对所述相对位置信息进行反向旋转处理，得到...

【专利技术属性】
技术研发人员：张小伟，项伟，刘更代，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44