一种基于深度投票机制的端到端瞳孔中心定位方法技术

本发明专利技术涉及一种基于深度投票机制的端到端瞳孔中心定位方法，属于计算机视觉应用领域。该方法包括：S1：获取包含人脸的图像集，并对图像集进行标注，然后将标注后的图像集分为训练集和测试集；S2：构建瞳孔中心定位模型，并将训练集输入模型进行训练；S3：将测试集中的待定位图像输入训练好的瞳孔中心定位模型，得到最终的瞳孔中心定位坐标。本发明专利技术通过将卷积神经网络和经典视觉中的投票机制相结合，在保持高精度定位的同时，实现了端到端的数据流处理。理。理。

【技术实现步骤摘要】
一种基于深度投票机制的端到端瞳孔中心定位方法


[0001]本专利技术属于计算机视觉应用领域，涉及一种基于深度投票机制的端到端瞳孔中心定位方法。

技术介绍

[0002]瞳孔中心定位是各种计算机视觉应用的关键技术之一，在虚拟现实、机器人、脑科学，以及医学分析等领域已经得到了广泛的应用。
[0003]目前，瞳孔中心定位的研究根据其应用场景主要分为头戴式瞳孔中心定位和自然瞳孔中心定位。
[0004]头戴式瞳孔中心定位是指通过头戴式的拍摄设备，采集眼部区域的图像后进行瞳孔中心定位。这种方法的优点在于，拍摄的图像几乎完全分布在眼部周围，并且具有很高的分辨率，但是由于其对于特定头戴设备的需求，以及拍摄图像本身不具备日常可获取图像的普遍性，这种方法在日常生活中的应用比较局限。自然瞳孔中心定位指的是使用更通用的拍摄设备，如智能手机和网络摄像机，获取自然条件下的图像后进行瞳孔中心定位。相较于前一种定位问题，在自然图像中存在更多不确定的因素影响瞳孔中心定位的结果，比如拍摄角度和变化的光照。
[0005]为了克服变化因素的影响，许多研究者提出创新的方法来实现在自然图像中进行瞳孔中心定位，比如，
[0006]Timm和Barth等在Accurate Eye Centre Localisation by Means of Gradients中将瞳孔中心定义为图像梯度相交最密集的点，根据眼球的生理色素分布，利用图像的梯度信息来定位瞳孔中心。
[0007]Xia和Yu等在Accurate and Robust Eye Center Localizatin via Fully Convolutional Networks中将瞳孔中心定位问题定义为一种特殊的语义分割问题，对左右眼区域分别进行瞳孔中心的加权预测来进行定位。
[0008]Baek和Choi等在Eyeball model
‑
based iris center localization for visible image
‑
based eye
‑
gaze tracking systems中对眼球姿态和瞳孔中心之间的变化关系进行建模，建立先验知识库后根据采集到的眼球姿态来进行最佳匹配，最终定位到瞳孔中心。
[0009]volutional neural networks中引入了生成对抗网络(GAN)来针对性地去除眼镜对眼部区域的影响，再使用分割的方法定位到瞳孔中心。
[0010]然而包括上述方法在内的现有方法大都将整个流程分割为三个部分，即先进行脸部区域检测，再切割出眼部区域，最后在眼部区域中进行瞳孔中心定位。这种设计会导致数据流变得不连续，使得最终的瞳孔中心定位精度依赖于其前置组件的质量，也将定位方法的设计可能限制在了局部图像内，不利于通过整体的图像信息来提升定位方法的精确性和鲁棒性。

技术实现思路

[0011]有鉴于此，本专利技术的目的在于提供一种基于深度投票机制的端到端瞳孔中心定位方法，通过将卷积神经网络和经典视觉中的投票机制相结合，在保持高精度定位的同时，实现端到端的数据流处理。
[0012]为达到上述目的，本专利技术提供如下技术方案：
[0013]一种基于深度投票机制的端到端瞳孔中心定位方法，利用神经网络在图像中的人眼区域提取富有语义信息的描述子，不同描述子给出独立的预测，最终全部的预测被整合起来得到最终的定位结果。该方法具体包括以下步骤：
[0014]S1：获取包含人脸的图像集，并对图像集进行标注，然后将标注后的图像集分为训练集和测试集；
[0015]S2：构建瞳孔中心定位模型，并将训练集输入模型进行训练；
[0016]S3：将测试集中的待定位图像输入训练好的瞳孔中心定位模型，得到最终的瞳孔中心定位坐标。
[0017]进一步，步骤S1中，通过通用拍摄设备如手机、摄像机等获取自然环境下的包含完整人脸的图像集，其中瞳孔区域必须保证能够由人类标注者进行识别。
[0018]进一步，步骤S1中，标注者使用标注工具对图像集进行标注，具体包括：对每张图像I，标注两组六维向量，第i组六维向量记作其中用于描述眼部区域标注框的大小，表示眼部区域的中心坐标，(w
i
,h
i
)表示眼部区域宽度和高度；用于描述瞳孔中心的信息，表示瞳孔中心的坐标，c
i
表示落在眼部区域标注框中的样本所属的类别。
[0019]进一步，步骤S2中，构建并训练瞳孔中心定位模型，具体包括以下步骤：
[0020]S21：构建瞳孔中心定位模型：使用卷积神经网络作为特征提取的骨干网络，使用经过特殊设计的网络结构构建瞳孔中心定位算法头，包含描述子分类器和偏移回归器；
[0021]S22：将训练图像I输入骨干网络，提取出特征集F，将特征集F输入瞳孔中心定位算法头，通过描述子分类器和偏移回归器，得到预测的描述子得分集score以及偏移向量集offset；
[0022]S23：将步骤S22得到的描述子得分集score以及偏移向量集offset输入损失计算模块，得到损失值；
[0023]S24：根据步骤S23计算出的损失值，使用梯度下降优化算法将其回传，对瞳孔中心定位模型进行训练，迭代至收敛；
[0024]S25：根据顺时针将样本集输入投票模块以及瞳孔中心抑制模块，得到最终的瞳孔中心定位结果。
[0025]进一步，步骤S23中，将描述子得分集score以及偏移向量集offset输入损失计算模块得到损失值，具体包括：将特征集F中的各个子集根据各自对应的卷积步长s按照如下公式映射回原始图像，
[0026][0027][0028]其中，(x,y)为特征图中的特征点坐标，(x0,y0)为映射回原图的样本坐标，如果样本落入到标注框B的范围内，则此样本被记为正样本，亦即用于为瞳孔中心投票的局部描述子；将描述子得分集score以及偏移向量集offset输入损失计算模块，分别进行分类损失L
reg
(o,o
*
)和回归损失L
cls
(p,c
*
)的计算，计算公式如下：
[0029][0030]L
cls
(p,c
*
)＝
‑
[α(1
‑
p)
γ
logp+(1
‑
α)p
γ
log(1
‑
p)][0031]其中，p表示一个样本对应的预测得分，c
*
表示这个样本对应的类别；γ与α为超参数，用于调整难易样本及正负样本的权重；o代表偏移向量offset；o
*
代表偏移向量的真值，o
*
的计算公式如下：
[0032][0033][0034]其中，和分别表示瞳孔中心距离样本(x0,y0)在两个维度上的距离，(x
eye
,y...

【技术保护点】

【技术特征摘要】
1.一种基于深度投票机制的端到端瞳孔中心定位方法，其特征在于，该方法具体包括以下步骤：S1：获取包含人脸的图像集，并对图像集进行标注，然后将标注后的图像集分为训练集和测试集；S2：构建瞳孔中心定位模型，并将训练集输入模型进行训练；S3：将测试集中的待定位图像输入训练好的瞳孔中心定位模型，得到最终的瞳孔中心定位坐标。2.根据权利要求1所述的端到端瞳孔中心定位方法，其特征在于，步骤S1中，通过通用拍摄设备获取自然环境下的包含完整人脸的图像集，其中瞳孔区域必须保证能够由人类标注者进行识别。3.根据权利要求1所述的端到端瞳孔中心定位方法，其特征在于，步骤S1中，标注者使用标注工具对图像集进行标注，具体包括：对每张图像I，标注两组六维向量，第i组六维向量记作其中用于描述眼部区域标注框的大小，表示眼部区域的中心坐标，(w
i
,h
i
)表示眼部区域宽度和高度；用于描述瞳孔中心的信息，表示瞳孔中心的坐标，c
i
表示落在眼部区域标注框中的样本所属的类别。4.根据权利要求1所述的端到端瞳孔中心定位方法，其特征在于，步骤S2中，构建并训练瞳孔中心定位模型，具体包括以下步骤：S21：构建瞳孔中心定位模型：使用卷积神经网络作为特征提取的骨干网络，构建瞳孔中心定位算法头，包含描述子分类器和偏移回归器；S22：将训练图像I输入骨干网络，提取出特征集F，将特征集F输入瞳孔中心定位算法头，通过描述子分类器和偏移回归器，得到预测的描述子得分集score以及偏移向量集offset；S23：将步骤S22得到的描述子得分集score以及偏移向量集offset输入损失计算模块，得到损失值；S24：根据步骤S23计算出的损失值，使用梯度下降优化算法将其回传，对瞳孔中心定位模型进行训练，迭代至收敛；S25：将样本集输入投票模块以及瞳孔中心抑制模块，得到最终的瞳孔中心定位结果。5.根据权利要求4所述的端到端瞳孔中心定位方法，其特征在于，步骤S23中，将描述子得分集score以及偏移向量集offset输入损失计算模块得到损失值，具体包括：将特征集F中的各个子集根据各自对应的卷积步长s按照如下公式映射回原始图像，据各自对应的卷积步长s按照如下公式映射回原始图像，其中，(x,y)为特征图中的特征点坐标，(x0,y0)为映射回原图的样本坐标，如果样本落入到标注框B的范围内，则此样本被记为正样本，亦即用于为瞳孔中心投票的局部描述子；将描述子得分集score以及偏移向量集offset输入损失计算模块，分别进行分类损失L
reg
(o,o
*
)和回归损失L
cls
(p,c
*
)的计算，计算公式如下：L
cls
(p,c
*
)＝
‑
[α(1
‑
p)
γ
log p+(1
‑
α)p
γ
log(1
‑
p)]其中，p表示...

【专利技术属性】
技术研发人员：米建勋，袁士尧，陈涛，钱基业，程晓，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：