注视点定位方法、装置和电子设备制造方法及图纸

本申请提供一种注视点定位方法、装置和电子设备，其中，该方法包括：获取用户图像数据；根据预设第一卷积神经网络和面部图像，获取面部特征向量；根据预设第一全连接网络和位置数据，获取位置特征向量；根据预设眼部特征融合网络、左眼图像和右眼图像，获取双眼融合特征向量；根据预设第二全连接网络、面部特征向量、位置特征向量和双眼融合特征向量，获取用户的注视点位置信息。该技术方案中，通过卷积神经网络对左眼图像和右眼图像进行特征提取，并对提取后的左眼特征图和右眼特征图进行融合，得到双眼融合特征向量，能够保存更完整的空间信息，能够提高用户注视点位置的计算精度，更加准确的计算出用户注视点位置。准确的计算出用户注视点位置。准确的计算出用户注视点位置。

【技术实现步骤摘要】
注视点定位方法、装置和电子设备


[0001]本申请涉及视线追踪
，尤其涉及一种注视点定位方法、装置和电子设备。

技术介绍

[0002]视线追踪技术是指对用户双眼注视的位置点进行追踪定位，当用户注视屏幕时，通过对用户面部图像进行解析，可以确定出用户注视的是屏幕上的哪个位置点，视线追踪技术在人机交互、交通安全等领域有较为广泛的应用。
[0003]现有技术中，用户注视点的追踪定位方法使用较多的是基于外观的方法，该方法根据所拍摄的用户面部图像的像素值，计算得到用户注视点的位置，具体是以用户的面部图像作为输入，通过神经网络直接估计用户注视点在屏幕上的二维坐标。
[0004]但是现有技术在通过神经网络进行注视点估算时，是直接将用户左眼特征向量和右眼特征向量进行拼接，拼接之后得到的拼接向量在后续进行拉伸时会丢失部分空间信息，使得位置点估算的准确度较低。

技术实现思路

[0005]本申请提供一种注视点定位方法、装置和电子设备，用于解决现有注视点估算准确度低的问题。
[0006]第一方面，本申请实施例提供一种注视点定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注视点定位方法，其特征在于，包括：获取用户图像数据，所述用户图像数据包括面部图像、左眼图像、右眼图像和眼部面部的位置数据；根据预设第一卷积神经网络和所述面部图像，获取面部特征向量；根据预设第一全连接网络和所述位置数据，获取位置特征向量；根据预设眼部特征融合网络、所述左眼图像和右眼图像，获取双眼融合特征向量；根据预设第二全连接网络、所述面部特征向量、位置特征向量和双眼融合特征向量，获取用户的注视点位置信息。2.根据权利要求1所述的方法，其特征在于，所述预设第一卷积神经网络包括面部特征提取网络和面部向量转换网络，所述根据预设第一卷积神经网络和所述面部图像，获取面部特征向量，包括：通过所述面部特征提取网络对所述面部图像进行特征提取，得到面部特征图；对所述面部特征图进行尺寸拉伸，得到面部初始特征向量；将所述初始面部初始特征向量输入至所述面部向量转换网络，转换得到预设尺寸的面部特征向量。3.根据权利要求2所述的方法，其特征在于，所述面部特征提取网络包括两层以上依次连接的面部特征提取层，所述面部特征提取层用于进行卷积处理、分组归一化处理、激活处理、最大池化处理和注意力权重分配处理。4.根据权利要求1所述的方法，其特征在于，所述预设眼部特征融合网络包括眼部特征提取网络和特征融合网络，所述根据预设眼部特征融合网络、所述左眼图像和右眼图像，获取双眼融合特征向量，包括：通过眼部特征提取网络对所述左眼图像和右眼图像进行特征提取，得到左眼特征图和右眼特征图；将所述左眼特征图和右眼特征图进行堆砌，得到堆砌特征图；通过所述特征融合网络对所述堆砌特征图进行特征融合，得到双眼融合特征图；将所述双眼融合特征图进行拉伸和长度转换，得到双眼融合特征向量。5.根据权利要求4所述的方法，其特征在于，所述眼部特征提取网络包括两层以上依次连接的眼部特征提取层，所述眼部特征提取层用于进行卷积处理、激活处理、分组归一化处理、最大池化处理、预设自适应归一化处理和注意力权重分配处理，所述特征融合网络包括至少一层特征融合层，所述特征融合层用于进行注意力权重分配处理、压缩激活处理、卷积处理、激活处理、预设自适应归一化处理。6.根据权利要求4所述的方法，其特征在于，所述将所述左眼特征图和右眼特征图进行堆砌，得到堆砌特征图，包括：获取不同的眼部特征提取层输出的左眼特征图和右眼特征图；将不同的眼部特征提取层输出的左眼特征图和右眼特征图进行堆砌，得到堆砌特征图。7.根据权利要求5所述的方法，其特征在于，所述预设自适应归一化...

【专利技术属性】
技术研发人员：陆峰，鲍屹伟，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：