视线方向确定方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种视线方向确定方法、装置、电子设备及存储介质，其中，该视线方向确定方法包括：获取目标对象的人脸图像和人眼图像，在人脸图像中提取目标对象的面部特征；根据目标对象的面部特征和人眼图像确定目标对象的眼睛特征；基于面部特征预测目标对象的初始视线方向，以及，基于由面部特征和眼睛特征融合后的特征，预测得到视线残差信息；基于视线残差信息对初始视线方向进行修正，得到目标对象的视线方向。

Determination method, device, electronic equipment and storage medium of line of sight direction

【技术实现步骤摘要】
视线方向确定方法、装置、电子设备及存储介质
本公开涉及图像处理
，具体而言，涉及一种视线方向确定方法、装置、电子设备及存储介质。
技术介绍
目前，视线追踪是计算机视觉中的一个重要领域，视线追踪的主要目的在于预测用户的视线方向，同时，用户的视线方向往往和用户的个人意图相关，这使得视线追踪技术在用户的意图理解中有着重要的作用，因此如何准确地确定用户的视线方向就变得尤为重要。
技术实现思路
本公开实施例至少提供一种视线方向确定方案。第一方面，本公开实施例提供了一种视线方向确定方法，包括：获取目标对象的人脸图像和人眼图像；在所述人脸图像中提取所述目标对象的面部特征；根据所述目标对象的面部特征和所述人眼图像确定所述目标对象的眼睛特征；基于所述面部特征预测所述目标对象的初始视线方向，以及，基于由所述面部特征和所述眼睛特征融合后的特征，预测得到视线残差信息；基于所述视线残差信息对所述初始视线方向进行修正，得到所述目标对象的视线方向。本公开实施例提供的视线方向确定方法，在基于人脸图像中提取到目标对象的面部特征，该面部特征能够预测目标对象的初始视线方向，在基于面部特征和人眼图像确定目标对象的眼睛特征后，可以通过由面部特征和眼睛特征融合后的特征来预测表征目标对象的实际视线方向与初始视线方向之间的差异信息，即视线残差信息，然后再通过该差异信息调整仅仅根据面部特征预测的初始视线方向，即能够得到更接近实际视线方向的视线方向，可见本公开实施例提出的视线确定方法能够预测得到更加准确的视线方向。在一种可能的实施方式中，所述人眼图像包括左眼图像和右眼图像，所述根据所述目标对象的面部特征和所述人眼图像确定所述目标对象的眼睛特征，包括：在所述左眼图像中提取左眼特征；在所述右眼图像中提取右眼特征；根据所述面部特征、所述左眼特征和所述右眼特征，确定所述左眼特征对应的第一权重和所述右眼特征对应的第二权重；基于所述第一权重以及所述第二权重，对所述左眼特征和所述右眼特征进行加权求和，得到所述眼睛特征。本公开实施例通过将面部特征与左眼特征进行结合，以及将面部特征与右眼图像进行结合，分别确定出左眼图像和右眼图像在确定视线方向时的不同贡献，从而确定出准确度较高的眼睛特征，进而便于提高视线残差信息的准确度。在一种可能的实施方式中，所述根据所述面部特征、所述左眼特征和所述右眼特征，确定所述左眼特征对应的第一权重和所述右眼特征对应的第二权重，包括：根据所述面部特征和所述左眼特征确定所述左眼特征的第一分值，以及，根据所述面部特征和所述右眼特征确定所述右眼特征的第二分值；基于所述第一分值和第二分值，确定所述第一权重和第二权重。在一种可能的实施方式中，所述基于所述面部特征预测所述目标对象的初始视线方向，包括：确定所述面部特征中各个特征点的权重，并基于所述面部特征中各个特征点的权重，对所述面部特征进行调整；根据调整后的面部特征确定所述目标对象的初始视线方向。这里提出对面部特征中各个特征点的权重进行调整，可以使得对初始视线方向影响较大的特征点的权重大于对初始视线方向影响较小的特征点的权重，这样就可以基于调整后的面部特征得到较为准确的初始视线方向。在一种可能的实施方式中，按照以下方式基于所述面部特征和所述眼睛特征，确定所述融合后的特征，包括：根据所述调整后的面部特征、所述眼睛特征、以及调整后的面部特征中各个特征点的权重确定中间特征；基于所述中间特征、所述调整后的面部特征，以及所述中间特征和所述调整后的面部特征分别对应的权重，对所述中间特征和所述调整后的面部特征进行加权求和，得到所述融合后的特征。在一种可能的实施方式中，根据以下步骤确定调整后的面部特征中各个特征点的权重：根据所述眼睛特征和所述调整后的面部特征确定调整后的面部特征中各个特征点的权重。在一种可能的实施方式中，根据以下步骤确定所述中间特征和所述调整后的面部特征分别对应的权重：根据所述眼睛特征和所述调整后的面部特征确定所述中间特征和所述调整后的面部特征分别对应的权重。以上通过将眼睛特征和调整后的面部特征，确定由面部特征和眼睛特征融合后的特征，该融合后的特征综合考虑了人脸图像和人眼图像结合后的特征，从而便于通过该融合后的特征确定目标对象的实际视线方向与初始视线方向之间的差异信息，进而可以根据该差异信息对初始视线方向进行修正，得到较为准确的视线方向。在一种可能的实施方式中，所述视线方向确定方法由神经网络实现，所述神经网络利用包含了目标样本对象的标注视线方向的样本图像训练得到。在一种可能的实施方式中，所述神经网络采用以下步骤训练得到：获取样本图像中的目标样本对象的人脸样本图像和人眼样本图像；在所述人脸样本图像中提取所述目标样本对象的面部特征；根据所述目标样本对象的面部特征和所述人眼样本图像确定所述目标样本对象的眼睛特征；基于所述目标样本对象的面部特征预测所述目标样本对象的初始视线方向，以及，基于由所述目标样本对象的面部特征和所述目标样本对象的眼睛特征融合后的特征，预测得到所述目标样本对象的视线残差信息；基于所述目标样本对象的视线残差信息对所述目标样本对象的初始视线方向进行修正，得到所述目标样本对象的视线方向；基于所述目标样本对象的视线方向和所述目标样本对象的标注视线方向，对所述神经网络的网络参数值进行调整。本公开实施例提供的神经网络的训练方法，通过获取样本图像中的目标样本对象的人脸样本图像和人眼样本图像，然后基于人脸样本图像中提取到目标样本对象的面部特征，该目标样本对象的面部特征能够预测目标样本对象的初始视线方向，在基于目标样本对象的面部特征和人眼图像确定目标样本对象的眼睛特征后，可以通过由目标样本对象的面部特征和眼睛特征融合后的特征来预测表征目标样本对象的实际视线方向与初始视线方向之间的差异信息，即视线残差信息，然后再通过该差异信息调整仅仅根据目标样本对象的面部特征预测的初始视线方向，即能够得到更接近目标样本对象的标注视线方向的视线方向，即可以得到准确度较高的神经网络，基于该准确度较高的神经网络即可以对目标对象的视线方向进行准确预测。第二方面，本公开实施例提供了一种视线方向确定装置，包括：图像获取模块，用于获取目标对象的人脸图像和人眼图像；特征提取模块，用于在所述人脸图像中提取所述目标对象的面部特征；以及用于根据所述目标对象的面部特征和所述人眼特征确定所述目标对象的眼睛特征；视线预测模块，用于基于所述面部特征预测所述目标对象的初始视线方向，以及，基于由所述面部特征和所述眼睛特征融合后的特征，预测得到视线残差信息；视线修正模块，用于基于所述视线残差信息对所述初始视线方向进行修正，得到所述目标对象的视线方向。在一种可能的实施方式中，所述人眼图像包括左眼图像和右眼图像，所述特征提取模块在用于根据所述目标对象的面部特征和所述人本文档来自技高网...

【技术保护点】
1.一种视线方向确定方法，其特征在于，包括：/n获取目标对象的人脸图像和人眼图像；/n在所述人脸图像中提取所述目标对象的面部特征；/n根据所述目标对象的面部特征和所述人眼图像确定所述目标对象的眼睛特征；/n基于所述面部特征预测所述目标对象的初始视线方向，以及，基于由所述面部特征和所述眼睛特征融合后的特征，预测得到视线残差信息；/n基于所述视线残差信息对所述初始视线方向进行修正，得到所述目标对象的视线方向。/n

【技术特征摘要】
1.一种视线方向确定方法，其特征在于，包括：
获取目标对象的人脸图像和人眼图像；
在所述人脸图像中提取所述目标对象的面部特征；
根据所述目标对象的面部特征和所述人眼图像确定所述目标对象的眼睛特征；
基于所述面部特征预测所述目标对象的初始视线方向，以及，基于由所述面部特征和所述眼睛特征融合后的特征，预测得到视线残差信息；
基于所述视线残差信息对所述初始视线方向进行修正，得到所述目标对象的视线方向。


2.根据权利要求1所述的视线方向确定方法，其特征在于，所述人眼图像包括左眼图像和右眼图像，所述根据所述目标对象的面部特征和所述人眼图像确定所述目标对象的眼睛特征，包括：
在所述左眼图像中提取左眼特征；
在所述右眼图像中提取右眼特征；
根据所述面部特征、所述左眼特征和所述右眼特征，确定所述左眼特征对应的第一权重和所述右眼特征对应的第二权重；
基于所述第一权重以及所述第二权重，对所述左眼特征和所述右眼特征进行加权求和，得到所述眼睛特征。


3.根据权利要求2所述的视线方向确定方法，其特征在于，所述根据所述面部特征、所述左眼特征和所述右眼特征，确定所述左眼特征对应的第一权重和所述右眼特征对应的第二权重，包括：
根据所述面部特征和所述左眼特征确定所述左眼特征的第一分值，以及，根据所述面部特征和所述右眼特征确定所述右眼特征的第二分值；
基于所述第一分值和第二分值，确定所述第一权重和第二权重。


4.根据权利要求1至3任一所述的视线方向确定方法，其特征在于，所述基于所述面部特征预测所述目标对象的初始视线方向，包括：
确定所述面部特征中各个特征点的权重，并基于所述面部特征中各个特征点的权重，对所述面部特征进行调整；
根据调整后的面部特征确定所述目标对象的初始视线方向。


5.根据权利要求4所述的视线方向确定方法，其特征在于，按照以下方式基于所述面部特征和所述眼睛特征，确定所述融合后的特征，包括：
根据所述调整后的面部特征、所述眼睛特征、以及调整后的面部特征中各个特征点的权重确定中间特征；
基于所述中间特征、所述调整后的面部特征，以及所述中间特征和所述调整后的面部特征分别对应的权重，对所述中间特征和所述调整后的面部特征进行加权求和，得到所述融合后的特征。


6.根据权利要求5所述的视线方向确定方法，其特征在于，根据以下步骤确定调整后的面部特征中各个特征点的权重：
根据所述眼睛特征和所述调整后的面部特征确定调整后的面部特征中各个特征点的权重。


7.根据权利要求5所述的视线方向确定方法，其特征在于，根据以下步骤确定所述中间特征和所述调整后的面部特征分别对应的权重：
根据所述眼睛特征和所述调整后的面部特征确定所述中间特征和所述调整后的面部特征分别对应的权重。


8.根据权利要求1至7任一所述的视线方向确定方法，其特征在于，
所述视线方向确定方法由神经网络实现，所述神经网络利用包含了目标样本对象的标注视线方向的样本图像训练得到。


9.根据权利要求8所述的方法，其特征在于，所述神经网络采用以下步骤训练得到：
获取样本图像中的目标样本对象的人脸样本图像和人眼样本图像；
在所述人脸样本图像中提取所述目标样本对象的面部特征；
根据所述目标样本对象的面部特征和所述人眼样本图像确定所述目标样本对象的眼睛特征；
基于所述目标样本对象的面部特征预测所述目标样本对象的初始视线方向，以及，基于由所述目标样本对象的面部特征和所述目标样本对象的眼睛特征融合后的特征，预测得到所述目标样本对象的视线残差信息；
基于所述目标样本对象的视线残差信息对所述目标样本对象的初始视线方向进行修正，得到所述目标样本对象的视线方向；
基于所述目标样本对象的视线方向和所述目标样本对象的标注视线方向，对所述神经网络的网络参数值进行调整。


10.一种视线方向确定装置，其特征在于，包括：
图像获取模块，用于获取目标对象的人脸图像和人眼图像；
特征提取模块，用于在所述人脸图像中提取所述目标对象的面部特征；以及用于根据所述目标对象的面部特征和所述人眼特征确定所述目标对象的眼睛特征；
视线预测模块，用于基于所述面部特征预测所述目标对象的初始视线方向，以及，基于由所述面部特征和所述眼睛特征融合后的特征，预测得到视线残差...

【专利技术属性】
技术研发人员：王飞，钱晨，
申请(专利权)人：上海商汤临港智能科技有限公司，
类型：发明
国别省市：上海;31