视线方向估计方法、装置、电子设备、介质及程序产品制造方法及图纸

本说明书实施例公开了一种视线方向估计方法、装置、电子设备、介质及程序产品。其中，该方法包括：基于目标对象对应的目标图像获取目标脸部图像和目标眼部图像，将目标脸部图像和目标眼部图像输入视线方向估计模型中，从而根据目标眼部图像对应的眼部状态结合目标眼部图像和目标脸部图像输出目标对象的第一目标视线方向，视线方向估计模型基于已知视线方向和眼部状态的多个样本图像各自对应的样本脸部图像和样本眼部图像进行训练得到。部图像和样本眼部图像进行训练得到。部图像和样本眼部图像进行训练得到。

【技术实现步骤摘要】
视线方向估计方法、装置、电子设备、介质及程序产品


[0001]本说明书涉及计算机
，尤其涉及一种视线方向估计方法、装置、电子设备、介质及程序产品。

技术介绍

[0002]视线方向在一定程度上能够反映人类的注意力，视线方向估计在线下刷脸支付安全、人机交互、虚拟现实、医疗健康、辅助驾驶、行为预测、心理分析、线下零售等场景中均有着广阔的应用空间。目前，相关的视线方向估计方法主要集中在通过人的脸部图像对视线方向的进行估计。

技术实现思路

[0003]本说明书实施例提供了一种视线方向估计方法、装置、电子设备、介质及程序产品，通过基于眼部状态及脸部图像，采用视线方向估计模型的端到端学习的方式，实现对眼部状态鲁棒的视线方向估计，从而能够更加便捷准确地估计出视线方向。上述技术方案如下：
[0004]第一方面，本说明书实施例提供了一种视线方向估计方法，包括：
[0005]基于目标对象对应的目标图像获取目标脸部图像和目标眼部图像；
[0006]将上述目标脸部图像和上述目标眼部图像输入视线方向估计模型中，输出上述目标对象的第一目标视线方向；上述视线方向估计模型基于已知视线方向和眼部状态的多个样本图像各自对应的样本脸部图像和样本眼部图像进行训练得到。
[0007]在一种可能的实现方式中，上述将上述目标脸部图像和上述目标眼部图像输入视线方向估计模型中，输出上述目标对象的第一目标视线方向，包括：
[0008]提取上述目标脸部图像对应的目标脸部特征，并提取上述目标眼部图像对应的目标眼部特征；
[0009]基于上述目标眼部特征确定上述目标眼部图像对应的眼部状态；
[0010]基于上述眼部状态对上述目标眼部特征进行加权得到上述目标眼部图像对应的目标眼部状态监督特征；
[0011]将上述目标脸部特征以及上述目标眼部状态监督特征进行融合，得到目标融合特征；
[0012]基于上述目标融合特征估计上述目标对象的第一目标视线方向。
[0013]在一种可能的实现方式中，上述目标眼部图像包括目标左眼图像和目标右眼图像；
[0014]上述提取上述目标眼部图像对应的目标眼部特征，包括：
[0015]分别提取上述目标左眼图像对应的目标左眼特征和上述目标右眼图像对应的目标右眼特征；
[0016]上述基于上述目标眼部特征确定上述目标眼部图像对应的眼部状态，包括：
[0017]基于上述目标左眼特征确定上述目标左眼图像对应的左眼状态，以及上述目标右眼特征基于上述目标右眼图像对应的右眼状态；
[0018]上述基于上述眼部状态对上述目标眼部特征进行加权得到上述目标眼部图像对应的目标眼部状态监督特征，包括：
[0019]基于上述目标左眼图像对应的左眼状态对上述目标左眼特征进行加权得到上述目标左眼图像对应的目标左眼状态监督特征，以及基于上述目标右眼图像对应的右眼状态对上述目标右眼特征进行加权得到上述目标右眼图像对应的目标右眼状态监督特征；
[0020]上述将上述目标脸部特征以及上述目标眼部状态监督特征进行融合，得到目标融合特征，包括：
[0021]将上述目标脸部特征、上述目标左眼状态监督特征以及上述目标右眼状态监督特征进行融合，得到目标融合特征。
[0022]在一种可能的实现方式中，上述视线方向估计模型包括：脸部图像视线方向估计网络、眼部图像视线方向估计网络以及特征融合视线方向估计网络；
[0023]上述脸部图像视线方向估计网络，用于提取输入上述视线方向估计模型的脸部图像中的脸部特征；
[0024]上述眼部图像视线方向估计网络，用于提取输入上述视线方向估计模型的眼部图像的眼部特征，并基于上述眼部特征确定上述眼部图像对应的眼部状态；
[0025]上述特征融合视线方向估计网络，用于基于上述眼部图像对应的眼部状态将上述眼部特征与上述脸部特征进行融合得到融合特征，并基于上述融合特征估计上述脸部图像以及上述眼部图像对应的对象的视线方向。
[0026]在一种可能的实现方式中，上述眼部状态包括睁闭眼状态和/或遮挡状态；上述睁闭眼状态包括睁眼状态和闭眼状态；上述遮挡状态包括未遮挡状态和已遮挡状态。
[0027]在一种可能的实现方式中，上述脸部图像视线方向估计网络基于已知视线方向多个样本图像各自对应的样本脸部图像进行训练得到；
[0028]上述眼部图像视线方向估计网络基于已知视线方向和眼部状态的多个样本图像各自对应的样本眼部图像进行训练得到；
[0029]上述特征融合视线方向估计网络基于上述多个样本图像各自对应的样本脸部图像经由上述脸部图像视线方向估计网络得到的脸部特征、上述多个样本图像各自对应的样本眼部图像经由上述眼部图像视线方向估计网络得到的眼部特征和眼部状态、以及上述多个样本图像各自对应的视线方向进行训练得到。
[0030]在一种可能的实现方式中，上述基于目标对象对应的目标图像获取目标脸部图像和目标眼部图像，包括：
[0031]基于目标对象对应的目标图像利用脸部检测算法以及关键点检测算法分别确定上述目标对象在头部坐标系下的第一脸部位置信息以及第一关键点位置信息；
[0032]根据上述第一脸部位置信息以及上述第一关键点位置信息利用预设坐标转换算法得到上述目标图像对应的相机坐标系下的第一脸部图像和第一眼部图像；
[0033]基于预设透视变换矩阵对上述第一脸部图像和上述第一眼部图像进行矫正处理，得到目标脸部图像和目标眼部图像。
[0034]在一种可能的实现方式中，上述将上述目标脸部图像和上述目标眼部图像输入视
线方向估计模型中，输出上述目标对象的第一目标视线方向之后，上述方法还包括：
[0035]基于上述预设透视变换矩阵的逆矩阵计算上述第一目标视线方向在上述相机坐标系下的第二目标视线方向。
[0036]第二方面，本说明书实施例提供了一种视线方向估计装置，包括：
[0037]获取模块，用于基于目标对象对应的目标图像获取目标脸部图像和目标眼部图像；
[0038]视线方向估计模块，用于将上述目标脸部图像和上述目标眼部图像输入视线方向估计模型中，输出上述目标对象的第一目标视线方向；上述视线方向估计模型基于已知视线方向和眼部状态的多个样本图像各自对应的样本脸部图像和样本眼部图像进行训练得到。
[0039]在一种可能的实现方式中，上述视线方向估计模块包括：
[0040]提取单元，用于提取上述目标脸部图像对应的目标脸部特征，并提取上述目标眼部图像对应的目标眼部特征；
[0041]第一确定单元，用于基于上述目标眼部特征确定上述目标眼部图像对应的眼部状态；
[0042]加权单元，用于基于上述眼部状态对上述目标眼部特征进行加权得到上述目标眼部图像对应的目标眼部状态监督特征；
[0043]融合单元，用于将上述目标脸部特征以及上述目标眼部状态监督特征进行融合，得到目标融合特征；
[0044]第一估计单元，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线方向估计方法，所述方法包括：基于目标对象对应的目标图像获取目标脸部图像和目标眼部图像；将所述目标脸部图像和所述目标眼部图像输入视线方向估计模型中，输出所述目标对象的第一目标视线方向；所述视线方向估计模型基于已知视线方向和眼部状态的多个样本图像各自对应的样本脸部图像和样本眼部图像进行训练得到。2.如权利要求1所述的方法，所述将所述目标脸部图像和所述目标眼部图像输入视线方向估计模型中，输出所述目标对象的第一目标视线方向，包括：提取所述目标脸部图像对应的目标脸部特征，并提取所述目标眼部图像对应的目标眼部特征；基于所述目标眼部特征确定所述目标眼部图像对应的眼部状态；基于所述眼部状态对所述目标眼部特征进行加权得到所述目标眼部图像对应的目标眼部状态监督特征；将所述目标脸部特征以及所述目标眼部状态监督特征进行融合，得到目标融合特征；基于所述目标融合特征估计所述目标对象的第一目标视线方向。3.如权利要求2所述的方法，所述目标眼部图像包括目标左眼图像和目标右眼图像；所述提取所述目标眼部图像对应的目标眼部特征，包括：分别提取所述目标左眼图像对应的目标左眼特征和所述目标右眼图像对应的目标右眼特征；所述基于所述目标眼部特征确定所述目标眼部图像对应的眼部状态，包括：基于所述目标左眼特征确定所述目标左眼图像对应的左眼状态，以及所述目标右眼特征基于所述目标右眼图像对应的右眼状态；所述基于所述眼部状态对所述目标眼部特征进行加权得到所述目标眼部图像对应的目标眼部状态监督特征，包括：基于所述目标左眼图像对应的左眼状态对所述目标左眼特征进行加权得到所述目标左眼图像对应的目标左眼状态监督特征，以及基于所述目标右眼图像对应的右眼状态对所述目标右眼特征进行加权得到所述目标右眼图像对应的目标右眼状态监督特征；所述将所述目标脸部特征以及所述目标眼部状态监督特征进行融合，得到目标融合特征，包括：将所述目标脸部特征、所述目标左眼状态监督特征以及所述目标右眼状态监督特征进行融合，得到目标融合特征。4.如权利要求1所述的方法，所述视线方向估计模型包括：脸部图像视线方向估计网络、眼部图像视线方向估计网络以及特征融合视线方向估计网络；所述脸部图像视线方向估计网络，用于提取输入所述视线方向估计模型的脸部图像中的脸部特征；所述眼部图像视线方向估计网络，用于提取输入所述视线方向估计模型的眼部图像的眼部特征，并基于所述眼部特征确定所述眼部图像对应的眼部状态；所述特征融合视线方向估计网络，用于基于所述眼部图像对应的眼部状态将所述眼部特征与所述脸部特征进行融合得到融合特征，并基于所述融合特征估计所述脸部图像以及所述眼部图像对应的对象的视线方向。
5.如权利要求1
‑
4任一...

【专利技术属性】
技术研发人员：尹英杰，丁菁汀，李亮，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：