【技术实现步骤摘要】
本申请涉及计算机视觉，具体涉及一种视线检测方法、装置、介质及设备。
技术介绍
1、传统三维视线追踪方法中，需要对眼部进行精确的三维建模，所以其对图像质量有着较高要求，进而对使用环境也有相应的高要求，需要良好的光照条件与拍摄角度，否则会严重影响视线追踪的效果。同时在大拍摄角度的使用环境中，成像效果也会受到影响，进而影响基于图像的视线追踪精度。
技术实现思路
1、为了高效准确地确定视线方向，本申请提供了一种视线检测方法、装置、介质及设备。所述技术方案如下：
2、第一方面，本申请提供了一种视线检测方法，所述方法包括：
3、获取单目相机采集的面部图像数据；
4、将所述面部图像数据输入图像检测模型，进行瞳孔检测处理，得到瞳孔特征数据；
5、将所述瞳孔特征数据输入视线检测模型，进行视线检测处理，得到视线方向数据。
6、可选地，所述将所述面部图像数据输入图像检测模型，进行瞳孔检测处理，得到瞳孔特征信息，包括：
7、将所述面部图像数据输入图像检测模型，进行瞳孔检测处理，确定左瞳孔的至少一个第一定位点和右瞳孔的至少一个第二定位点；
8、根据所述面部图像数据，确定所述至少一个第一定位点中每个第一定位点的第一位置数据和所述至少一个第二定位点中每个第二定位点的第二位置数据；
9、根据所述每个第一定位点的第一位置数据，确定所述左瞳孔的第一特征数据；所述第一特征数据包括所述左瞳孔的第一长轴特征数据、所述左瞳孔的第一
10、根据所述每个第二定位点的第二位置数据，确定所述右瞳孔的第二特征数据；所述第二特征数据包括所述右瞳孔的第二长轴特征数据、所述右瞳孔的第二短轴特征数据和右瞳孔中心特征数据；
11、将所述第一特征数据和所述第二特征数据进行拼接，得到所述瞳孔特征数据。
12、可选地，所述将所述瞳孔特征数据输入视线检测模型，进行视线检测处理，得到视线方向数据，包括：
13、将所述瞳孔特征数据输入基于深度卷积神经网络的所述视线检测模型，进行视线检测处理，得到所述视线方向数据，所述视线方向数据包括视线俯仰角和视线偏航角。
14、可选地，所述将所述瞳孔特征数据输入基于深度卷积神经网络的所述视线检测模型，进行视线检测处理，得到所述视线方向数据，包括：
15、将所述瞳孔特征数据输入基于深度卷积神经网络的所述视线检测模型，进行特征提取处理，得到目标特征数据；
16、对所述目标特征数据进行回归预测处理，得到所述视线方向数据。
17、可选地，所述方法还包括：
18、获取样本面部图像数据和所述样本面部图像数据对应的标签数据；
19、将所述样本面部图像数据输入第一初始模型，进行瞳孔检测处理，得到样本瞳孔特征数据；
20、将所述样本瞳孔特征数据输入第二初始模型，进行视线检测处理，得到样本视线方向数据；
21、根据所述样本视线方向数据和所述标签数据，确定损失数据；
22、根据所述损失数据，对所述第一初始模型和所述第二初始模型进行端到端的联合训练，得到所述图像检测模型和所述视线检测模型。
23、可选地，所述面部图像数据指示车辆内驾驶者的面部信息，所述方法还包括：
24、根据实时的所述视线方向数据，确定所述驾驶者的驾驶状态信息；
25、在所述驾驶状态信息指示所述驾驶者为疲惫状态或走神状态的情况下，生成驾驶提示信息。
26、可选地，所述面部图像数据指示智能交互设备的使用者的面部信息，所述方法还包括：
27、在所述智能交互设备所展示的虚拟场景中，确定与所述视线方向数据关联的目标虚拟对象；所述目标虚拟对象为所述虚拟场景中的任一虚拟对象；
28、根据所述目标虚拟对象对应的预设交互机制，执行所述使用者与所述目标虚拟对象之间的虚拟交互操作。
29、第二方面，本申请提供了一种视线检测装置，所述装置包括：
30、数据采集模块，用于获取单目相机采集的面部图像数据；
31、第一计算模块，用于将所述面部图像数据输入图像检测模型，进行瞳孔检测处理，得到瞳孔特征数据；
32、第二计算模块，用于将所述瞳孔特征数据输入视线检测模型，进行视线检测处理，得到视线方向数据。
33、第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种视线检测方法。
34、第四方面，本申请提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如第一方面所述的一种视线检测方法。
35、第五方面，本申请提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令被处理器执行时实现如第一方面所述的一种视线检测方法。
36、本申请提供的一种视线检测方法、装置、介质及设备，具有如下技术效果：
37、本申请提供的方案提供的一种视线检测方法，通过将单目相机采集的面部图像数据输入图像检测模型，进行瞳孔检测处理，得到瞳孔特征数据；进而将瞳孔特征数据输入视线检测模型，进行视线检测处理，得到视线方向数据，可以高效准确地确定视线方向，同时单目相机对使用环境的要求低，设备成本低，系统配置更为简易。
38、本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
本文档来自技高网...【技术保护点】
1.一种视线检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述面部图像数据输入图像检测模型，进行瞳孔检测处理，得到瞳孔特征信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述将所述瞳孔特征数据输入视线检测模型，进行视线检测处理，得到视线方向数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述瞳孔特征数据输入基于深度卷积神经网络的所述视线检测模型，进行视线检测处理，得到所述视线方向数据，包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述面部图像数据指示车辆内驾驶者的面部信息，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述面部图像数据指示智能交互设备的使用者的面部信息，所述方法还包括：
8.一种视线检测装置，其特征在于，所述装置包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如权利要求1至7中任一项所述的一种视线检测方法。
...【技术特征摘要】
1.一种视线检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述面部图像数据输入图像检测模型，进行瞳孔检测处理，得到瞳孔特征信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述将所述瞳孔特征数据输入视线检测模型，进行视线检测处理，得到视线方向数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述瞳孔特征数据输入基于深度卷积神经网络的所述视线检测模型，进行视线检测处理，得到所述视线方向数据，包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述面部图像数据指示车辆内驾驶者的面部信...
【专利技术属性】
技术研发人员：辛一，朱成彦，于波，陈智晨，张晓惠，俞峰，王长兵，
申请(专利权)人：中汽创智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。