一种面向双相机系统的视线方向确定方法技术方案

本公开的实施例公开了一种面向双相机系统的视线方向确定方法。该方法的一具体实施方式包括：获取双相机系统捕捉的目标对象的人脸或人眼图像，建立特征提取网络，从人脸或人眼图像中提取浅层双视角图片特征；融合双视角的图片特征，并使用融合特征补偿浅层双视角图片特征，在补偿后的图片特征上使用卷积神经网络进一步提取深层双视角图片特征；构建深度自注意力模型，深度自注意力模型输入双相机的图片特征和相机位姿，预测目标对象的视线方向。该实施方式利用了双相机的视觉信息，获得了更加准确的视线预测结果。准确的视线预测结果。准确的视线预测结果。

【技术实现步骤摘要】
一种面向双相机系统的视线方向确定方法


[0001]本公开的实施例涉及计算机
，具体涉及一种面向双相机系统的视线方向确定方法。

技术介绍

[0002]目前，视线追踪是计算机视觉中的一个重要领域，视线追踪的主要目的在于预测用户的视线方向。用户的视线方向中包含有大量的用户个人倾向性信息和个人感知信息。视线追踪技术在人机交互，用户的意图理解中有着重要的作用。

技术实现思路

[0003]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]本公开的一些实施例提出了面向双相机系统的视线方向确定方法，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0005]具体而言，本公开所提供的面向双相机系统的视线方向确定方法，包括：
[0006]获取双相机拍摄的目标对象在两个不同视角中的人脸图片，通过建立双视角特征提取网络，从上述成对图片中提取深层图片特征。在特征提取中，构建双视角图片特征信息交换模块，模型结合双视角的图片信息，对原始视角的图片特征进行补偿。针对于双视角的图片特征，模块融合双视角图片特征，并利用融合特征对原始双视角特征进行补偿。模型基于补偿后的双视角图片特征，进一步提取深层双视角图片特征。通过堆叠多个双视角特征融合模块，模型高效提取深层双视角特征。
[0007]利用上述双视角视线特征，基于深度自注意力模型预测上述目标对象的视线方向。
[0008]通过深度自注意力模型进一步融合双视角特征，同时针对于双相机系统中两个相机的位姿，将位姿信息也输入至深度自注意力模型中同时预测上述目标对象的视线方向。在一种可能的实施方式中，双相机位姿信息融合包括：通过设计相机位姿信息特征正余弦编码，将原始位姿特征编码为高维度特征，将高维度位姿特征与每个视角的图片特征融合，同时输入深度自注意力模型预测上述目标对象的视线方向。其中，相机的位姿信息包括在世界坐标内，相机的朝向以及相机所处的位置。
[0009]本专利技术与现有技术相比的优点在于：本专利技术通过设计双视角图片特征信息交换模块，在提取双视角的深层图片特征时交换双视角图片信息，利用双视角融合图片特征对原始图片特征进行补偿，本专利技术利用双视角图片之间的互补图片信息关系，更好的从图片中提取视线相关特征。同时，在视线方向预测环节中，本专利技术使用深度自注意力模型从双视角特征预测上述目标视线方向。本专利技术利用双相机的位姿信息，获得更加准确的视线预测结果。
附图说明
[0010]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0011]图1是根据本公开的面向双相机系统的视线方向确定方法的一些实施例的流程图；
[0012]图2是根据本公开的面向双相机系统的视线方向确定方法的一些实施例的过程示意图；
[0013]图3是根据本公开的面向双相机系统的视线方向确定方法的一些实施例的双视角图片特征信息交换过程示意图。
具体实施方式
[0014]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0015]视线追踪是计算机视觉中的一个重要领域。视线追踪的目的在于根据目标用户的人脸外观图片，预测目标用户的视线方向。当前的基于外观的视线追踪方法通常使用深度学习模型视线，通过输入人眼图片或者具有更多信息的人脸图片，设计好损失函数，计算每个目标样本所带来的损失，以自动的优化深度学习模型，学习到适用于视线追踪的特征。
[0016]当前的视线估计算法大多数基于单相机系统实施，算法通过从单相机捕捉得到的单视角图片中预测目标对象的视线信息。然而，因为相机距离目标对象面部距离往往较为接近，同时目标对象可以有着较大的头部姿态变化。这些因素使得单视角图片中通常不能包含全部的目标对象面部外观，这也使得模型所提取得到的单视角图片特征有着欠缺。
[0017]基于上述问题，本公开提供了面向双相机系统的视线方向确定方法。面向双相机系统的视线方向确定方法通过构建双视角的图片信息交换模块，从双视角图片中提取双视角的图片特征。模块通过融合双视角图片特征，并利用融合特征对原始双视角图片特征进行补偿，获得更为完善的双视角图片特征信息，基于补偿后的双视角图片特征，模块使用卷积神经网络进一步从其中提取深层双视角图片特征。通过使用多个双视角图片信息交换模块，从双视角图片中获得深层双视角图片特征，随后利用深度自注意力模块，从双视角特征中预测上述目标对象的视线方向。在预测过程中，通过特征编码的方式，将双相机系统中的相机位姿信息输入深度自注意力模块作为额外特征，同时进行视线方向的预测。
[0018]下面将结合本公开中的附图，对本公开中的技术方案进行清楚、完整的描述。
[0019]图1示出了根据本公开的面向双相机系统的视线方向确定方法的一些实施例的流程图100。该面向双相机系统的视线方向确定方法，包括以下步骤：
[0020]步骤101，获取双相机系统捕捉的目标对象的人脸或人眼图像，建立特征提取网络，从人脸或人眼图像中提取浅层双视角图片特征。其中，上述特征提取网络可以为卷积神经网络。
[0021]步骤102，融合双视角的图片特征，并使用融合特征补偿浅层双视角图片特征，在
补偿后的浅层双视角图片特征上使用卷积神经网络进一步提取深层双视角图片特征。
[0022]实践中，可以通过以下步骤融合双视角的浅层双视角图片特征，并使用融合特征补偿浅层双视角图片特征，在补偿后的浅层双视角图片特征上使用卷积神经网络进一步提取深层双视角图片特征：
[0023]第一步，建立双视角图片特征融合网络，通过将原始双视角图片特征输入融合网络，得到两个不同的双视角融合特征。其中，上述双视角图片特征融合网络通过输入双视角图片特征，基于双视角图片的对极几何信息，使用双重注意力模型融合双视角图片特征。
[0024]实践中，上述双视角图片特征融合网络通过以下步骤融合双视角图片特征：
[0025]第一子步骤，在通道维度上聚合双视角图片特征，基于图片中的对极线提取双视角的对极特征。
[0026]第二子步骤，建立自注意力模型，融合双视角的对极特征，得到融合后的双视角特征。
[0027]第三子步骤，建立空间注意力模型，空间注意力模型自适应的为融合后的双视角特征在通道维度上分配权重，并基于分配的权重对双视角特征进行加权，得到加权后的双视角融合特征。
[0028]第二步，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向双相机系统的视线方向确定方法，包括：获取双相机系统捕捉的目标对象的人脸或人眼图像，建立特征提取网络，从人脸或人眼图像中提取浅层双视角图片特征；融合双视角的图片特征，并使用融合特征补偿浅层双视角图片特征，在补偿后的浅层双视角图片特征上使用卷积神经网络进一步提取深层双视角图片特征；构建深度自注意力模型，深度自注意力模型输入双相机的深层双视角图片特征和相机位姿，预测所述目标对象的视线方向。2.根据权利要求1所述的视线方向确定方法，其中，所述融合双视角的图片特征，并使用融合特征补偿浅层双视角图片特征，在补偿后的浅层双视角图片特征上使用卷积神经网络进一步提取深层双视角图片特征，包括：建立双视角图片特征融合网络，通过将原始双视角图片特征输入融合网络，得到两个不同的双视角融合特征；分别使用两个双视角融合特征补偿浅层双视角图片特征，在补偿后的浅层双视角图片特征上进一步提取深层双视角图片特征。3.根据权利要求2所述的方法，其中，所述双视角图片特征融合网络通过输入双视角图片特征，基于双视角图片的对极几何信息，使用双重注意力模型融合双视角图片特征。4.根据...

【专利技术属性】
技术研发人员：陆峰，程义华，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：