视线估计模型建立方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种视线估计模型建立方法、装置、电子设备及存储介质，包括：根据包含视线方向标注的用户面部图片以多个角度旋转得到的图片，基于旋转分布损失的计算，对视线估计模型迭代多次进行约束调整，以完成预训练；并且预训练完成后，根据不包含视线方向标注的用户面部图片以多个角度旋转得到的图片，基于伪标签生成模型提供的伪视线方向标注和旋转分布损失的计算，对伪标签生成模型和视线估计模型迭代多次进行约束调整，以完成视线估计模型的训练。以上方案，能够基于少量包含视线方向标注的图片，获得大量训练样本进行视线估计模型的训练，从而提高视线估计模型的精确度。从而提高视线估计模型的精确度。从而提高视线估计模型的精确度。

【技术实现步骤摘要】
视线估计模型建立方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种视线估计模型建立方法、装置、电子设备及存储介质。

技术介绍

[0002]视线是揭示人理解外界环境方式的重要线索。视线估计技术在如人机交互、虚拟现实、增强现实、医学分析等领域得到了诸多应用。近年来，视线估计技术吸引了诸多关注。视线估计技术，是指通过拍摄到的用户面部图像，计算用户的视线方向的技术。
[0003]目前，前沿技术通常使用卷积神经网络解决视线估计问题。其中，输入为彩色摄像头拍摄的用户面部图像，输出为一个3维的方向向量，代表相机坐标系中的用户视线方向。其特点在于仅需要单个网络摄像头拍摄用户面部图片，且不需要个人校准即可追踪用户视线方向。
[0004]现有技术中，视线估计模型训练过程需要大量包含视线方向标注的用户面部图像输入来提高视线估计模型的精确度。然而，实际应用中难以获取大量包含视线方向标注的用户面部图像，导致训练的视线估计模型精确度低。

技术实现思路

[0005]本申请提供一种视线估计模型建立方法、装置、电子设备及存储介质，用于提高视线估计模型的精确度。
[0006]第一方面，本申请提供一种视线估计模型建立方法，包括：迭代执行以下处理，直至当前的第一旋转分布损失满足第一约束条件：将第一用户面部图片以多个第一角度旋转得到多个第一旋转图片，所述第一用户面部图片包含视线方向标注；将所述多个第一旋转图片作为视线估计模型的输入，根据所述视线估计模型输出的多个第一视线估计结果、所述第一角度以及所述视线方向标注，通过第一旋转分布损失的计算，对所述视线估计模型进行约束调整；迭代执行以下处理，直至当前的第二旋转分布损失满足第二约束条件，以获得训练完成的视线估计模型：将第二用户面部图片以多个第二角度旋转得到多个第二旋转图片，所述第二用户面部图片不包含视线方向标注；以及，将所述多个第二旋转图片的部分图片输入所述视线估计模型，获得所述视线估计模型输出的多个第二视线估计结果；将所述多个第二旋转图片的其余图片输入伪标签生成模型，获得所述伪标签生成模型输出的多个第三视线估计结果；根据所述多个第二视线估计结果、所述多个第三视线估计结果以及所述第二角度，通过第二旋转分布损失的计算，对所述视线估计模型进行约束调整。
[0007]在一种可能的实施方式中，所述第一约束条件包括第一旋转分布损失不高于预定的阈值；所述将所述多个第一旋转图片作为视线估计模型的输入，根据所述视线估计模型输出的多个第一视线估计结果、所述第一角度以及所述视线方向标注，通过旋转分布损失计算，对所述视线估计模型进行约束调整，包括：根据所述多个第一角度，建立对应的第一旋转矩阵；以及，根据所述第一旋转矩阵，获得所述多个第一视线估计结果经反向旋转后的
多个第一结果；计算每个第一结果和所述视线方向标注的误差，获得所述多个第一结果对应的第一绝对误差；以及，计算所述多个第一结果内部的第一一致性误差；根据当前的第一旋转分布损失，对所述视线估计模型进行约束调整；其中，所述第一旋转分布损失为所述第一绝对误差和所述一第一致性误差之和。
[0008]在一种可能的实施方式中，所述第二约束条件包括第二旋转分布损失不高于预定的阈值；所述根据所述多个第二视线估计结果、所述多个第三视线估计结果以及所述第二角度，通过第二旋转分布损失的计算，对所述视线估计模型进行约束调整，包括：根据所述第二角度，建立对应的第二旋转矩阵；以及，根据所述第二旋转矩阵，分别将所述多个第二视线估计结果和所述多个第三视线估计结果进行反向旋转，获得多个第二结果和多个第三结果；根据所述多个第三结果，得到所述第二用户面部图片的伪视线方向标注；计算每个第二结果和所述伪视线方向标注的误差，获得所述多个第二结果对应的第二绝对误差；以及，计算所述多个第二结果内部的第二一致性误差；根据当前的第二旋转分布损失，对所述视线估计模型进行约束调整；其中，所述第二旋转分布损失为所述第二绝对误差和所述第二一致性误差之和。
[0009]在一种可能的实施方式中，所述根据所述多个第三结果，得到所述第二用户面部图片的伪视线方向标注，包括：计算所述多个第三结果的平均值，作为所述第二用户面部图片的伪视线方向标注。
[0010]在一种可能的实施方式中，所述根据当前的第二旋转分布损失，对所述视线估计模型进行约束调整之后，还包括：获取当前视线估计模型的模型参数和所述伪标签生成模型的模型参数；通过对所述视线估计模型的模型参数和所述伪标签生成模型的模型参数进行加权平均计算，获得调整参数；根据所述调整参数，对所述伪标签生成模型的模型参数进行调整。
[0011]第二方面，本申请提供一种视线估计模型建立装置，包括：预训练模块，用于迭代执行以下处理，直至当前的第一旋转分布损失满足第一约束条件：将第一用户面部图片以多个第一角度旋转得到多个第一旋转图片，所述第一用户面部图片包含视线方向标注；将所述多个第一旋转图片作为视线估计模型的输入，根据所述视线估计模型输出的多个第一视线估计结果、所述第一角度以及所述视线方向标注，通过第一旋转分布损失的计算，对所述视线估计模型进行约束调整；建模模块，用于迭代执行以下处理，直至当前的第二旋转分布损失满足第二约束条件，以获得训练完成的视线估计模型：将第二用户面部图片以多个第二角度旋转得到多个第二旋转图片，所述第二用户面部图片不包含视线方向标注；以及，将所述多个第二旋转图片的部分图片输入所述视线估计模型，获得所述视线估计模型输出的多个第二视线估计结果；将所述多个第二旋转图片的其余图片输入伪标签生成模型，获得所述伪标签生成模型输出的多个第三视线估计结果；根据所述多个第二视线估计结果、所述多个第三视线估计结果以及所述第二角度，通过第二旋转分布损失的计算，对所述视线估计模型进行约束调整。
[0012]在一种可能的实施方式中，所述预训练模块，具体用于根据所述多个第一角度，建立对应的第一旋转矩阵；以及，根据所述第一旋转矩阵，获得所述多个第一视线估计结果经反向旋转后的多个第一结果；所述预训练模块，具体还用于计算每个第一结果和所述视线方向标注的误差，获得所述多个第一结果对应的第一绝对误差；以及，计算所述多个第一结
果内部的第一一致性误差；所述预训练模块，具体还用于根据当前的第一旋转分布损失，对所述视线估计模型进行约束调整；其中，所述第一旋转分布损失为所述绝对误差和所述一致性误差之和。
[0013]在一种可能的实施方式中，所述建模模块，具体用于根据所述第二角度，建立对应的第二旋转矩阵；以及，根据所述第二旋转矩阵，分别将所述多个第二视线估计结果和所述多个第三视线估计结果进行反向旋转，获得多个第二结果和多个第三结果；所述建模模块，具体还用于根据所述多个第三结果，得到所述第二用户面部图片的伪视线方向标注；所述建模模块，具体还用于计算每个第二结果和所述伪视线方向标注的误差，获得所述多个第二结果对应的第二绝对误差；以及，计算所述多个第二结果内部的第二一致性误差；所述建模模块，具体还用于根据当前的第二旋转分布损失，对所述视线本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线估计模型建立方法，其特征在于，包括：迭代执行以下处理，直至当前的第一旋转分布损失满足第一约束条件：将第一用户面部图片以多个第一角度旋转得到多个第一旋转图片，所述第一用户面部图片包含视线方向标注；将所述多个第一旋转图片作为视线估计模型的输入，根据所述视线估计模型输出的多个第一视线估计结果、所述第一角度以及所述视线方向标注，通过第一旋转分布损失的计算，对所述视线估计模型进行约束调整；迭代执行以下处理，直至当前的第二旋转分布损失满足第二约束条件，以获得训练完成的视线估计模型：将第二用户面部图片以多个第二角度旋转得到多个第二旋转图片，所述第二用户面部图片不包含视线方向标注；以及，将所述多个第二旋转图片的部分图片输入所述视线估计模型，获得所述视线估计模型输出的多个第二视线估计结果；将所述多个第二旋转图片的其余图片输入伪标签生成模型，获得所述伪标签生成模型输出的多个第三视线估计结果；根据所述多个第二视线估计结果、所述多个第三视线估计结果以及所述第二角度，通过第二旋转分布损失的计算，对所述视线估计模型进行约束调整。2.根据权利要求1所述的方法，其特征在于，所述第一约束条件包括第一旋转分布损失不高于预定的阈值；所述将所述多个第一旋转图片作为视线估计模型的输入，根据所述视线估计模型输出的多个第一视线估计结果、所述第一角度以及所述视线方向标注，通过旋转分布损失计算，对所述视线估计模型进行约束调整，包括：根据所述多个第一角度，建立对应的第一旋转矩阵；以及，根据所述第一旋转矩阵，获得所述多个第一视线估计结果经反向旋转后的多个第一结果；计算每个第一结果和所述视线方向标注的误差，获得所述多个第一结果对应的第一绝对误差；以及，计算所述多个第一结果内部的第一一致性误差；根据当前的第一旋转分布损失，对所述视线估计模型进行约束调整；其中，所述第一旋转分布损失为所述第一绝对误差和所述第一一致性误差之和。3.根据权利要求1或2所述的方法，其特征在于，所述第二约束条件包括第二旋转分布损失不高于预定的阈值；所述根据所述多个第二视线估计结果、所述多个第三视线估计结果以及所述第二角度，通过第二旋转分布损失的计算，对所述视线估计模型进行约束调整，包括：根据所述第二角度，建立对应的第二旋转矩阵；以及，根据所述第二旋转矩阵，分别将所述多个第二视线估计结果和所述多个第三视线估计结果进行反向旋转，获得多个第二结果和多个第三结果；根据所述多个第三结果，得到所述第二用户面部图片的伪视线方向标注；计算每个第二结果和所述伪视线方向标注的误差，获得所述多个第二结果对应的第二绝对误差；以及，计算所述多个第二结果内部的第二一致性误差；根据当前的第二旋转分布损失，对所述视线估计模型进行约束调整；其中，所述第二旋转分布损失为所述第二绝对误差和所述第二一致性误差之和。4.根据权利要求3所述的方法，其特征在于，所述根据所述多个第三结果，得到所述第二用户面部图片的伪视线方向标注，包括：计算所述多个第三结果的平均值，作为所述第二用户面部图片的伪视线方向标注。5.根据权利要求3所述的方法，其特征在于，所述根据当前的第二旋转分布损失，对所
述视线估计模型进行约束调整之后，还包括：获取当前视线估计模型的模型参数和所述伪标签生成模...

【专利技术属性】
技术研发人员：陆峰，鲍屹伟，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：