注视点检测模型训练方法、注视点检测方法及装置制造方法及图纸

本申请提供的注视点检测模型训练方法、注视点检测方法及装置，注视点检测模型训练方法包括：在训练过程中，随着训练轮次的增加，更新后的目标模型对辅助特征的依赖越来越小，在训练结束时，去除对辅助特征的依赖，并将最新的目标模型确定为注视点检测模型，在保证丰富注视点检测模型的训练数据以提高注视点检测模型的精度的同时，能够简化注视点检测模型的输入，由于去除了对辅助特征的依赖，能够减小注视点检测模型的体量，增强注视点检测模型的可部署性；当将该方法所生成的注视点检测模型应用于注视点检测方法时，只需要输入与除辅助特征以外的目标特征对应的数据，即可得到较为精准的视线方向的坐标值，从而提高注视点检测方法的精确度。法的精确度。法的精确度。

【技术实现步骤摘要】
注视点检测模型训练方法、注视点检测方法及装置


[0001]本申请涉及深度学习
，尤其涉及一种注视点检测模型训练方法、注视点检测方法及装置。

技术介绍

[0002]注视点检测是指利用计算机视觉技术和人工智能算法，对图像或视频中的人眼睛视线方向进行检测的过程，注视点检测的应用非常广泛，比如在用户体验设计中，可以了解用户在观看页面时最关注的内容，帮助改进页面布局和内容呈现。
[0003]目前，注视点检测方法一般可以划分为基于几何的方法和基于外观的方法，基于几何的方法的检测结果更为精确，但基于几何的方法对图片质量和设备要求较高，不易部署，而基于外观的方法虽然对图片质量要求较低，但其检测结果相较于基于几何的方法的检测结果而言，准确性较低，难以在保证准确性的前提下，减小注视点检测模型的体量，增强注视点检测模型的可部署性。

技术实现思路

[0004]本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中难以在保证准确性的前提下，减小注视点检测模型的体量，增强注视点检测模型的可部署性的技术缺陷。
[0005]第一方面，本申请提供了一种注视点检测模型训练方法，所述方法包括：
[0006]获取多个预设维度对应的目标数据；
[0007]在一个训练轮次中，分别将每个预设维度对应的目标数据划分为多个数据组，并从每个预设维度对应的各个数据组中确定目标数据组；其中，所述目标数据组为在当前训练轮次中未进行特征融合的任意一个数据组；
[0008]分别基于每个预设维度对应的目标数据组，确定每个预设维度对应的目标特征；
[0009]确定各个预设维度对应的目标特征中的辅助特征及除所述辅助特征以外的目标特征的权重；其中，所述辅助特征为在各个预设维度中预先确定的目标预设维度对应的目标特征，所述辅助特征的权重与当前训练轮次成反比关系；
[0010]根据各个预设维度对应的目标特征的权重，对各个预设维度对应的目标特征进行加权融合，得到融合特征；
[0011]根据所述融合特征对目标模型进行迭代训练，得到新的目标模型，重新确定各个预设维度对应的目标数据组及目标特征，根据各个预设维度对应的目标特征的权重，对各个预设维度对应的目标特征进行加权融合，得到新的融合特征，以对所述新的目标模型进行迭代训练，直至重新确定的各个预设维度对应的目标数据组均为空，且当前训练轮次不小于预设阈值时，将最新的目标模型确定为注视点检测模型；
[0012]若重新确定的各个预设维度对应的目标数据组均为空，且当前训练轮次小于所述预设阈值时，进入下一个训练轮次。
[0013]在其中一个实施例中，所述分别基于每个预设维度对应的目标数据组，确定每个预设维度对应的目标特征，包括：
[0014]基于各个预设维度对应的预设模型，分别对各个预设维度对应的目标数据组中的任意一个数据组进行特征提取，得到各个预设维度对应的目标特征。
[0015]在其中一个实施例中，执行根据所述融合特征对目标模型进行迭代训练，得到新的目标模型之后，所述方法还包括：
[0016]基于所述新的目标模型，更新各个预设维度对应的预设模型。
[0017]在其中一个实施例中，所述确定各个预设维度对应的目标特征中的辅助特征及除所述辅助特征以外的目标特征的权重，包括：
[0018]将当前的训练轮次代入预设的特征融合公式，得到所述辅助特征的权重，根据所述特征融合公式，将除所述辅助特征以外的目标特征的权重设置为1，以完成对各个预设维度对应的目标特征的权重的确定。
[0019]第二方面，本申请提供了一种注视点检测方法，所述方法包括：
[0020]获取待检测数据；其中，所述待检测数据为与除辅助特征外的目标特征对应的数据；
[0021]将所述待检测数据输入至注视点检测模型中，得到与所述待检测数据对应的视线方向的坐标值；其中，注视点检测模型采用如上述任一项实施例所述的注视点检测模型训练方法生成；
[0022]基于单目相机，获取注视物距离；其中，所述注视物距离为注视者至注视物之间的距离；
[0023]将所述注视物距离和所述视线方向的坐标值输入至预设的注视点估计模块，得到与所述待检测数据对应的注视点的坐标值。
[0024]在其中一个实施例中，所述将所述注视物距离和所述视线方向的坐标值输入至预设的注视点估计模块，得到与所述待检测数据对应的注视点的坐标值，包括：
[0025]获取所述单目相机的相机内参矩阵；
[0026]根据所述相机内参矩阵以及所述视线方向的坐标值，计算所述单目相机的相机光心指向眼球中心的向量及所述眼球中心指向所述注视物的向量；
[0027]将所述单目相机的相机光心指向眼球中心的向量和所述眼球中心指向所述注视物的向量进行坐标系转换，得到所述相机光心指向所述注视物的向量；
[0028]根据三角测量方法，计算与所述注视物对应的注视点的空间坐标。
[0029]第三方面，本申请提供了一种注视点检测模型训练装置，所述装置包括：
[0030]目标数据获取模块，用于获取多个预设维度对应的目标数据；
[0031]目标数据组确定模块，用于在一个训练轮次中，分别将每个预设维度对应的目标数据划分为多个数据组，并从每个预设维度对应的各个数据组中确定目标数据组；其中，所述目标数据组为在当前训练轮次中未进行特征融合的任意一个数据组；
[0032]目标特征确定模块，用于分别基于每个预设维度对应的目标数据组，确定每个预设维度对应的目标特征；
[0033]权重确定模块，用于确定各个预设维度对应的目标特征中的辅助特征及除所述辅助特征以外的目标特征的权重；其中，所述辅助特征为在各个预设维度中预先确定的目标
预设维度对应的目标特征，所述辅助特征的权重与当前训练轮次成反比关系；
[0034]特征融合模块，用于根据各个预设维度对应的目标特征的权重，对各个预设维度对应的目标特征进行加权融合，得到融合特征；
[0035]第一迭代训练模块，用于根据所述融合特征对目标模型进行迭代训练，得到新的目标模型，重新确定各个预设维度对应的目标数据组及目标特征，根据各个预设维度对应的目标特征的权重，对各个预设维度对应的目标特征进行加权融合，得到新的融合特征，以对所述新的目标模型进行迭代训练，直至重新确定的各个预设维度对应的目标数据组均为空，且当前训练轮次不小于预设阈值时，将最新的目标模型确定为注视点检测模型；
[0036]第二迭代训练模块，用于若重新确定的各个预设维度对应的目标数据组均为空，且当前训练轮次小于所述预设阈值时，进入下一个训练轮次。
[0037]第四方面，本申请提供了一种注视点检测装置，所述装置包括：
[0038]数据获取模块，用于获取待检测数据；其中，所述待检测数据为与除辅助特征外的目标特征对应的数据；
[0039]第一坐标值确定模块，用于将所述待检测数据输入至注视点检测模型中，得到与所述待检测数据对应的视线方向的坐标值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注视点检测模型训练方法，其特征在于，所述方法包括：获取多个预设维度对应的目标数据；在一个训练轮次中，分别将每个预设维度对应的目标数据划分为多个数据组，并从每个预设维度对应的各个数据组中确定目标数据组；其中，所述目标数据组为在当前训练轮次中未进行特征融合的任意一个数据组；分别基于每个预设维度对应的目标数据组，确定每个预设维度对应的目标特征；确定各个预设维度对应的目标特征中的辅助特征及除所述辅助特征以外的目标特征的权重；其中，所述辅助特征为在各个预设维度中预先确定的目标预设维度对应的目标特征，所述辅助特征的权重与当前训练轮次成反比关系；根据各个预设维度对应的目标特征的权重，对各个预设维度对应的目标特征进行加权融合，得到融合特征；根据所述融合特征对目标模型进行迭代训练，得到新的目标模型，重新确定各个预设维度对应的目标数据组及目标特征，根据各个预设维度对应的目标特征的权重，对各个预设维度对应的目标特征进行加权融合，得到新的融合特征，以对所述新的目标模型进行迭代训练，直至重新确定的各个预设维度对应的目标数据组均为空，且当前训练轮次不小于预设阈值时，将最新的目标模型确定为注视点检测模型；若重新确定的各个预设维度对应的目标数据组均为空，且当前训练轮次小于所述预设阈值时，进入下一个训练轮次。2.根据权利要求1所述的注视点检测模型训练方法，其特征在于，所述分别基于每个预设维度对应的目标数据组，确定每个预设维度对应的目标特征，包括：基于各个预设维度对应的预设模型，分别对各个预设维度对应的目标数据组中的任意一个数据组进行特征提取，得到各个预设维度对应的目标特征。3.根据权利要求2所述的注视点检测模型训练方法，其特征在于，执行根据所述融合特征对目标模型进行迭代训练，得到新的目标模型之后，所述方法还包括：基于所述新的目标模型，更新各个预设维度对应的预设模型。4.根据权利要求1所述的注视点检测模型训练方法，其特征在于，所述确定各个预设维度对应的目标特征中的辅助特征及除所述辅助特征以外的目标特征的权重，包括：将当前的训练轮次代入预设的特征融合公式，得到所述辅助特征的权重，根据所述特征融合公式，将除所述辅助特征以外的目标特征的权重设置为1，以完成对各个预设维度对应的目标特征的权重的确定。5.一种注视点检测方法，其特征在于，所述方法包括：获取待检测数据；其中，所述待检测数据为与除辅助特征外的目标特征对应的数据；将所述待检测数据输入至注视点检测模型中，得到与所述待检测数据对应的视线方向的坐标值；其中，注视点检测模型采用如权利要求1至4任一项所述的注视点检测模型训练方法生成；基于单目相机，获取注视物距离；其中，所述注视物距离为注视者至注视物之间的距离；将所述注视物距离和所述视线方向的坐标值输入至预设的注视点估计模块，得到与所述待检测数据对应的注视点的坐标值。
6.根据权利要求5所述的注视点检测方法，其特征在于，所述将所述注视物距离和所述视线方向的坐标值输入至预设的注视点估计模块，得到与所述待检测数据对应的注视点的坐标值，包括：获取所述单目相机的相机内参矩阵；根据所述相机内参矩阵...

【专利技术属性】
技术研发人员：王凤，
申请(专利权)人：熵基科技股份有限公司，
类型：发明
国别省市：