System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 标定方法和电子设备技术_技高网

标定方法和电子设备技术

技术编号:40676178 阅读:4 留言:0更新日期:2024-03-18 19:14
本公开提供了标定方法和电子设备,应用于终端技术领域,能够输出识别精度更高的注视点估计模型。本公开提供的方法包括:获取样本数据集;基于初始注视点估计模型中的初始特征提取网络对第一人脸图像和多个第二人脸图像分别进行特征提取,得到第一人脸图像特征和多个第二人脸图像特征;基于初始注视点估计模型中的初始回归网络对第一人脸图像特征、多个第二人脸图像特征以及多个第二注视点进行回归处理,得到第一人脸图像对应的预测注视点;计算预测注视点与第一注视点之间的第一损失值,以及第一人脸图像特征与多个第二人脸图像特征预测之间的第二损失值;根据第一损失值和第二损失值迭代更新初始注视点估计模型,得到训练后的注视点估计模型。

【技术实现步骤摘要】

本公开涉及终端,尤其涉及标定方法和电子设备


技术介绍

1、眼动跟踪技术可以通过注视点估计模型回答用户看哪里以及看多久的问题。在实际使用注视点估计模型之前,需要对注视点估计模型进行标定,以提高注视点估计模型的识别精度。

2、基于相关标定技术(例如,线性校正标定方法)对初始注视点估计模型进行标定,得到注视点估计模型。利用注视点估计模型对预测图像进行注视点估计,得到预测注视点。通过对比预测注视点和预测图像对应的真实注视点可知,预测注视点和真实注视点之间的误差超出规定误差,即利用相关技术标定的注视点估计模型的标定效果不佳。因此,如何提高注视点估计模型的标定效果是亟需解决的问题。


技术实现思路

1、本公开实施例提供一种标定方法和电子设备,能够提高注视点估计模型的标定效果,降低预测注视点和真实注视点之间的误差,从而提高注视点估计模型的识别精度。

2、为达到上述目的,本公开的实施例采用如下技术方案:

3、第一方面,本公开提供了一种标定方法,该方法包括:训练设备获取样本数据集,样本数据集包括第一人脸图像、第一人脸图像对应的第一注视点、多个第二人脸图像以及每个第二人脸图像对应的第二注视点;第一人脸图像与第二人脸图像为同一用户的人脸图像;然后训练设备基于初始注视点估计模型中的初始特征提取网络对第一人脸图像和多个第二人脸图像分别进行特征提取,得到第一人脸图像特征和多个第二人脸图像特征;接着基于初始注视点估计模型中的初始回归网络对第一人脸图像特征、多个第二人脸图像特征以及多个第二注视点进行回归处理,得到第一人脸图像对应的预测注视点;再然后计算预测注视点与第一注视点之间的第一损失值,以及第一人脸图像特征与多个第二人脸图像特征预测之间的第二损失值;最后根据第一损失值和第二损失值迭代更新初始注视点估计模型,得到训练后的注视点估计模型。

4、基于第一方面的标定方法,在训练设备利用初始注视点估计模型中的初始特征提取网络获取第一人脸图像对应的第一人脸图像特征以及多个第二人脸图像对应的多个第二人脸图像特征后,利用初始回归网络对第一人脸图像特征、多个第二人脸图像特征以及多个第二注视点进行回归处理。也就是说,初始回归网络在执行回归处理时,引入了多个第二注视点(即真实注视点),多个第二注视点可以用于校正初始回归网络的回归方向,使得初始回归网络输出的预测注视点更加准确。最后再利用第一注视点(即真实注视点)作为监督信息,迭代更新初始注视点估计模型,以使训练后的注视点估计模型的标定效果更好。

5、结合第一方面,另一种可能的实现方式中,基于初始注视点估计模型中的初始特征提取网络对第一人脸图像和多个第二人脸图像分别进行特征提取,得到第一人脸图像特征和多个第二人脸图像特征,包括:训练设备对第一人脸图像进行预处理,得到第一人脸图像对应的第一识别数据,第一识别数据包括第一人脸的左眼图像、第一人脸的右眼图像、第一人脸区域图像以及第一人脸网格图像;对多个第二人脸图像进行预处理,得到多个第二人脸图像中每个第二人脸图像对应的第二识别数据;第二是被数据包括第二人脸的左眼图像、第二人脸的右眼图像、第二人脸区域图像以及第二人脸网格图像;训练设备利用初始特征提取网络对第一识别数据进行特征提取,得到第一人脸图像特征;利用初始特征提取网络对多个第二识别数据进行特征提取,得到多个第二人脸图像特征。

6、基于该可能的实现方式,训练设备利用初始特征提取网络提取第一人脸图像特征和多个第二人脸图像特征之前,还对第一人脸图像和多个第二人脸图像执行预处理操作。通过预处理操作得到的第一识别数据和多个第二识别数据只包括和人脸相关的特征,例如左眼、右眼、人脸区域以及人脸网格等等。这样,能够使后续初始特征提取网络提取的特征全是人脸的特征,避免了对第一人脸图像和多个第二人脸图像中无关特征的提取。提高了特征提取结果的准确度。

7、结合第一方面,另一种可能的实现方式中,基于初始注视点估计模型中的初始回归网络对第一人脸图像特征、多个第二人脸图像特征以及多个第二注视点进行回归处理,得到第一人脸图像对应的预测注视点,包括:将第一人脸图像特征、多个第二人脸图像特征以及多个第二注视点进行拼接,得到拼接数据;基于初始回归网络对拼接数据进行回归处理,得到预测注视点。

8、基于该可能的实现方式,训练设备利用初始回归网络计算预测注视点时,不仅引入了第一人脸图像特征、多个第二人脸图像特征,还引入了多个第二注视点。由于多个第二注视点是多个第二人脸图像对应的真实注视点,所以初始回归网络在预测时,可以向更靠近多个第二注视点的方向进行预测,从而输出准确度更高的预测注视点。

9、结合第一方面,另一种可能的实现方式中,根据第一损失值和第二损失值迭代更新初始注视点估计模型,得到训练后的注视点估计模型,包括:根据第一损失值迭代更新初始回归网络,得到训练后的回归网络;根据第二损失值迭代更新初始特征提取网络,得到训练后的特征提取网络;其中,训练后的注视点估计模包括训练后的回归网络和训练后的特征提取网。

10、基于该可能的实现方式,训练设备通过初始回归网络输出的预测注视点以及第一注视点(真实注视点)之间的第一损失值迭代更新初始回归网络,能够使训练后的回归网络输出的预测注视点更接近真实注视点。通过初始特征提取网络输出的多个第二人脸图像特征和第一人脸图像特征之间的第二损失值迭代更新初始特征提取网络,能够使训练后的特征提取网络输出的图像特征更接近真实的图像特征。

11、结合第一方面,另一种可能的实现方式中,第一损失值满足如下关系:

12、

13、其中,lg用于表示第一损失值,gq用于表示预测注视点,用于表示第一注视点。

14、基于该可能的实现方式,通过上述关系中的可知,第一损失值的计算考虑了预测注视点和第一注视点之间的距离。通过上述关系中的可知,注视损失值还考虑了预测注视点和第一注视点之间的夹角。

15、这样,能够保证在预测注视点和第一注视点之间的距离很小,预测注视点和第一注视点之间的夹角很大的情况下,依然可以通过夹角之间的损失来约束预测注视点和第一注视点之间的偏差。相对于只约束预测注视点和第一注视点之间的距离来说,该方式确定的第一损失值的约束力更强。后续利用上述关系来迭代更新初始注视点估计模型,得出训练后的注视点估计模型的识别精度更高,训练后的注视点估计模型输出的预测注视点也会更接近真实注视点。

16、结合第一方面,另一种可能的实现方式中,第二损失值满足如下关系:

17、

18、其中,lx用于表示第二损失值,xc用于表示多个第二人脸图像特征,xq用于表示第一人脸图像特征,m=1,s=1用于表示第一注视点和第二注视点之间的距离小于等于预设距离,s=0用于表示第一注视点和第二注视点之间的距离大于预设距离。之后利用该对比损失值迭代训练初始特征提取网络,能够使训练后的特征提取网络的特征提取效果更好。

19、结合第一方面,另一种可能的实现方式中本文档来自技高网...

【技术保护点】

1.一种标定方法,其特征在于,方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于初始注视点估计模型中的初始特征提取网络对所述第一人脸图像和所述多个第二人脸图像分别进行特征提取,得到第一人脸图像特征和多个第二人脸图像特征,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述基于所述初始注视点估计模型中的初始回归网络对所述第一人脸图像特征、所述多个第二人脸图像特征以及多个第二注视点进行回归处理,得到第一人脸图像对应的预测注视点,包括:

4.根据权利要求1-3中任一项的方法,其特征在于,所述根据所述第一损失值和所述第二损失值迭代更新所述初始注视点估计模型,得到训练后的注视点估计模型,包括:

5.根据权利要求1-4中任一项所述的方法,其特征在于,所述第一损失值满足如下关系:

6.根据权利要求1-5中任一项的方法,其特征在于,所述第二损失值满足如下关系:

7.根据权利要求6所述的方法,其特征在于,所述预设距离为2cm。

8.根据权利要求1-7中任一项所述的方法,其特征在于,方法还包括:p>

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序指令;其特征在于,

...

【技术特征摘要】

1.一种标定方法,其特征在于,方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于初始注视点估计模型中的初始特征提取网络对所述第一人脸图像和所述多个第二人脸图像分别进行特征提取,得到第一人脸图像特征和多个第二人脸图像特征,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述基于所述初始注视点估计模型中的初始回归网络对所述第一人脸图像特征、所述多个第二人脸图像特征以及多个第二注视点进行回归处理,得到第一人脸图像对应的预测注视点,包括:

4.根据权利要求1-3中任一项的方法,其特征在于,所述根据所述第一损失值...

【专利技术属性】
技术研发人员:孙贻宝
申请(专利权)人:荣耀终端有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1