视线识别模型的训练方法、视线识别方法、装置及设备制造方法及图纸

本发明专利技术涉及一种视线识别模型的训练方法、视线识别方法、装置及设备，方法包括获取样本图像集，样本图像集包括含有第一区域和第二区域的样本图像，将样本图像输入预设机器学习模型，进行视线识别处理，得到第一区域对应的第一视线信息以及第二区域对应的第二视线信息，基于第一视线信息，确定第二区域对应的第三视线信息，基于第二视线信息和第三视线信息，确定第一损失信息，根据第一损失信息，确定损失信息，基于损失信息调整预设机器学习模型中的模型参数，至损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为视线识别模型。本发明专利技术可以在不增加视线识别模型规模的前提下，提高视线识别模型识别视线的精确性。

【技术实现步骤摘要】
视线识别模型的训练方法、视线识别方法、装置及设备
本专利技术涉及图像处理
，尤其涉及一种视线识别模型的训练方法、视线识别方法、装置及设备。
技术介绍
研究表明，人获取的约80％的外界信息来自人眼，人眼获取物体信息的方式是通过转动眼球使得物体最清晰的像出现在视网膜的中心凹中，中心凹与角膜中心的连线即为视线。由于视线具有直接性、自然性和双向性等特点，近年来成为研究热点，以使其可以很好地应用于各类场景。例如，可以应用在人机交互场景中，利用视线移动方向控制机器，弥补残疾人和老年人生理上的不便，也可以应用在安全驾驶场景中，通过跟踪驾驶员视线，评估驾驶员驾驶状态以预防事故，还可以应用在传媒场景中，通过采集视线停留广告的时间长度，确定用户的兴趣点。现有的视线估计方法主要包括基于表观appearance-based的方法和基于几何模型model-based的方法。两种方法均可以采用3D视线估计和2D视线估计两种方式，3D视线估计预测视线的三维视线方向，2D视线估计预测视线在预设平面的坐标。由于深度学习技术的兴起，基于表观的方法可以采用卷积神经网络从单眼回归视线，根据眼部关键点、相机内参和三维平均脸模型对原始图片进行归一化，以减小头部姿态对视线估计的影响。然而，当卷积神经网络的输入仅有眼部区域，缺少脸部其他有用区域时，将使得输出的视线估计的准确度降低。基于此，可以将卷积神经网络的输入从眼部区域扩展至全脸区域来进行视线回归，并在卷积神经网络中增加注意力机制，增加眼部区域的权重和脸部区域的权重，削弱背景等无用区域的权重，以提高视线估计的准确度。此外，还可以通过多个卷积神经网络合并训练，即对视线回归进行拆分，具体可以先利用一个网络对图片进行提取，以提取头部姿态、人脸关键点、脸部深度图和眼部区域等，之后再利用另一个网络基于提取的特征进行视线回归，以得到视线估计。在基于卷积神经网络进行视线估计的方法中，不需要额外设计眼部特征就可以估计视线，相较于基于表观的方法具有较强的适用性。虽然，单独输入眼部区域或者输入全脸区域可以使得卷积神经网络获得丰富的特征信息，但是在设计上将引入复杂的框架结构，多个卷积神经网络合并训练的方法也将使得视线估计变得复杂，且难以保证输出视线信息的准确性。
技术实现思路
本专利技术实施例提供一种视线识别模型的训练方法、视线识别方法、装置及电子设备，可以在不增加视线识别模型规模的前提下，提高视线识别模型识别视线的精确性。本专利技术实施例提供了一种视线识别模型的训练方法，该训练方法包括：获取样本图像集；样本图像集包括样本图像；样本图像包括第一区域和第二区域；将样本图像输入预设机器学习模型，进行视线识别处理，得到第一区域对应的第一视线信息以及第二区域对应的第二视线信息；基于第一视线信息，确定第二区域对应的第三视线信息；基于第二视线信息和第三视线信息，确定第一损失信息；根据第一损失信息，确定损失信息；基于损失信息调整预设机器学习模型中的模型参数，至损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为视线识别模型。进一步地，基于第一视线信息，确定第二区域对应的第三视线信息，包括：基于预设坐标系，确定第一区域对应的第一中心向量、第二区域对应的第二中心向量以及第一视线信息对应的第一向量；根据第一中心向量、第二中心向量和第一向量，确定第三视线信息。进一步地，基于第二视线信息和第三视线信息确定第一损失信息之后，还包括：获取样本图像对应的视线标签信息；视线标签信息包括第一区域对应的视线标签信息和第二区域对应的视线标签信息；根据视线标签信息、第一视线信息和第二视线信息，确定第二损失信息；根据第一损失信息，确定损失信息，包括：根据第一损失信息和第二损失信息，确定损失信息。进一步地，基于第二视线信息和第三视线信息，确定第一损失信息，包括：基于预设坐标系，确定第二视线信息和第三视线信息对应的距离信息；根据距离信息，确定第一损失信息。进一步地，得到第一区域对应的第一视线信息以及第二区域对应的第二视线信息之后，还包括：根据第一视线信息和第二视线信息，确定第一损失信息，包括：基于预设坐标系，确定第一视线信息对应的第一坐标信息、第二视线信息对应的第二坐标信息，以及确定第一区域对应的第一标准化向量和第二区域对应的第二标准化向量；基于预设转换规则，确定第一坐标信息对应的第一角度向量以及第二坐标信息对应的第二角度向量；根据第一标准化向量、第二标准化向量、第一角度向量和第二角度向量，确定第一损失信息。相应地，本专利技术实施例还提供了一种视线识别方法，该视线识别方法包括：获取待处理图像；待处理图像包括第一待识别区域和第二待识别区域；将待处理图像作为视线识别模型的输入，进行视线识别处理，得到第一待识别区域对应的第一目标视线信息和第二待识别区域对应的第二目标视线信息；其中，视线识别模型为上文中所描述的视线识别模型。相应地，本专利技术实施例还提供了一种视线识别模型的训练装置，该训练装置包括：样本图像集获取模块，用于获取样本图像集；样本图像集包括样本图像；样本图像包括第一区域和第二区域；识别处理模块，用于将样本图像输入预设机器学习模型，进行视线识别处理，得到第一区域对应的第一视线信息以及第二区域对应的第二视线信息；第三视线信息确定模块，用于基于第一视线信息，确定第二区域对应的第三视线信息；第一损失信息确定模块，用于基于第二视线信息和第三视线信息确定第一损失信息；损失信息确定模块，用于根据第一损失信息，确定损失信息；视线识别模型确定模块，用于基于损失信息调整预设机器学习模型中的模型参数，至损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为视线识别模型。相应地，本专利技术实施例还提供了一种视线识别装置，该视线识别装置包括：待处理图像获取模块，用于获取待处理图像；待处理图像包括第一待识别区域和第二待识别区域；目标视线确定模块，用于将待处理图像作为视线识别模型的输入，进行视线识别处理，得到第一待识别区域对应的第一目标视线信息和第二待识别区域对应的第二目标视线信息；其中，视线识别模型为上文中所描述的视线识别模型。相应地，本专利技术实施例还提供了一种视线识别模型的训练设备，设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上文中所描述的视线识别模型的训练方法。相应地，本专利技术实施例还提供了一种视线识别设备，设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上文中所描述的视线识别模型的视线识别方法。本专利技术实施例具有如下有益效果：本专利技术实施例可以在不增加视线识别模型规模的前提下，提高本文档来自技高网...

【技术保护点】
1.一种视线识别模型的训练方法，其特征在于，包括：/n获取样本图像集；所述样本图像集包括样本图像；所述样本图像包括第一区域和第二区域；/n将所述样本图像输入预设机器学习模型，进行视线识别处理，得到所述第一区域对应的第一视线信息以及所述第二区域对应的第二视线信息；/n基于所述第一视线信息，确定所述第二区域对应的第三视线信息；/n基于所述第二视线信息和所述第三视线信息，确定第一损失信息；/n根据所述第一损失信息，确定损失信息；/n基于所述损失信息调整所述预设机器学习模型中的模型参数，至所述损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为所述视线识别模型。/n

【技术特征摘要】
1.一种视线识别模型的训练方法，其特征在于，包括：
获取样本图像集；所述样本图像集包括样本图像；所述样本图像包括第一区域和第二区域；
将所述样本图像输入预设机器学习模型，进行视线识别处理，得到所述第一区域对应的第一视线信息以及所述第二区域对应的第二视线信息；
基于所述第一视线信息，确定所述第二区域对应的第三视线信息；
基于所述第二视线信息和所述第三视线信息，确定第一损失信息；
根据所述第一损失信息，确定损失信息；
基于所述损失信息调整所述预设机器学习模型中的模型参数，至所述损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为所述视线识别模型。


2.根据权利要求1所述的方法，其特征在于，所述基于所述第一视线信息，确定所述第二区域对应的第三视线信息，包括：
基于预设坐标系，确定所述第一区域对应的第一中心向量、所述第二区域对应的第二中心向量以及所述第一视线信息对应的第一向量；
根据所述第一中心向量、所述第二中心向量和所述第一向量，确定所述第三视线信息。


3.根据权利要求1所述的方法，其特征在于，所述基于所述第二视线信息和所述第三视线信息确定第一损失信息之后，还包括：
获取所述样本图像对应的视线标签信息；所述视线标签信息包括所述第一区域对应的视线标签信息和所述第二区域对应的视线标签信息；
根据所述视线标签信息、所述第一视线信息和所述第二视线信息，确定第二损失信息；
所述根据所述第一损失信息，确定损失信息，包括：
根据所述第一损失信息和所述第二损失信息，确定损失信息。


4.根据权利要求2所述的方法，其特征在于，所述基于所述第二视线信息和所述第三视线信息，确定第一损失信息，包括：
基于所述预设坐标系，确定所述第二视线信息和所述第三视线信息对应的距离信息；
根据所述距离信息，确定所述第一损失信息。


5.根据权利要求2所述的方法，其特征在于，所述得到所述第一区域对应的第一视线信息以及所述第二区域对应的第二视线信息之后，还包括：
根据所述第一视线信息和所述第二视线信息，确定所述第一损失信息，包括：
基于所述预设坐标系，确定所述第一视线信息对应的第一坐标信息、所述第二视线信息对应的第二坐标信息，以及确定所述第一区域对应的第一标准化向量和所述第二区域对应的第二标准化向量；
基于预设转换规则，确定所述第一坐标信息对应的第一角度向量以及所述第二坐标信息对应的第二角度向量；...

【专利技术属性】
技术研发人员：朱冬晨，林敏静，李航，李嘉茂，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31