【技术实现步骤摘要】
一种基于多任务学习的驾驶员状态估计方法
[0001]本专利技术涉及深度学习
，尤其是一种基于多任务学习的驾驶员状态估计方法。
技术介绍
[0002]驾驶员的面部包含了丰富的信息比如外貌，姿态和关键点等等，它们催生了不同的驾驶员状态估计任务。传统的方法认为这些任务是独立的，这忽略了不同任务信息间的潜在的关系，也就是说在相同的面部空间下，来自不同任务的不同模态的信息可能是紧密连接的由于人脸结构固有的刚性约束。为了实现开放世界复杂场景中的人工智能，一个有前途且必要的方法是共同学习相互关联的任务，以实现特定任务的知识转移，从而实现多个任务的相互促进与优化。
[0003]按照信息交互发生位置的不同，目前多任务学习可以分为基于编码器和基于解码器。基于编码器的方法共享一个现成的主干网络作为编码器，然后处理使用不同的任务特定模块处理这样获得的共同特征。基于解码器的方法的信息交互主要发生在解码器中，对经过具体任务模块解耦过的特征进行交互模拟任务间依赖关系。近些年基于人脸的多任务学习有一些发展，但他们的共同之处是通过共享的底层来提...
【技术保护点】
【技术特征摘要】
1.一种基于多任务学习的驾驶员状态估计方法，其特征在于，包括：使用共享的预训练CNN模型作为骨干网络对输入的目标图像进行特征提取，得到目标任务的共享特征；其中，所述目标任务包括关键点预测任务、遮挡概率估计任务和头部姿态估计任务；将所述共享特征输入各个任务模块中完成对应的任务预测，得到关键点预测结果、遮挡概率估计结果和头部姿态估计结果；根据所述关键点预测结果、遮挡概率估计结果和头部姿态估计结果，生成驾驶员状态估计结果；其中，所述将所述共享特征输入各个任务模块中完成对应的任务预测这个步骤具体包括：在关键点预测模块中，通过Transformer的自注意力层预测得到关键点热力图；在遮挡概率评估模块中，利用关键点位置信息在共享特征中提取出每一个关键点对应的局部特征块，将所述局部特征块以及当前头部姿态的信息输入至自注意力层中，预测每一个关键点的遮挡概率；在头部姿态估计模块中，以逐层融合的方式融合拓扑、局部和全局的外貌信息。2.根据权利要求1所述的一种基于多任务学习的驾驶员状态估计方法，其特征在于，所述在关键点预测模块中，通过Transformer的自注意力层预测得到关键点热力图,包括：将所述共享特征输入Transformer网络中进行多次迭代处理；对于任意次的迭代处理过程，具体执行以下步骤：将共享特征经过一层卷积处理后展开得到第一特征；通过两个线性层对当前阶段传递的头部姿态以及遮挡概率进行维度转换，得到第二特征和第三特征；将所述第一特征、所述第二特征和所述第三特征进行拼接，得到关键点Transformer的初始输入特征；对所述初始输入特征进行尺寸重塑和维度转换处理，得到对应的像素点的关键点热力图。3.根据权利要求1所述的一种基于多任务学习的驾驶员状态估计方法，其特征在于，所述在遮挡概率评估模块中，利用关键点位置信息在共享特征中提取出每一个关键点对应的局部特征块，将所述局部特征块以及当前头部姿态的信息输入至自注意力层中，预测每一个关键点的遮挡概率，包括：根据所述关键点热力图，得到关键点位置信息；根据所述关键点位置信息，在共享特征中提取出每一个关键点对应的局部特征块；将所述局部特征块经过一层尺寸卷积进行尺寸变换，得到局部的外貌信息；对上个阶段得到的姿态先验信息进行处理得到粗略姿态信息；将所述粗略姿态信息与所述局部特征块进行联合处理，确定在当前姿态影响下的点与点之间的依赖信息；根据所述依赖信息，计算每个关键点对应的遮挡概率。4.根据权利要求1所述的一种基于多任务学习的驾驶员状态估计方法，其特征在于，所述在头部姿态估计模块中，以逐层融合的方式融合拓扑、局部和全局的外貌信息，包括：
根据所述关键点热力图，获取对应的关键点的位置先验信息；通过线性层对所述位置先验信息进行处理，得到Transformer的初始输入，进而生成每一个关键点对应的拓扑特征；按照关键点的遮挡信息将提取的局部特征与拓扑特征相融...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。