一种基于多状态融合模型的驾驶学习行为识别方法技术

本申请公开了一种基于多状态融合模型的驾驶学习行为识别方法，其包括：获取被监测主体在驾驶过程中的RGB图像、深度图像以及人体压力分布数据，RGB图像、深度图像中均包含被监测主体的头部图像；将RGB图像与深度图像输入训练好的状态识别模型中，获得被监测主体的面部表情情感类别与头部姿态偏转角；将人体压力分布数据输入训练好的人体姿态识别模型中，获取被监测主体在驾驶过程中的身体姿态类别；综合表情情感类别、头部姿态偏转角、身体姿态类别以及预设的阈值条件，对被监测主体的驾驶学习行为进行识别。本发明专利技术结合学习者的精细表情、头部动作及人体坐姿识别其在驾驶学习过程中的异常状态倾向，可以有效地提高学习效率，提升驾驶教学的安全性。提升驾驶教学的安全性。提升驾驶教学的安全性。

【技术实现步骤摘要】
一种基于多状态融合模型的驾驶学习行为识别方法


[0001]本申请涉及计算机视觉与教育信息
，更具体地，涉及一种基于多状态融合模型的驾驶学习行为识别方法及设备。

技术介绍

[0002]随着信息化的不断发展，人工智能技术越来越多地被应用于各行各业，比如教育、驾驶等领域。在传统课堂教学中，人工智能技术可以为教师提供辅助教学评估，评估学习者对课堂教学行为的感兴趣程度，为教师提供教学策略的改革建议。人工智能技术也可以在车辆行驶中对驾驶员的状态进行评估，判断驾驶员是否将注意力放在驾驶行为上。在驾校教学过程中，学习者大都没有驾驶经验，在驾驶过程中需要教练在旁边协助学员完成教学内容。但在驾驶教学过程中教练除了要观察学员的操作是否正确外，还需对周围环境进行观察，判断学生是否应当改变驾驶行为，在这个过程中，若学员出现异常状态，如注意力不集中、碰到前方有车辆慌张到不知所措等，教练有很大可能出现无法及时关注学员状态的情况。
[0003]学习者在驾驶学习过程中，对驾驶行为投入程度，可以通过学习者的面部情感与头部动作进行表征，学习者驾驶姿势是否正确，可以利用人体坐姿进行识别。面部情感表现了当前学习者的真实情绪，当学习者处于集中精神投入到驾驶行为中时，其面部表情应当表现出认真的表情，而不是忧伤、惊讶、害怕等。除此之外，通过分析学习者的头部动作，可以分析出学习者当前是否面向车辆行驶过程中的道路，而不是低头玩手机或是做其它的事情。学习者的坐姿是否正确，关系到驾驶过程中学习者能否及时对方向盘、油门、刹车等设备进行及时操作。当前，针对学习者对驾驶教学过程投入程度的评估方式还不成熟，这是目前亟需解决的关键问题。

技术实现思路

[0004]针对现有技术的至少一个缺陷或改进需求，本专利技术提供了一种基于多状态融合模型的驾驶学习行为识别方法，结合学习者的精细表情、头部动作及人体坐姿识别其在驾驶学习过程中的异常状态倾向，可以有效地提高学习效率，提升驾驶教学的安全性。
[0005]为实现上述目的，按照本专利技术的第一个方面，提供了一种基于多状态融合模型的驾驶学习行为识别方法，该方法包括：
[0006]获取被监测主体在驾驶过程中的RGB图像、深度图像以及人体压力分布数据，所述RGB图像、深度图像中均包含所述被监测主体的头部图像；
[0007]将RGB图像与深度图像输入训练好的状态识别模型中，获得被监测主体的面部表情情感类别与头部姿态偏转角；
[0008]将所述人体压力分布数据输入训练好的人体姿态识别模型中，获取被监测主体在驾驶过程中的身体姿态类别；
[0009]综合所述面部表情情感类别、头部姿态偏转角、身体姿态类别以及预设的阈值条
件，对被监测主体的驾驶学习行为进行识别。
[0010]进一步地，上述驾驶学习行为识别方法中，所述状态识别模型包括表情情感识别网络，用以将RGB图像与深度图像进行融合，并根据融合后的图像数据预测得到被监测主体的面部表情情感类别；
[0011]所述表情情感识别网络包括第一特征提取模块、局部Transformer、序列Transformer和第一全连接层；
[0012]所述第一特征提取模块用于分别提取RGB图像与深度图像中的特征并进行融合，获得融合特征；
[0013]所述局部Transformer将每一帧图像的融合特征作为输入，提取被监测主体的人脸空间特征；
[0014]所述序列Transformer将各帧图像对应的人脸空间特征作为输入，生成判别特征表示；
[0015]所述第一全连接层用于根据所述判别特征表示识别被监测主体的面部表情情感类别。
[0016]进一步地，上述驾驶学习行为识别方法中，所述局部Transformer包括特征映射层、局部位置嵌入层和多个局部编码器；所述局部编码器由多头注意力机制组成，并且输入进前馈网络中；
[0017]所述特征映射层用于将融合特征展平为一维特征序列；
[0018]所述局部位置嵌入层用于在所述一维特征序列中加入可学习的位置嵌入；
[0019]所述局部编码器基于自注意力机制对一维特征序列进行编码，获得被监测主体的人脸空间特征。
[0020]进一步地，上述驾驶学习行为识别方法中，所述序列Transformer包括时间位置嵌入层和多个序列编码器；所述序列编码器由多头注意力机制组成，并且输入进前馈网络中；
[0021]所述时间位置嵌入层用于在人脸空间特征加入可学习的时间嵌入；
[0022]所述序列编码器基于自注意力机制对人脸空间特征进行编码，获得被监测主体的判别特征表示。
[0023]进一步地，上述驾驶学习行为识别方法中，所述状态识别模型包括头部动作识别网络，用以将RGB图像与深度图像进行融合，并根据融合后的图像数据预测得到被监测主体的头部姿态偏转角；
[0024]所述头部动作识别网络包括第二特征提取模块、特征分类模块、特征融合模块和第二全连接层；
[0025]所述第二特征提取模块用于将RGB图像与深度图像进行融合，得到融合图像序列；对所述融合图像序列进行特征提取，获得初始头部姿态特征；
[0026]所述特征分类模块用于将所述头部姿态特征提取为多种头部姿态分类；
[0027]所述特征融合模块用于将所述头部姿态特征与头部姿态分类进行融合，进一步提取得到头部姿态特征；
[0028]所述第二全连接层用于根据所述头部姿态特征计算被监测主体的头部姿态偏转角。
[0029]进一步地，上述驾驶学习行为识别方法中，所述第二特征提取模块包括四个特征
提取单元；每个所述特征提取单元中包含的特征提取块的比例为3：3：9：3；每个所述特征提取块使用深度可分离卷积进行特征提取；
[0030]所述深度可分离卷积包括深度卷积层和逐点卷积层，所述深度卷积层为每个输入通道应用单个滤波器，所述逐点卷积层创建深度卷积层生成的特征的线性组合。
[0031]进一步地，上述驾驶学习行为识别方法中，所述头部姿态分类为：L＝{L1,L2,L3,L4}；
[0032]其中L1∈[0,75]θ
p
，L1∈[0,50]θ
y
；L2∈[
‑
75,0]θ
p
，L2∈[0,50]θ
y
；L3∈[
‑
75,0]θ
p
，L3∈[
‑
50,0]θ
y
，L4∈[0,75]θ
p
，L4∈[
‑
50,0]θ
y
；θ
p
与θ
y
代表pitch与yaw角的偏转角度。
[0033]进一步地，上述驾驶学习行为识别方法中，所述人体姿态识别模型包括特征映射层、特征提取层和第三全连接层；
[0034]所述特征映射层用于对人体压力分布数据进行卷积操作，获得特征映射；
[0035]所述特征提取层以所述特征映射作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多状态融合模型的驾驶学习行为识别方法，其特征在于，包括：获取被监测主体在驾驶过程中的RGB图像、深度图像以及人体压力分布数据，所述RGB图像、深度图像中均包含所述被监测主体的头部图像；将RGB图像与深度图像输入训练好的状态识别模型中，获得被监测主体的面部表情情感类别与头部姿态偏转角；将所述人体压力分布数据输入训练好的人体姿态识别模型中，获取被监测主体在驾驶过程中的身体姿态类别；综合所述面部表情情感类别、头部姿态偏转角、身体姿态类别以及预设的阈值条件，对被监测主体的驾驶学习行为进行识别。2.如权利要求1所述的驾驶学习行为识别方法，其特征在于，所述状态识别模型包括表情情感识别网络，用以将RGB图像与深度图像进行融合，并根据融合后的图像数据预测得到被监测主体的面部表情情感类别；所述表情情感识别网络包括第一特征提取模块、局部Transformer、序列Transformer和第一全连接层；所述第一特征提取模块用于分别提取RGB图像与深度图像中的特征并进行融合，获得融合特征；所述局部Transformer将每一帧图像的融合特征作为输入，提取被监测主体的人脸空间特征；所述序列Transformer将各帧图像对应的人脸空间特征作为输入，生成判别特征表示；所述第一全连接层用于根据所述判别特征表示识别被监测主体的面部表情情感类别。3.如权利要求2所述的驾驶学习行为识别方法，其特征在于，所述局部Transformer包括特征映射层、局部位置嵌入层和多个局部编码器；所述局部编码器由多头注意力机制组成，并且输入进前馈网络中；所述特征映射层用于将融合特征展平为一维特征序列；所述局部位置嵌入层用于在所述一维特征序列中加入可学习的位置嵌入；所述局部编码器基于自注意力机制对一维特征序列进行编码，获得被监测主体的人脸空间特征。4.如权利要求2所述的驾驶学习行为识别方法，其特征在于，所述序列Transformer包括时间位置嵌入层和多个序列编码器；所述序列编码器由多头注意力机制组成，并且输入进前馈网络中；所述时间位置嵌入层用于在人脸空间特征加入可学习的时间嵌入；所述序列编码器基于自注意力机制对人脸空间特征进行编码，获得被监测主体的判别特征表示。5.如权利要求1
‑
4任一项所述的驾驶学习行为识别方法，其特征在于，所述状态识别模型包括头部动作识别网络，用以将RGB图像与深度图像进行融合，并根据融合后的图像数据预测得到被监测主体的头部姿态偏转角；所述头部动作识别网络包括第二特征提取模块、特征融合模块和第二全连接层；所述第二特征提取模块用于将RGB图像与深度图像进行融合，得到融合图像序列；对所述融合图像序列进行特征提取，获得初始头部姿态特征；
所述...

【专利技术属性】
技术研发人员：赵莉，李唯昕，时俊雅，刘海，刘婷婷，黄苏雨，
申请(专利权)人：武汉东湖学院，
类型：发明
国别省市：