基于骨架和语义信息混合的驾驶员行为识别方法及系统技术方案

本发明专利技术公开了一种基于骨架和语义信息混合的驾驶员行为识别方法及系统，涉及驾驶员行为识别技术领域。将基于语义信息和骨架信息的行为识别方法通过基于驾驶员骨架关键点的空间软注意力机制融合起来，识别驾驶员行为。首先设计了一种基于驾驶员骨架关键点信息的空间软注意力模块，该模块在驾驶员手部和头部的语义信息上赋予较大权值，而抑制全局背景信息，以针对性提升驾驶员行为相关的语义特征提取性能；然后设计了一种基于驾驶员骨架和语义信息的混合网络，用于提取驾驶员行为识别相关的语义和时间特征。此外，在夜间驾驶员行为识别任务中，引入自适应直方图均衡化和迁移学习方法解决夜间驾驶数据亮度低和数量少的问题。方法解决夜间驾驶数据亮度低和数量少的问题。方法解决夜间驾驶数据亮度低和数量少的问题。

【技术实现步骤摘要】
基于骨架和语义信息混合的驾驶员行为识别方法及系统


[0001]本专利技术涉及驾驶员行为识别
，尤其涉及一种基于骨架和语义信息混合的驾驶员行为识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]驾驶员在驾驶过程中的行为是否规范，严重影响到驾驶安全以及道路安全。驾驶员行为识别是指识别车舱内驾驶员在驾驶过程中的各种行为，如打电话、喝水、调收音机等，广泛应用于辅助驾驶和自动驾驶系统，对驾驶安全具有重要意义。现有驾驶员行为识别方法多基于语义信息或骨架信息。基于语义信息的方法多采用图片或视频数据作为输入，前者缺乏时间信息及运动模式，后者存在大量冗余信息、计算量大；基于骨架信息的驾驶员行为识别方法以驾驶员骨架关键点序列作为输入，计算量小、推理速度快，但缺乏场景语义信息和目标交互信息，识别准确率低。注意力机制也广泛应用于驾驶员行为识别方法中，但往往没有针对驾驶员行为识别任务做相应优化，无法精确定位到驾驶员行为最相关的部分。另外，在夜间环境中，会由于驾驶数据亮度低，可用数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于骨架和语义信息混合的驾驶员行为识别方法，其特征在于，包括以下步骤：输入视频帧序列，利用姿态估计算法获取驾驶员骨架关键点序列，并从中提取驾驶员手部和头部关键点坐标；在输入视频帧中，根据驾驶员2个手部和头部关键点为区域中心，设定值为半径的圆形区域的组合初步确定驾驶员行为相关感兴趣区域；生成与输入视频帧大小相同的注意力掩膜，将注意力掩膜与相应输入视频帧叠加，获得带有注意力掩膜的视频帧序列；利用骨架关键点序列和自适应图卷积神经网络得到骨架流预测结果；利用带有注意力掩膜的视频帧序列和慢速语义网络得到语义流预测结果；以骨架流预测结果和语义流预测结果为输入，利用线性融合策略进行行为预测结果融合，获取最终的驾驶员行为识别结果。2.如权利要求1所述的基于骨架和语义信息混合的驾驶员行为识别方法，其特征在于，确定驾驶员行为相关感兴趣区域后，根据驾驶员行为特点，调整初步结果以得到最终驾驶员行为感兴趣区域。3.如权利要求1所述的基于骨架和语义信息混合的驾驶员行为识别方法，其特征在于，注意力掩膜中感兴趣区域设置高灰度值，背景区域设置低灰度值。4.如权利要求1所述的基于骨架和语义信息混合的驾驶员行为识别方法，其特征在于，获取骨架流预测结果的具体步骤为：以骨架关键点序列为输入，构建以驾驶员骨架关键点为顶点，以骨架关键点自然连接关系为边的骨架图序列，利用自适应图卷积神经网络提取提取驾驶员行为时空特征，得到骨架流预测结果。5.如权利要求4所述的基于骨架和语义信息混合的驾驶员行为识别方法，其特征在于，首先对输入的骨架关键点序列进行数据扩增和批量归一化，然后利用自适应图卷积网络进行时空特征提取，自适应图卷积网络由9个自适应图卷积块组成，在骨架流的末端为全局平均池化层和softmax层，输出骨架流预测结果。6.如权利要求1所述的基于骨架和语义信息混合的驾驶员行为识别方法，其特征在于，获取语义流预测结果的具体步骤为：以带有注意力掩膜的视频帧序列为输入，提取稀疏视频帧序列，利用慢速语义网络高效提取驾驶员行为时空特征，得到语义流预测...

【专利技术属性】
技术研发人员：常发亮，刘辉，刘春生，路彦沙，刘民航，
申请(专利权)人：山东大学，
类型：发明
国别省市：