基于transformer的驾驶员分心检测方法及装置制造方法及图纸

本发明专利技术提供了一种基于transformer的驾驶员分心检测方法及装置，属于驾驶行为分析领域，包括采集分心驾驶图像数据；搭建驾驶员分心检测模型FPT；将采集到的分心驾驶图像数据输入驾驶员分心检测模型FPT中，利用驾驶员分心检测模型FPT对分心驾驶图像数据进行分析，根据分析结果判断驾驶员分心状态。本发明专利技术在Swin，Twins等模型的基础上提出一种新的网络模型驾驶员分心检测模型FPT，该这种模型与深度学习模型相比弥补了深度学习模型只能提取局部特征的缺点，与变压器transformer模型相比，提高了分类的精度，并且降低了参数量和运算量；对整个网络的损失函数进行了调整，在交叉熵损失函数的基础上添加了标签平滑，增加分类的准确度，有效抑制过拟合，提高了检测精度。提高了检测精度。提高了检测精度。

【技术实现步骤摘要】
基于transformer的驾驶员分心检测方法及装置


[0001]本专利技术属于驾驶行为分析领域，具体涉及一种基于transformer的驾驶员分心检测方法及装置。

技术介绍

[0002]世界卫生组织(世卫组织)2018年《全球道路安全现状报告》指出，道路交通死亡人数继续攀升，每年死亡135万人。WTO发布的《道路安全全球现状报告2015》显示，2013年全球有125万人死于交通事故。在过去的几年里，许多国家在减少道路交通事故死亡方面取得了成功，但是不同国家，不同地区的差异性很大。自2013年到2018年两次统计中，总体死亡人数还在增加，任何低收入国家的道路交通死亡人数也都没有减少。由此可见，道路安全问题远远没有得到人们应有的关注。目前的研究大多重点关注驾驶员是否分心，而没有重点关注分心的类型。并且公开的分心数据集较少，驾驶员分心的多样性不足，就不足以模拟真实的驾驶场景。如果能够及时检测出驾驶员的分心类型，汽车制造商和开发商就可以根据不同的分心类型设计出具有更加全面的紧急避险措施的汽车，提高驾驶的安全性。
[0003]通过调研发现，目前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于transformer的驾驶员分心检测方法，其特征在于，包括以下步骤：采集分心驾驶图像数据；搭建驾驶员分心检测模型FPT，包括：以双胞胎变压器Twins transformer作为基准框架，将变压器transformer与卷积神经网络CNN进行融合，形成主体架构；对所述主体架构进行优化，包括：在所述主体架构中融入残差嵌入模块，同时嵌入变压器的解码器Transformer Encoder中，通过所述残差嵌入模块用来改变图像被切分的块大小和特征图输入的维度；用分组卷积代替所述主体架构中的多层感知机MLP；在所述主体架构中加入标签平滑的交叉熵损失函数；将优化后的多个所述主体架构进行依次连接，构成驾驶员分心检测模型FPT；将采集到的分心驾驶图像数据输入驾驶员分心检测模型FPT中，利用驾驶员分心检测模型FPT对所述分心驾驶图像数据进行分析，根据分析结果判断驾驶员分心状态。2.根据权利要求1所述的基于transformer的驾驶员分心检测方法，其特征在于，通过车载摄像头采集不同驾驶场景下的分心驾驶图像数据。3.根据权利要求2所述的基于transformer的驾驶员分心检测方法，其特征在于，所述驾驶员分心状态包括驾驶员左/右手发短信、左/右手打电话、操作收音机、喝饮料、向后看、整理头发、以及和乘客谈话。4.根据权利要求2所述的基于transformer的驾驶员分心检测方法，其特征在于，在通过所述驾驶员分心检测模型FPT对所述分心驾驶图像数据进行分析之前，对所述分心驾驶图像数据进行预处理，具体处理过程包括：对图像进...

【专利技术属性】
技术研发人员：陈杰，王海涛，李兵，程子晗，席静敏，邓英剑，
申请(专利权)人：安徽中科星联信息技术有限公司，
类型：发明
国别省市：