一种分心驾驶行为识别方法、装置及存储介质制造方法及图纸

本发明专利技术涉及一种分心驾驶行为识别方法，所述方法包括下述步骤：获取人机共驾接管状态下驾驶人的分心驾驶时序图像数据；利用训练好的第一模型或训练好的第二模型首先获取时序图像数据的空间特征，在空间特征的基础上获取时空特征；将所述时空特征与空间特征进行融合加强，进而获得用于分心驾驶行为类别识别分心驾驶行为特征。所述方法能够实现准确识别驾驶人的分心驾驶行为、降低误接管风险，从而提升行车安全性。车安全性。车安全性。

【技术实现步骤摘要】
一种分心驾驶行为识别方法、装置及存储介质


[0001]本专利技术涉及智能交通领域，特别涉及一种分心驾驶行为识别方法、装置及存储介质。

技术介绍

[0002]汽车的自动化是一个必然趋势，一些汽车制造商已经提供了部分自动驾驶功能。但由于当前技术的瓶颈以及现实场景、驾驶任务的复杂性，自动驾驶汽车在一段时间内将处于L3
‑
L4阶段，需要驾驶人参与驾驶任务，在这个阶段人与车的控制权切换将成为常态。
[0003]自动驾驶车辆发出接管请求时，驾驶人可能存在各种分心驾驶行为，会在不同程度上占用驾驶人的视觉资源、听觉资源、认知资源和动作资源，影响驾驶人的感知、判断、决策与操作过程，从而导致接管失控现象，增加交通事故风险。因此识别出驾驶人的分心驾驶行为，能够降低误接管的风险，进而提升行车安全性。
[0004]现有分心识别算法，模型复杂不能很好实现嵌入式开发，而且部分算法缺乏时间维度的信息或者未能充分融合时空信息，致使特征相似的分心驾驶行为识别混淆。同时部分模型在训练时未考虑不同驾驶人的影响，使得更换驾驶人时识别精度骤降。

技术实现思路

[0005]有鉴于此，本申请的主要目的在于对分心驾驶行为进行识别时，使用的分析特征既包括时间特征，又包括空间特征，从而实现准确识别出驾驶人的分析驾驶行为、降低误接管风险，进而提升行车安全性。
[0006]基于上述目的，本专利技术提供一种分心驾驶行为识别方法，所述方法包括下述步骤：
[0007]S100、获取人机共驾接管状态下驾驶人的分心驾驶时序图像数据；
[0008]S200、利用训练好的第一模型或训练好的第二模型基于时序图像数据获取空间特征，并在空间特征的基础上获取时空特征；
[0009]S300、将所述时空特征与空间特征进行融合加强，进而获得用于分心驾驶行为类别识别分心驾驶行为特征。
[0010]优选地，在所述方法中，所述第一模型或者第二模型在训练时采用的数据集通过下述步骤获得：
[0011]S101、获取含有不同驾驶人的多种驾驶行为的分心数据集；
[0012]S102、对同一驾驶人的同一分心驾驶动作图像数据，获取上下文连续的若干张图像为一个分心驾驶动作序列；
[0013]S103、获得每一个分析驾驶动作序列的种类，并对所属种类进行标签处理，进而获得第一模型或者第二模型的评估数据集，并将评估数据集分为训练集和测试集；
[0014]所述训练集用于对第一模型或者第二模型进行训练，所述测试集用于对第一模型或者第二模型进行验证。
[0015]优选地，在所述方法中，所述第二模型通过知识蒸馏获得第一模型的知识。
[0016]优选地，在所述方法中，所述第二模型通过知识蒸馏获得第一模型的知识，包括下述步骤：
[0017]S110、将训练集输入训练好的第一模型，将其输出升温T后进行分类处理，得到第一输出结果；所述T大于0；
[0018]S111、将相同训练集输入第二模型，将其输出作为第二输出结果；
[0019]S112、将第二模型输出结果升温T后进行分类处理，得到第三输出结果；
[0020]S113、将第二输出结果与实际标签进行交叉熵计算，得到第一损失loss1，将第一输出结果与第三输出结果进行KL散度计算，得到第二损失loss2；
[0021]S114、计算总损失函数为：
[0022]loss
总
＝λloss1+(1
‑
λ)loss2，0＜λ＜1
[0023]S115、当总损失函数值满足阈值条件时，将所述第二模型用于分心驾驶行为类别识别。
[0024]优选地，在所述方法中，所述第一模型为MobileNetv3和GRU级联构成的网络结构；
[0025]所述第二模型为GhostNet和GRU级联构成的网络结构。
[0026]优选地，在所述方法中，所述分心驾驶动作序列至少包括6张图像。
[0027]优选地，在所述方法中，所述评估数据集还包括下述处理：通过高斯噪声对所述评估数据集进行处理，并对其中的训练集进行扩增处理。
[0028]优选地，在所述方法中，所述方法还包括下述步骤：
[0029]根据识别的分心驾驶种类，在需要驾驶人接管时，做出预警；
[0030]所述预警包括声音提示的预警、声音和方向盘震动的双预警。
[0031]基于上述方法，本专利技术还提出了一种分心驾驶行为识别装置，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述任一种方法的计算机程序。
[0032]进一步地，本专利技术还提出了一种计算机可读存储介质，其特征在于：存储有能够被处理器加载并执行上述任一种方法的计算机程序。
[0033]与现有技术相比，本专利技术方法具有下述有益效果：
[0034](1)通过从时序图像数据中获取时间特征和空间特征，并将两种特征进行融合，从而获得分心驾驶行为特征；通过所述分心驾驶行为特征能够实现准确识别出驾驶人的分析驾驶行为、降低误接管风险，从而提升行车安全性。
[0035](2)通过采用不同驾驶人的多种驾驶行为的分心数据集对模型进行训练和验证，能够提高模型的识别精度，而进一步进行高斯处理和扩增处理，能够增强模型的泛化能力。
[0036](3)通过采用知识蒸馏技术，将第一模型的知识迁移到第二模型，能够使第二模型具备参数精简且精度更高的特点，方便在资源受限的设备上使用，有助于实施嵌入式开发。
[0037](4)在第一模型和第二模型上采用的网络结构均为轻量型，在实施本专利技术的方法，在保持识别精度的同时，还可以进一步减少对硬件资源的需求，降低计算成本。
附图说明
[0038]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其
他的附图。
[0039]图1、本专利技术方法流程示意图；
[0040]图2、采用知识蒸馏进行训练的示意图；
[0041]图3、MobileNetV3
‑
GRU或GhostNet
‑
GRU级联网络的分心识别模型示意图。
具体实施方式
[0042]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0043]在一个实施例中，采用了一种识别出驾驶人的分心驾驶行为的方法，以降低误接管的风险，进而提升行车安全性。该方法包括下述步骤，如图1所示：
[0044]S100、获取人机共驾接管状态下驾驶人的分心驾驶时序图像数据；
[0045本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分心驾驶行为识别方法，其特征在于，所述方法包括下述步骤：S100、获取人机共驾接管状态下驾驶人的分心驾驶时序图像数据；S200、利用训练好的第一模型或训练好的第二模型基于时序图像数据获取空间特征，并在空间特征的基础上获取时空特征；S300、将所述时空特征与空间特征进行融合加强，进而获得用于分心驾驶行为类别识别分心驾驶行为特征。2.根据权利要求1所述的方法，其特征在于，所述第一模型或者第二模型在训练时采用的数据集通过下述步骤获得：S101、获取含有不同驾驶人的多种驾驶行为的分心数据集；S102、对同一驾驶人的同一分心驾驶动作图像数据，获取上下文连续的若干张图像为一个分心驾驶动作序列；S103、获得每一个分析驾驶动作序列的种类，并对所属种类进行标签处理，进而获得第一模型或者第二模型的评估数据集，并将评估数据集分为训练集和测试集；所述训练集用于对第一模型或者第二模型进行训练，所述测试集用于对第一模型或者第二模型进行验证。3.根据权利要求1所述的方法，其特征在于：所述第二模型通过知识蒸馏获得第一模型的知识。4.根据权利要求3所述的方法，其特征在于，所述第二模型通过知识蒸馏获得第一模型的知识，包括下述步骤：S110、将训练集输入训练好的第一模型，将其输出升温T后进行分类处理，得到第一输出结果；所述T大于0；S111、将相同训练集输入第二模型，将其输出作为第二输出结果；S112、将第二模型输出结果升温T后进行分类处...

【专利技术属性】
技术研发人员：金立生，姚航，华强，许新亮，郭柏苍，纪丙东，谢宪毅，王胤霖，雒国凤，
申请(专利权)人：燕山大学，
类型：发明
国别省市：