基于CNN和ViL的轻量级驾驶员分心行为检测方法技术

本发明专利技术公开了一种基于CNN和ViL的轻量级驾驶员分心行为检测方法，属于驾驶员分心检测领域，结合卷积神经网络CNN与视觉长短期记忆网络ViL构建了一个混合模型进行驾驶员分心行为检测，混合模型进行五个阶段的处理，在前两个阶段主要进行局部特征提取，通过使用DEC模块实现局部特征的提取和下采样功能，PDC模块进一步丰富局部特征的提取。在后三个阶段，使用MlgViL模块进行局部信息与全局信息的处理和融合。本发明专利技术将局部信息和全局信息进行高效融合，既保留了细粒度的局部信息，也捕捉了全局上下文信息，提升了模型的整体性能，从而实现在有限计算资源下保持高精度和实时性。

【技术实现步骤摘要】

本专利技术属于驾驶员分心检测领域，具体涉及一种基于cnn和vil的轻量级驾驶员分心行为检测方法。

技术介绍

1、当前，驾驶员分心检测技术在真实道路交通场景中的应用仍面临严峻挑战。在实际部署中，车载计算设备通常资源有限，需同时满足实时性、低功耗和高精度的要求。然而，现有方法往往难以兼顾这些需求：

2、一方面，基于复杂卷积神经网络(cnn)或混合cnn-vit的模型虽能提升检测精度，但参数量和计算量大幅增加，难以在边缘设备(如车载终端或嵌入式系统)上高效运行，导致推理延迟高、功耗大，无法满足实时监控的需求。

3、另一方面，现有轻量化模型为降低计算复杂度，常采用深度可分离卷积等简化结构，但会牺牲多尺度特征提取能力，尤其在复杂交通场景(如光照变化、遮挡等)下，检测精度显著下降。此外，多数方法缺乏对局部细节与全局语义信息的高效融合机制，难以准确识别多样化的分心行为(如使用手机、饮食、疲劳等)。

4、因此，亟需一种能在有限计算资源下保持高精度和实时性的驾驶员分心检测方法，以适配实际道路场景中的边缘部署需求。>

<本文档来自技高网...

【技术保护点】

1.一种基于CNN和ViL的轻量级驾驶员分心行为检测方法，其特征在于，结合卷积神经网络CNN与视觉长短期记忆网络ViL构建了一个混合模型进行驾驶员分心行为检测，混合模型进行五个阶段的处理，具体过程为：

2.根据权利要求1所述基于CNN和ViL的轻量级驾驶员分心行为检测方法，其特征在于，所述PDC模块通过部分卷积技术进行计算，具体工作过程为：首先通过1×1部分卷积进行通道扩展，将输入特征图的通道数从C提升至2C；接着采用3×3深度卷积提取空间特征并保持通道数不变；再用1×1部分卷积将通道压缩回原始维度；最后采用残差连接将输入特征与处理后的特征相加；

<p>3.根据权利要求...

【技术特征摘要】

1.一种基于cnn和vil的轻量级驾驶员分心行为检测方法，其特征在于，结合卷积神经网络cnn与视觉长短期记忆网络vil构建了一个混合模型进行驾驶员分心行为检测，混合模型进行五个阶段的处理，具体过程为：

2.根据权利要求1所述基于cnn和vil的轻量级驾驶员分心行为检测方法，其特征在于，所述pdc模块通过部分卷积技术进行计算，具体工作过程为：首先通过1×1部分卷积进行通道扩展，将输入特征图的通道数从c提升至2c；接着采用3×3深度卷积提取空间特征并保持通道数不变；再用1×1部分卷积将通道压缩回原始维度；最后采用残差连接将输入特征与处理后的特征相加；

3.根据权利要求2所述基于cnn和vil的轻量级驾驶员分心行为检测方法，其特征在于，所述dec模块包括训练与部署两个阶段，在训练阶段，输入特征图首先经过两条并行的3×3深度卷积及归一化处理，随后融合后输入至高效多维注意力模块；经高效多维注意力模块处理后，通过1×1卷积调整通道数，特征图的输出尺寸变为h/2×w/2×d；在部署阶段，将训练阶段的双分支深度卷积与归一化操作通过结构重参数化融合为单一的3×3深度卷积，后续依然通过高效多维注意力模块及1×1卷积完成特征处理；其中，h、w、d分别为输出特征图的高度、宽度、调整后的通道数。

4.根据权利要求3所述基于cnn和vil的轻量级驾驶员分心行为检测方法，其特征在于，所述深度卷积的计算公式为：

5.根据权利要求4所述基于cnn和vil的轻量级驾驶员分心行为检测方法，其特征在于，所述高效多维注意力模块采用高效多维注意力机制，工作过程为：输入特征首先分别进行旋转处理，获得通道-宽度和通道-高度方向的特征表示，并与原始特征一同进行全局平均池化操作；池化后的描述符分别输入至对应的1d卷积模块；经sigmoid激活后，各尺度的注意力权重通过逐元素乘法作用于输入特征，并完成旋转还原，最终输出增强后的特征图；

6.根据权利要求5所述基于cnn和v...

【专利技术属性】
技术研发人员：孙海滨，宋星辉，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：