一种双网络融合的驾驶员手势识别监测方法技术

本发明专利技术公开了一种双网络融合的驾驶员手势识别监测方法，通过引入Res‑CBAM结构对YOLOv7网络进行改进，增强对座舱内手势特征的识别能力；改进后的网络结构在自采集的座舱域手势数据集上进行训练。本发明专利技术提出基于L1正则化稀疏训练的BN层通道剪枝方法和基于层自适应稀疏化的非结构化剪枝方法LAMP，以达到预定的全局稀疏性水平；剪枝后，模型通过微调训练恢复性能，并使用验证集进行性能验证。

【技术实现步骤摘要】

本专利技术涉及一种手势识别监测方法，具体为一种双网络融合的驾驶员手势识别监测方法，属于机器视觉。

技术介绍

1、随着汽车产业的快速发展，智能汽车已成为汽车产业的重要发展方向。在智能汽车领域，手势识别技术因其无需接触和高效的优点，正逐步成为人机交互的重要方式。然而，现有技术在实现手势识别时面临两大挑战：一是行车过程中对手势的实时监测和反馈需求，二是在有限算力下实现高效准确的手势监测。

2、现有技术中，如公布号为cn109977875a所公开的一种基于深度学习的手势识别方法及设备，将待识别图像输入预先构建的手势识别模型；其中，手势识别模型基于预先标注的图像样本和yolov3深度学习网络训练获得；基于手势识别模型的输出结果，获得待识别图像中包含手势的子图像。解决现有技术中手势识别方法对小目标不够鲁棒，目标集中时容易漏检和误检的技术问题，实现快速和准确进行手势识别的技术效果。但是，目前智能座舱域手势识别系统的研究尚处于起步阶段，大多数系统依赖于传统的机械按键或触屏交互，这些方式在驾驶过程中可能会导致驾驶员分心，增加安全风险。此外，深度学习技术虽然在图像本文档来自技高网...

【技术保护点】

1.一种双网络融合的驾驶员手势识别监测方法，其特征在于，所述手势识别监测方法包括以下步骤：

2.根据权利要求1所述的手势识别监测方法，其特征在于：所述步骤S1和步骤S2中，利用车载摄像头实时采集驾驶员手势视频数据，对筛选后的图像帧进行质量检测，移除低质量图像，将标注完成的图像随机划分；其中60％的图像作为训练集用于训练模型，30％的图像作为验证集用于模型验证，10％的图像作为测试集用于测试模型性能；划分的数据集保持各类手势的类别平衡以确保模型训练的有效性和泛化能力。

3.根据权利要求2所述的手势识别监测方法，其特征在于：所述车载摄像头实时采集的驾驶员手势视频数据是...

【技术特征摘要】

1.一种双网络融合的驾驶员手势识别监测方法，其特征在于，所述手势识别监测方法包括以下步骤：

2.根据权利要求1所述的手势识别监测方法，其特征在于：所述步骤s1和步骤s2中，利用车载摄像头实时采集驾驶员手势视频数据，对筛选后的图像帧进行质量检测，移除低质量图像，将标注完成的图像随机划分；其中60％的图像作为训练集用于训练模型，30％的图像作为验证集用于模型验证，10％的图像作为测试集用于测试模型性能；划分的数据集保持各类手势的类别平衡以确保模型训练的有效性和泛化能力。

3.根据权利要求2所述的手势识别监测方法，其特征在于：所述车载摄像头实时采集的驾驶员手势视频数据是收集汽车驾驶员本人的不同手势图像而形成的小型数据集。

4.根据权利要求1所述的手势识别监测方法，其特征在于：所述步骤s3中，引入改进后的yolov7-icg网络具体包括以下步骤：

5.根据权利要求4所述的手势识别监测方法，其特征在于：所述步骤s33中，采用的卷积核处理所需用到的注意力函数，包括以下部分：

6.根据权利要求1所述的手势识别监测方法，其特征在于：所述步骤s3中，...

【专利技术属性】
技术研发人员：杜沁，郝敬宾，梁赐，刘新华，华德正，孙晓凯，曹戎戈，徐通，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：