【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及基于改进yolov7人员眼嘴部状态检测方法及系统。
技术介绍
1、驾驶员眼部和嘴部状态检测是一项在计算机视觉和人机交互领域具有广泛应用前景的技术，这项技术主要涉及使用计算机视觉方法和人工智能算法来监测和分析驾驶员的眼睛和嘴部的状态，以识别注意力、健康状况和用户意图等方面的信息，尤其在驾驶安全中，基于深度学习的驾驶员眼部和嘴部状态检测具有重要的意义，深度学习算法可以实时监测驾驶员的眼部和嘴部状态，以检测疲劳、分心和其他驾驶不安全行为，对眼部和嘴部状态检测可以用于监测司机的注意力和疲劳水平，帮助驾驶员避免潜在的事故，提高驾驶的安全性防止事故的发生。
2、随着深度学习技术的广泛应用，人眼和嘴部状态检测领域已经迎来了重要的进展。尽管在受控环境下，检测模型已经取得了令人满意的高准确度，但在真实世界的无约束环境中，依然存在着光照变化尺度变化等问题。
3、随着深度学习技术的广泛应用，人眼和嘴部状态检测领域已经迎来了的进展，彭杨等人的基于yolov7的端到端多任务学习的疲劳驾驶检测方法和系统提出了一种端到端的多任务学习检测方法，通过共享主干网络的提取的深层语义特征，分别引入检测分支、关键点检测分支、多属性分支，将多个属性任务进行多任务学习，虽然一次性得到检测的所有信息，节省了硬件和显存资源，但是牺牲了检测精度，检测效果有待提升。
4、除此之外，在真实世界的无约束环境中，光照变化尺度变化也是要考虑的问题，研究人员一般的做法是堆积模型结构，但这需要更大规模的卷积神经网络，从而导致模
技术实现思路
1、针对现有方法的不足，本专利技术解决现有方法检测准确率低和模型参数量大的问题。
2、本专利技术所采用的技术方案是：基于改进yolov7人员眼嘴部状态检测方法包括以下步骤：
3、步骤一、采集驾驶员眼部和嘴部图像数据，并对图像数据做预处理；
4、作为本专利技术的一种优选实施方式，采用mosaic-4对图像数据进行增强。
5、作为本专利技术的一种优选实施方式，对图像数据进行平移、旋转、缩放、翻转、调整图像曝光度和饱和度。
6、步骤二、搭建yolov7主干特征提取网络，利用elan-lsk模块替代elan模块，elan-lsk模块是在elan模块尾部加入lsk选择性注意力；利用elan-lsk模块对驾驶员眼部和嘴部特征进行特征提取学习，通过大内核和空间选择机制来筛选特征信息，从而生成具有不同深度信息的初始特征；
7、作为本专利技术的一种优选实施方式，将yolov7的backbone层的第4、6、8、10层elan模块替换为elan-lsk模块。
8、作为本专利技术的一种优选实施方式，backbone主干部分由4次cbs操作、4次elan-lsk操作和3次mp操作组成。
9、作为本专利技术的一种优选实施方式，backbone主干部分由4次cbs操作、4次elan-lsk操作和3次mp操作组成。
10、步骤三、改进neck颈部，通过改进sppcspc模块，在感受视野不变的情况下，减少参数量；
11、作为本专利技术的一种优选实施方式，改进sppcspc模块是将sppcspc模块的三个并联maxpool改为串行连接，利用两个5×5大小的maxpool层和三个两个5×5大小的maxpool层分别替换9×9大小maxpool层和一个13×13大小maxpool层。
12、作为本专利技术的一种优选实施方式，改进neck颈部还包括：在第20层继续对特征金字塔依次执行elan-w操作、cbs操作、上采样操作，并将第24层cbs模块与第25层进行concat融合后，再经历elan-w操作、repconv操作输出160×160×128的特征检测头。
13、步骤四、利用输出的融合特征进行特征学习，完成对驾驶员眼部和嘴部状态的检测。
14、作为本专利技术的一种优选实施方式，基于改进yolov7人员眼嘴部状态检测系统，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现基于改进yolov7人员眼嘴部状态检测方法。
15、作为本专利技术的一种优选实施方式，存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现基于改进yolov7人员眼嘴部状态检测方法。
16、本专利技术的有益效果：
17、1、通过lsk选择性注意力机制，从不同尺度的深度卷积核中对特征图进行空间选择，有效减少模型计算复杂度；
18、2、改进sppcspc是第3个cbs模块后串行3个5×5大小的maxpool层；代替原sppcspc第3个cbs模块后分别与5×5、9×9、13×13大小的maxpool层并行结构，在保证相同的感受野的前提下可减少模型参数量；
19、3、将neck颈部部分继续进行上采样特征提取，增加一个160×160×128尺度输出检测头，提高所能识别目标的尺度范围。
本文档来自技高网...【技术保护点】
1.基于改进YOLOv7人员眼嘴部状态检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于改进YOLOv7人员眼嘴部状态检测方法，其特征在于，将YOLOv7的Backbone层的第4、6、8、10层ELAN模块替换为ELAN-LSK模块。
3.根据权利要求1所述的基于改进YOLOv7人员眼嘴部状态检测方法，其特征在于，改进SPPCSPC模块是将SPPCSPC模块的三个并联MaxPool改为串行连接，利用两个5×5大小的MaxPool层和三个两个5×5大小的MaxPool层分别替换9×9大小MaxPool层和一个13×13大小MaxPool层。
4.根据权利要求1所述的基于改进YOLOv7人员眼嘴部状态检测方法，其特征在于，改进Neck颈部还包括：在第20层继续对特征金字塔依次执行ELAN-W操作、CBS操作、上采样操作，并将第24层CBS模块与第25层进行Concat融合后，再经历ELAN-W操作、RepConv操作输出160×160×128的特征检测头。
5.根据权利要求1所述的基于改进YOLOv7人员眼嘴部状态检测
6.根据权利要求1所述的基于改进YOLOv7人员眼嘴部状态检测方法，其特征在于，对图像数据进行平移、旋转、缩放、翻转、调整图像曝光度和饱和度。
7.根据权利要求2所述的基于改进YOLOv7人员眼嘴部状态检测方法，其特征在于，Backbone主干部分由4次CBS操作、4次ELAN-LSK操作和3次MP操作组成。
8.基于改进YOLOv7人员眼嘴部状态检测系统，其特征在于，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现如权利要求1-7任一项所述的基于改进YOLOv7人员眼嘴部状态检测方法。
9.存储有计算机程序代码的计算机可读介质，其特征在于，计算机程序代码在由处理器执行时实现如权利要求1-7任一项所述的基于改进YOLOv7人员眼嘴部状态检测方法。
...【技术特征摘要】
1.基于改进yolov7人员眼嘴部状态检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于改进yolov7人员眼嘴部状态检测方法，其特征在于，将yolov7的backbone层的第4、6、8、10层elan模块替换为elan-lsk模块。
3.根据权利要求1所述的基于改进yolov7人员眼嘴部状态检测方法，其特征在于，改进sppcspc模块是将sppcspc模块的三个并联maxpool改为串行连接，利用两个5×5大小的maxpool层和三个两个5×5大小的maxpool层分别替换9×9大小maxpool层和一个13×13大小maxpool层。
4.根据权利要求1所述的基于改进yolov7人员眼嘴部状态检测方法，其特征在于，改进neck颈部还包括：在第20层继续对特征金字塔依次执行elan-w操作、cbs操作、上采样操作，并将第24层cbs模块与第25层进行concat融合后，再经历elan-w操作、repconv操作输出160×...
【专利技术属性】
技术研发人员：陈从平，陆洋，吴伟鹏，严转红，张春生，
申请(专利权)人：常州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。