【技术实现步骤摘要】
本专利技术属于疲劳检测，具体为基于zero-dce++与改进yolov7的疲劳检测算法。
技术介绍
1、随着生活条件的改善，越来越多的家庭购买了自己的私家车。这带给人们诸多便利的同时也在无形中增加了交通事故发生的可能性。近几年，每年发生交通事故的数量呈现上升趋势。其中疲劳驾驶是导致交通事故发生的一个重要原因，因此对疲劳驾驶进行防范，检测和提醒能有效减少交通事故的发生。目前汽车驾驶辅助技术突飞猛进，疲劳检测技术可以作为防范疲劳驾驶的一种重要手段。目前疲劳检测技术基于脑电，眼电及心电等生理信号数据提取疲劳有关特征进行检测的生理信号检测技术。提出的基于长短期记忆神经网络(cnn-lstm)的多通道脑电图(eeg)精神疲劳检测模型，将志愿者的状态分为三种不同的精神疲劳程度：清醒、轻度疲劳和重度疲劳。并收集志愿者的eeg数据，利用eeg数据判断志愿者的状态，结果表明，该模型的平均识别准确率为97.12％。该模型的灵敏度为97.80％，特异性为99.28％，能够有效地区分三种不同的精神疲劳状态。该类检测技术通过直接获得驾驶员生理数据的方式达到了极高的疲劳判断正确率。
2、但使用该技术需要驾驶员佩戴相关的仪器，增加了检测成本的同时，降低了驾驶员的舒适度。
技术实现思路
1、本专利技术的目的在于：为了解决上述提出的问题，提供基于zero-dce++与改进yolov7的疲劳检测算法。
2、本专利技术采用的技术方案如下：基于zero-dce++与改进yolov7的疲劳检测算法，
3、在一优选的实施方式中，所述图像采集模块利用pc进行设计，因pc本身没有摄像头，所以利用usb外接摄像头进行图像采集；摄像头的采集分辨率为1920x1080像素，采集帧率为30fps。
4、在一优选的实施方式中，所述特征检测模块包括可变形卷积和gs卷积。
5、在一优选的实施方式中，所述可变形卷积(dcn)v3
6、
7、的公式表达如(1)所示，其中p0是输出特征图的每个点，与卷积核中心点对应，pn是p0在卷积核范围内的每个相对位置；可变形卷积是一种卷积神经网络的改进方法，它可以让卷积核的采样位置根据输入特征图动态地变化，从而适应不同的几何形变；它的原理是在卷积核的每个位置增加一个可学习的偏移量，然后用双线性插值法得到偏移后的像素值，再进行加权求和；dcnv2在dcnv1基础上添加每个采样点的权重系数，来区分引入的区域是否为感兴趣的区域；总的来说，dcn v1中引入的偏移量是要寻找有效信息的区域位置，dcnv2中引入权重系数是要给找到的这个位置赋予权重，这两方面保证了有效信息的准确提取；它的作用是可以更灵活地提取出感兴趣区域的特征，提高目标检测和分割等任务的性能；dcnv2对于长程依赖而言,采样偏移足够灵活,可以对短/长程特征进行交互；对于自适应聚合而言,采样偏移与调制因子均可学习且与输入x有关；wenhai wang为了使cnn得到与vit相似的性能，以dcnv2算子为基础，对其进行了扩展改进；dcnv2的调制因子通过sigmoid进行归一化处理，尽管每个调制因子均在[0,1]范围内，但其和并不稳定，从0到k之间变化，这会导致不稳定的梯度；为消除该不稳定问题，wang将元素级的sigmoid归一化调整为沿采样点的softmax归一化；此时，调制因子的综合为1，这使得整个训练过程更为稳定；通过组合上述改进，普通卷积成功进化到了dcnv3，描述如下：
8、
9、其中,δpn是为每个点引入的一个偏移量；m(pn)是权重系数，g表示聚合组数量；对于第g组，wg∈rc*c′表示位置不相关的投影权值,c′＝c/g表示组尺寸,m(pgn)表示第n个采样点的调制因子且沿维度r通过softmax归一化；该算子弥补了常规卷积在长程依赖与自适应空域聚合方面的不足，集成了cnn的归纳偏置，在计算量与内存方面更为高效。
10、在一优选的实施方式中，所述gs卷积深度可分离卷积(dwconv)是由depthwise(dw)卷积与pointwise(pw)卷积组成；该结构和常规卷积类似，可作为普通卷积的一种替代品，它的最大优点是计算效率非常高；因此使用dsconv构建轻量级模型是当下非常常见的做法；不过dsconv的这种高效性是以低精度作为代价的；为最大限度地减少dsconv缺陷对模型的负面影响，并有效利用dsconv的优势，引入了一种新方法gsconv来代替普通卷积操作；该方法使卷积计算的输出尽可能接近普通卷积，同时降低计算成本；
11、为了加速预测的计算，cnn中的图像几乎必须在backbone中经历类似的转换过程：空间信息逐步向通道传输；并且每次特征图的空间(宽度和高度)压缩和通道扩展都会导致语义信息的部分丢失；密集卷积计算最大限度地保留了每个通道之间的隐藏连接，而稀疏卷积则完全切断了这些连接；gsconv尽可能地保留这些连接；但是如果在模型的所有阶段都使用它，模型的网络层会更深，深层会加剧对数据流的阻力，显著增加推理时间；当这些特征图走到neck时，它们已经变得细长(通道维度达到最大，宽高维度达到最小)，不再需要进行变换；因此，提出使用gsconv的最佳方式：仅在neck使用gsconv(slim-neck+标准backbone)；在这个阶段，使用gsconv处理拼接的特征图刚刚好，冗余重复信息少，不需要压缩，注意力模块效果更好；并通过实验验证了使用gsconv方法轻量化neck的效果；为自动驾驶汽车的检测器架构提供了一种新的设计范式，即带有标准backbone的slim-neck设计。
12、在一优选的实施方式中，所述多特征融合的疲劳判断模块依据人在疲劳时的特征进行判断，这些疲劳特征包括眨眼次数变多，单次眨眼时间变长，打哈欠和疲劳时的不受控制的头部下坠和后仰等；这些特征主要通过下面这些方式进行提取；
13、眼部纵横比(ear)：在人脸68关键点模型中，围绕人眼有6个关键点；ear的定义为p2到p6的距离和p3到p5距离相加除以2倍的p1到p4的距离；
14、眨眼次数：ear的值可以有效的判断眼睛的张闭状态，经过研究发现当ear值小于0.2时，眼睛处于闭合状态，当ear数值经历一个大于0.2到小于0.2又回到大于0.2的过程时，可以判断为眨眼1次，通过记录可以得到一段时间内眨眼的总次数，及每次眨眼所用的帧数，通过帧率关系可以得到每次眨眼所用时间数据；
15、
16、perclos：卡内基梅隆研究所经过反复实验和论证，在眼睛的闭合时间一定程度地反映疲劳基础上提出了度量疲劳/瞌睡的物理量perclos(percentage of eyeiid ciosureover the pupii,over time，简称perclos)其定义为单位时间内(一般取1分钟或者30秒)眼睛闭合一定比例(70％或80％)本文档来自技高网...
【技术保护点】
1.基于Zero-DCE++与改进YOLOv7的疲劳检测算法，其特征在于：所述疲劳检测算法包括：图像采集模块、特征检测模块、多特征融合的疲劳判断模块、低光增强模块。
2.如权利要求1所述的基于Zero-DCE++与改进YOLOv7的疲劳检测算法，其特征在于：所述图像采集模块利用PC进行设计，因PC本身没有摄像头，所以利用USB外接摄像头进行图像采集；摄像头的采集分辨率为1920x1080像素，采集帧率为30FPS。
3.如权利要求1所述的基于Zero-DCE++与改进YOLOv7的疲劳检测算法，其特征在于：所述特征检测模块包括可变形卷积和GS卷积。
4.如权利要求1所述的基于Zero-DCE++与改进YOLOv7的疲劳检测算法，其特征在于：所述可变形卷积(DCN)v3
5.如权利要求1所述的基于Zero-DCE++与改进YOLOv7的疲劳检测算法，其特征在于：所述GS卷积深度可分离卷积(DWconv)是由Depthwise(DW)卷积与Pointwise(PW)卷积组成；该结构和常规卷积类似，可作为普通卷积的一种替代品，它的最大优点
6.如权利要求1所述的基于Zero-DCE++与改进YOLOv7的疲劳检测算法，其特征在于：所述多特征融合的疲劳判断模块依据人在疲劳时的特征进行判断，这些疲劳特征包括眨眼次数变多，单次眨眼时间变长，打哈欠和疲劳时的不受控制的头部下坠和后仰等；这些特征主要通过下面这些方式进行提取；
7.如权利要求1所述的基于Zero-DCE++与改进YOLOv7的疲劳检测算法，其特征在于：所述低光增强模块将低光增强任务重新定义为亮度增强曲线估计问题，设计了一种可以将弱光图像自动映射到正常光照的曲线，其中曲线参数完全取决于输入图像，使用空间一致性损失、曝光控制损失、颜色一致性损失以及光照平滑损失结合作为损失函数，使用DCE-Net对网络曲线参数进行估计，通过估计的曲线对图片进行调整；最终可以在极短的时间内达到低光增强的效果；在充分实验和观察的基础上，通过使用DSconv代替普通卷积、简化亮度曲线，对输入图像进行下采样三个方面对Zero-DCE进行优化，最终获得了参数更少，计算量更低，推理速度更快的Zero-DCE++；最终Zero-DCE++训练参数精简到10K，推理一张大小为3通道的1200*900像素图像所使用的浮点数运算为0.115G FLOPs、单个GPU/CPU上实时推理速度达到1000/11FPS；
...【技术特征摘要】
1.基于zero-dce++与改进yolov7的疲劳检测算法，其特征在于：所述疲劳检测算法包括：图像采集模块、特征检测模块、多特征融合的疲劳判断模块、低光增强模块。
2.如权利要求1所述的基于zero-dce++与改进yolov7的疲劳检测算法，其特征在于：所述图像采集模块利用pc进行设计，因pc本身没有摄像头，所以利用usb外接摄像头进行图像采集；摄像头的采集分辨率为1920x1080像素，采集帧率为30fps。
3.如权利要求1所述的基于zero-dce++与改进yolov7的疲劳检测算法，其特征在于：所述特征检测模块包括可变形卷积和gs卷积。
4.如权利要求1所述的基于zero-dce++与改进yolov7的疲劳检测算法，其特征在于：所述可变形卷积(dcn)v3
5.如权利要求1所述的基于zero-dce++与改进yolov7的疲劳检测算法，其特征在于：所述gs卷积深度可分离卷积(dwconv)是由depthwise(dw)卷积与pointwise(pw)卷积组成；该结构和常规卷积类似，可作为普通卷积的一种替代品，它的最大优点是计算效率非常高；因此使用dsconv构建轻量级模型是当下非常常见的做法；不过dsconv的这种高效性是以低精度作为代价的；为最大限度地减少dsconv缺陷对模型的负面影响，并有效利用dsconv的优势，引入了一种新方法gsc...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。