基于机器视觉安全带佩戴检测方法、装置及相关设备制造方法及图纸

本发明专利技术涉及一种基于机器视觉安全带佩戴检测方法、装置及相关设备，该方法针对道路交通视频监控系统对行驶车辆的乘员进行安全带佩戴状态的检测等问题，提出以CSPNet网络模型与YOLO

【技术实现步骤摘要】
基于机器视觉安全带佩戴检测方法、装置及相关设备


[0001]本专利技术涉及道路交通安全领域，特别涉及一种基于机器视觉安全带佩戴检测方法、装置及相关设备。

技术介绍

[0002]安全带是交通工具上的主动式安全装备，当交通工具发生碰撞或者遇到意外情况紧急刹车时，其可通过约束作用，将驾驶人员或者乘客束缚在座椅上，从而避免驾驶人员或者乘客受到二次碰撞，甚至被甩出交通工具的情况。因此，对驾驶人员或者乘客是否佩戴安全带进行识别是非常重要的，比如，在未佩戴安全带时进行提醒或者警告，在保证安全驾驶的同时，还可以提高人们遵守交通法规的意识。目前采用的深度网络进行识别检测，神经网络越深、越宽的话，性能就越好。但是，这样做会带来计算量的显著增加，对于有些任务（如目标检测）来说就比较昂贵。人们越来越需要计算量较低的模型，因为现实环境中的应用程序通常运行在小型设备上，而且推理时间不能长，这给计算机视觉算法带来了不小的挑战。尽管有一些方法是针对移动端CPU设计的，它们所采用的 depth
‑
wise separable convolution 与工业界在边缘计算上的IC设计（如Application
‑
Specific Integrated Circuit, ASIC）不兼容，以上原因造成系统可靠性低和成本高等缺陷。

技术实现思路

[0003]本专利技术的目的在于提供一种基于机器视觉安全带佩戴检测方法、装置及相关设备 ,用以解决道路交通视频监控系统对行驶车辆的乘员进行安全带佩戴状态的检测等问题。同时设计了计算效率比较高的组件，使这些网络可以部署在CPU和移动端GPU上，而不牺牲性能。
[0004]在现实中，物体检测的发展始终围绕着精度与速度这两个指标，新提出的算法要么在检测的精度上有了新的突破，要么大幅提升了检测的速度。然而，在当前的物体检测大框架下，精度与速度往往不可兼得，精度的提升往往伴随着计算量的增加，例如Cascade RCNN增加了网络阶数，FPN增加了特征之间的融合计算等。速度的提升往往会有精度的牺牲，如网络参数的量化和通道数的减少等。
[0005]虽然当前通用的检测框架已经较为成熟，检测指标也难有突破性的提升，但在特定的难点问题上仍有广阔的提升空间，这也是当前检测算法的薄弱环节。例如在智能安防、智能驾驶领域中，行人、车辆的多尺度与遮挡问题非常严重，检测器可以更好地与实际场景做结合。
[0006]本专利技术在实际工程应用中，达速度、召回率、边框精准度、移动部署的性能综合平衡，其中速度需求：自动驾驶等场景下，通常需要对图像处理达到非常低的时延才能保证足够的安全，这时检测器需要达到实时性；而在机械臂自动分拣等系统中，速度并不是第一考虑因素；召回率：在交通流量统计系统中，首先需要保障的指标是车辆、行人等物体的召回率，这会直接影响流量统计，相比之下，检测的边框精准度是次要的指标；边框精准度：在智
能测量、机械臂自动分拣等应用中，检测边框的精准度直接影响系统的成功率，因此需要选择边框精准度更高的网络，这是首要因素；移动端：当前，移动端的检测算法需求越来越高，如手机等ARM平台、边缘计算平台等，这对于模型的移动部署、轻量化提出了更高的需求。利用两阶的结构，在ARM平台上实现了实时的物体检测。本专利技术对上述情况实现性能综合平衡，有效解决以上存在的缺点，达到工程实用效果。
[0007]实现本专利技术目的的具体技术方案是：基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于，该方法包括以下具体步骤：步骤1：在输入端模块中，从道路交通视频监控系统中调取IP视频流，对视频流进行抽帧，对抽帧的图像进行清洗处理得到的待测图像，待测图像分成训练集图片、测试集图片、验证集图片三部分，其中训练集图片占比是85%、测试集图片占比是13%、验证集图片占比是2%，在训练集图片和测试集图片中将识别目标做好标注，形成最终的训练集图片和测试集图片，验证集图片不进行识别目标的标注。本步骤完成训练集图片和测试集图片的生成。
[0008]步骤2：将步骤1标注好的训练集图片组成训练集，放入主干模块中通过深度网络训练得到模型；训练过程分别采用Mosaic数据增强、自适应锚框计算、自适应图片缩放三种技术方法；一是使用Mosaic数据增强技术，通过随机缩放、随机裁剪、随机排布的方式进行拼接，使小目标识别性能提升，实现对于小目标的训练效果的提高；二是使用自适应锚框计算技术，在训练时，自适应的计算不同训练集的最佳锚框值；三是使用自适应图片缩放技术，对图片进行缩放，对黑边进行缩减，进行像素取余，减小CPU和GPU推理时的计算量，将要识别的图片转换成416*x的尺寸(其中x是32的倍数)，具体实施时，第一步：计算缩放比例，当输入为800*600图片时，目标缩放尺寸是416*416，除以原始图像的尺寸后(416/800=0.52 ；416/600=0.69)，可以得到0.52，和0.69两个缩放系数，选择小的缩放系数0.52；第二步：计算缩放后的尺寸, 原始图片的长宽（800*600）都乘以最小的缩放系数0.52，宽变成了416，而高变成了312; 第三步：计算黑边填充数值, 将416
‑
312=104，得到原本需要填充的高度；再采用numpy中np.mod操作，取余数的方式，得到8个像素，结果是np.mod（104，32）=8，再除以2，即得到图片高度两端需要填充的数值, 填充灰色，即（114,114,114），并得到自适应图片缩放处理后的图片。通过本步骤使用训练集图片对主干模块进行训练得到训练模型。
[0009]步骤3：将步骤1标注好的测试集图片组成测试集，放入主干模块中通过深度网络测试得到模型的测试初筛结果；测试初筛过程分别采用Focus技术和CSPNet深度网络两种技术方法；其中Focus技术是切片操作；CSPNet深度网络是跨阶段局部网络，通过网络后，基础层的特征图划分为两个部分，然后再通过一个跨阶段级连将这两个部分整合起来，通过分开梯度流，使梯度流可以在不同的网络路径上传播，作用是极大地降低CPU和GPU的计算量，提升推理速度和准确率。具体实施时，调用步骤2训练好的训练模型进行测试，第一步采用 Focus技术，将608*608*3的图像输入Focus网络结构中，进行切片操作，变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，转换成304*304*32的特征图；再放入基于CSPNet深度网络中，通过网络后，基础层的特征图划分为两个部分，然后再通过一个跨阶段级连将这两个部分整合起来，通过分开梯度流，使梯度流可以在不同的网络路径上传播。通过变换concat操作通过张量拼接实现维度扩充以及transition操作，使传播后的梯度流会
有较大的相关性差异，极大地降低CPU和GPU的计算量，提升推理速度和准确率；通过以上操作，测试集在主干模块中使用训练模型得到模型初筛结果。
[0010]步骤4：将步骤3得到的模型初筛结果，放入中间模块中进行融合特征的加强，作用是为了更好的提取融合特征，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于，该方法包括以下具体步骤：步骤1：在输入端模块中，从道路交通视频监控系统中调取IP视频流，对视频流进行抽帧，对抽帧的图像进行清洗处理得到的待测图像，待测图像分成训练集图片、测试集图片、验证集图片三部分，其中训练集图片占比是85%、测试集图片占比是13%、验证集图片占比是2%，在训练集图片和测试集图片中将识别目标做好标注，形成最终的训练集图片和测试集图片，验证集图片不进行识别目标的标注，本步骤完成训练集图片和测试集图片的生成；步骤2：将步骤1标注好的训练集图片组成训练集，放入主干模块中通过深度网络训练得到模型；训练过程分别采用Mosaic数据增强、自适应锚框计算、自适应图片缩放三种技术方法；一是使用Mosaic数据增强技术，通过随机缩放、随机裁剪、随机排布的方式进行拼接，使小目标识别性能提升，实现对于小目标的训练效果的提高；二是使用自适应锚框计算技术，在训练时，自适应的计算不同训练集的最佳锚框值；三是使用自适应图片缩放技术，对图片进行缩放，对黑边进行缩减，进行像素取余，减小CPU和GPU推理时的计算量，将要识别的图片转换成416*x的尺寸(其中x是32的倍数)，具体实施时，第一步：计算缩放比例，当输入为800*600图片时，目标缩放尺寸是416*416，除以原始图像的尺寸后(416/800=0.52 ；416/600=0.69)，可以得到0.52，和0.69两个缩放系数，选择小的缩放系数0.52；第二步：计算缩放后的尺寸, 原始图片的长宽（800*600）都乘以最小的缩放系数0.52，宽变成了416，而高变成了312; 第三步：计算黑边填充数值, 将416
‑
312=104，得到原本需要填充的高度；再采用numpy中np.mod操作，取余数的方式，得到8个像素，结果是np.mod（104，32）=8，再除以2，即得到图片高度两端需要填充的数值, 填充灰色，即（114,114,114），并得到自适应图片缩放处理后的图片，通过本步骤使用训练集图片对主干模块进行训练得到训练模型；步骤3：将步骤1标注好的测试集图片组成测试集，放入主干模块中通过深度网络测试得到模型的测试初筛结果；测试初筛过程分别采用Focus技术和CSPNet深度网络两种技术方法；其中Focus技术是切片操作；CSPNet深度网络是跨阶段局部网络，通过网络后，基础层的特征图划分为两个部分，然后再通过一个跨阶段级连将这两个部分整合起来，通过分开梯度流，使梯度流可以在不同的网络路径上传播，作用是极大地降低CPU和GPU的计算量，提升推理速度和准确率；具体实施时，调用步骤2训练好的训练模型进行测试，第一步采用 Focus技术，将608*608*3的图像输入Focus网络结构中，进行切片操作，变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，转换成304*304*32的特征图；再放入基于CSPNet深度网络中，通过网络后，基础层的特征图划分为两个部分，然后再通过一个跨阶段级连将这两个部分整合起来，通过分开梯度流，使梯度流可以在不同的网络路径上传播；通过变换concat操作通过张量拼接实现维度扩充以及transition操作，使传播后的梯度流会有较大的相关性差异，极大地降低CPU和GPU的计算量，提升推理速度和准确率；通过以上操作，测试集在主干模块中使用训练模型得到模型初筛结果；步骤4：将步骤3得到的模型初筛结果，放入中间模块中进行融合特征的加强，作用是为了更好的提取融合特征，中间模块中分别采用SPP池化技术、FPN技术和PAN技术三种技术方法；其中在SPP池化技术中，使用k={1
×
1,5
×
5,9
×
9,13
×
13}的最大池化的方式，再将不同尺度的特征图进行Concat操作通过张量拼接实现维度扩充，通过发明人对比测试，采用SPP
池化技术，比单纯的使用k
×
k最大池化的方式，更有效的增加主干特征的接收范围，显著的分离了特征图中的最重要的上下文特征，在实施中，使用608
×
608大小的图像进行测试时发现，在COCO目标检测任务中，以0.5%的额外计算代价将AP50增加了2.7%；FPN技术中主要...

【专利技术属性】
技术研发人员：刘至键，
申请(专利权)人：刘至键，
类型：发明
国别省市：