一种睡岗行为检测方法及系统技术方案

本申请公开了一种睡岗行为检测方法及系统，属于图像处理领域，其中方法包括：采集值班室实景图像，经过嵌入式芯片硬件解码后，将解码出的每一帧RGB图像送入目标检测网络；采用目标检测网络对每一帧RGB图像进行目标检测，得到每一帧RGB图像的人体检测框；采用目标跟踪算法对每一帧RGB图像的人体检测框进行目标跟踪，计算T时间内属于同一目标的检测框的中心点变化；采用行为识别网络对所述对应的RGB图像中目标进行图像分类，判定是否属于睡岗行为。本申请的方法大大减少网络权重以及计算量，提高了在边缘设备上目标检测速度和准确度。度。度。

【技术实现步骤摘要】
一种睡岗行为检测方法及系统


[0001]本专利技术属于图像处理领域，具体涉及一种睡岗行为检测方法及系统。

技术介绍

[0002]如何检测员工睡岗行为一直以来都是许多管理人员思考的问题，因为一些特定场景需要员工时刻保持专注，如加油值班员、塔台管理员等，是严厉禁止随意离岗睡岗的，因为此类行为可能会引起重大事故。而此类岗位24小时安全监督管理又有一定困难，因此促生了值班室视频监控系统的出现。
[0003]传统的视频监控系统是以人工为前提。但采用人工监管的方式同样会存在监管人员疏忽、怠惰的问题。因此采用自动化的智能分析系统才是一种行之有效的安全监管方式。
[0004]人体行为检测是智能视频监控的关键应用领域之一。如今人类行为检测技术广泛应用于多个领域，如智能视频监控、视频搜索与检索、虚拟现实(VR)技术、人机交互以及自动驾驶等。传统的人体行为检测技术先使用手工设计特征提取模型，如HOG特征、Haar特征；而后利用提取的特征进行行为分类，如支持向量机(Support Vector Machine，SVM)、随机森林(Random Forest，RF)等。但传统的机器学习方式由于手工设计特征、泛化能力较差等原因，在实际使用中效果较差。近年来，目标检测领域涌现一大批优秀的算法，如Faster
‑
RCNN、YOLO、SSD等，这些目标检测算法的出现为行为检测问题提供了一种新的思路。即先使用目标检测算法进行人体目标捕捉，而后结合性能优秀的图像分类网络进行行为分类，识别出指定行为的图像。
[0005]在行为检测方面如今有两种常用的检测算法：目标检测算法以及人体姿态估计算法。从具体实现上看，姿态估计算法将生成人体姿态如头部、肩部和膝盖等部位的关键点。然而，在实际工作场景下，员工的身体经常被遮挡，造成很多关键点遗失。此外，由于睡岗姿势多变，如头朝下睡觉、侧趴着睡觉、仰着睡觉等，几乎找不到一个可以准确表示人体关键点与特定姿势的映射关系，因此这种方法同样具有较大的局限性。
[0006]与此同时，在许多实际工业生产环境下，将相关深度学习算法移植到功耗较低、数据保密性高、维护成本较低的嵌入式设备已成为一种潮流。但由于嵌入式设备计算性能、内存空间、算子兼容性等多方面的限制，一些学术上提出的神经网络拥有较好的性能，但却因为睡岗检测算法计算量大、模型复杂，通常难以将其移植到嵌入式设备中。

技术实现思路

[0007]为解决现有技术中的不足，本申请提出一种睡岗行为检测方法及系统。
[0008]第一方面，本申请提出一种睡岗行为检测方法，包括如下步骤：
[0009]步骤S1：采集值班室实景图像，经过嵌入式芯片硬件解码后，将解码出的每一帧RGB图像送入目标检测网络；
[0010]步骤S2：采用目标检测网络对每一帧RGB图像进行目标检测，得到每一帧RGB图像的人体检测框；
[0011]步骤S3：采用目标跟踪算法对每一帧RGB图像的人体检测框进行目标跟踪，计算T时间内属于同一目标的检测框的中心点变化；
[0012]步骤S4：判断中心点变化是否小于第一阈值；
[0013]步骤S5：当中心点变化小于第一阈值时，将对应的RGB图像传递给行为识别网络，转到步骤S7；
[0014]步骤S6：当中心点大于等于第一阈值时，则输出识别结果为未发现睡岗行为；
[0015]步骤S7:采用行为识别网络对所述对应的RGB图像中目标进行图像分类，判定是否属于睡岗行为，若识别为睡岗行为，则输出识别结果为发现睡岗行为并展示睡岗行为对应的RGB图像，若识别为不是睡岗行为，则输出识别结果为未发现睡岗行为。
[0016]所述目标检测网络是对YOLO V3算法(You Only Look Once V3只看一次目标检测算法版本3)进行改进，包括40层卷积层以及4个残差层。
[0017]所述卷积层包括：具有16个卷积核的第一卷积层、具有16个卷积核的第二卷积层、具有16个卷积核的第三卷积层、2个第一组合卷积层、具有48个卷积核的第八卷积层、4个第二组合卷积层、具有64个卷积核的第十七卷积层、4个第三组合卷积层、具有96个卷积核的第二十六卷积层、7个第四组合卷积层；将所述第三组合卷积层的输出结果输入到Route层，将所述第四组合卷积层的输出结果输入到第三十九卷积层，将所述第三十九卷积层的输出结果输入到上采样层，将上采样层输出结果输入到Route层，将所述Route层输出结果输入到第四十卷积层，所述第三十九卷积层与第四十层卷积层的输出之和确定为改进后的YOLO V3算法的网络输出；
[0018]所述第一组合卷积层包括：2个具有32个卷积核的卷积层以及第一残差层；
[0019]所述第二组合卷积层包括：2个具有48个卷积核的卷积层以及第二残差层；
[0020]所述第三组合卷积层包括：2个具有64个卷积核的卷积层以及第三残差层；
[0021]所述第四组合卷积层包括：2个具有96个卷积核的卷积层以及第四残差层。
[0022]所述第一残差层、第二残差层、第三残差层以及第四残差层均包括：第一残差单元、第二残差单元；
[0023]所述第一残差单元、第二残差单元、第一加和单元依次顺序相连接；残差单元的输入分别与第一残差单元、第一加和单元相连接，残差单元的输出与第一加和单元相连接；
[0024]残差单元的输入经过第一残差单元、第二残差单元与所述残差单元的输入同时经过第一加和单元，得到残差单元的输出。
[0025]所述第一残差单元、第二残差单元均包括：卷积子单元、批标准化层、激活函数子单元；
[0026]所述卷积子单元、批标准化层、激活函数子单元依次顺序相连接；
[0027]卷积子单元的输入依次经过卷积子单元、批标准化层、激活函数子单元，得到激活函数的输出，即为所述第一残差单元或第二残差单元的输出。
[0028]所述激活函数子单元设置为ReLU激活函数。
[0029]所述目标检测网络采用CIoU损失函数Loss
CIoU
，公式如下：
[0030][0031]其中，iou表示计算真实框与检测框的交并比；b表示预测框，b
gt
表示真实框，ρ2(b,
b
gt
)表示计算检测框和真实框的中心点的欧式距离；c是最小包围两个框的对角线长度；υ衡量两个框的相对比例一致性，α是权重系数。
[0032]所述目标检测网络还包括采用Mosaic数据增强对RGB图像进行数据增强，步骤如下：
[0033]采集值班室实景图像，经过嵌入式芯片硬件解码后，将解码出的每一帧RGB图像；
[0034]取出一批次数据，所述一批次数据包括M帧RGB图像；
[0035]从所述批次中抽取4张图片，随机产生裁剪位置cut_x和cut_y，而后将四个裁剪部分拼接成新的图像；
[0036]将所述拼接成新的图像与所有解码出的每一帧RGB图像送入目标检测网络。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种睡岗行为检测方法，其特征在于，包括以下步骤：步骤S1：采集值班室实景图像，经过嵌入式芯片硬件解码后，将解码出的每一帧RGB图像送入目标检测网络；步骤S2：采用目标检测网络对每一帧RGB图像进行目标检测，得到每一帧RGB图像的人体检测框；步骤S3：采用目标跟踪算法对每一帧RGB图像的人体检测框进行目标跟踪，计算T时间内属于同一目标的检测框的中心点变化；步骤S4：判断中心点变化是否小于第一阈值；步骤S5：当中心点变化小于第一阈值时，将对应的RGB图像传递给行为识别网络，转到步骤S7；步骤S6：当中心点大于等于第一阈值时，则输出识别结果为未发现睡岗行为；步骤S7:采用行为识别网络对所述对应的RGB图像中目标进行图像分类，判定是否属于睡岗行为，若识别为睡岗行为，则输出识别结果为发现睡岗行为并展示睡岗行为对应的RGB图像，若识别为不是睡岗行为，则输出识别结果为未发现睡岗行为。2.根据权利要求1所述的睡岗行为检测方法，其特征在于，所述目标检测网络是对YOLO V3算法进行改进，包括40层卷积层以及4个残差层；所述卷积层包括：具有16个卷积核的第一卷积层、具有16个卷积核的第二卷积层、具有16个卷积核的第三卷积层、2个第一组合卷积层、具有48个卷积核的第八卷积层、4个第二组合卷积层、具有64个卷积核的第十七卷积层、4个第三组合卷积层、具有96个卷积核的第二十六卷积层、7个第四组合卷积层；将所述第三组合卷积层的输出结果输入到Route层，将所述第四组合卷积层的输出结果输入到第三十九卷积层，将所述第三十九卷积层的输出结果输入到上采样层，将上采样层输出结果输入到Route层，将所述Route层输出结果输入到第四十卷积层，所述第三十九卷积层与第四十层卷积层的输出之和确定为改进后的YOLO V3算法的网络输出；所述第一组合卷积层包括：2个具有32个卷积核的卷积层以及第一残差层；所述第二组合卷积层包括：2个具有48个卷积核的卷积层以及第二残差层；所述第三组合卷积层包括：2个具有64个卷积核的卷积层以及第三残差层；所述第四组合卷积层包括：2个具有96个卷积核的卷积层以及第四残差层。3.根据权利要求2所述的睡岗行为检测方法，其特征在于，所述第一残差层、第二残差层、第三残差层以及第四残差层均包括：第一残差单元、第二残差单元；所述第一残差单元、第二残差单元、第一加和单元依次顺序相连接；残差单元的输入分别与第一残差单元、第一加和单元相连接，残差单元的输出与第一加和单元相连接；残差单元的输入经过第一残差单元、第二残差单元与所述残差单元的输入同时经过第一加和单元，得到残差单元的输出；所述第一残差单元、第二残差单元均包括：卷积子单元、批标准化层、激活函数子单元；所述卷积子单元、批标准化层、激活函数子单元依次顺序相连接；卷积子单元的输入依次经过卷积子单元、批标准化层、激活函数子单元，得到激活函数的输出，即为所述第一残差单元或第二残差单元的输出。4.根据权利要求3所述的睡岗行为检测方法，其特征在于，所述激活函数子单元设置为
ReLU激活函数。5.根据权利要求1所述的睡岗行为检测方法，其特征在于，所述目标检测网络采用CIoU损失函数Loss
CIoU
，公式如下：其中，iou表示计算真实框与检测框的交并比；b表示预测框，b
gt
表示真实框，ρ2(b,b
gt
)表示计算检测框和真实框的中心点的欧式距离；c是最小包围两个框的对角线长度；υ衡量两个框的相对比例一致性，α是权重系数。6.根据权利要求1所述的睡岗行为检测方法，其特征在于，所述目标检测网络还包括采用Mosaic数据增强对RGB图像进行数据增强，步...

【专利技术属性】
技术研发人员：孙宝忱，付利红，孙天姿，王诗慧，田季，王培，
申请(专利权)人：航天神舟智慧系统技术有限公司，
类型：发明
国别省市：