【技术实现步骤摘要】
本专利技术融合了人工智能与计算机视觉领域，特别着眼于视频监控，检测在岗人员的意识状态。
技术介绍
1、传统检测睡岗的方式是使用各类传感器直接与人接触，检测血压、心跳等人体生理特征从而判断人体是否处于睡眠状态(例：睡眠警示装置及工作服(cn 110634267a))，这种陪你过方式具有较高的准确性，但也存在一些问题：
2、局限性大：此方式需要每一个在岗人员都主动佩戴传感器装置，在部分场景基本难以实现；一些特殊工作环境对传感器的检测效果也存在较大的影响。
3、维护代价高：每一位在岗人员需要配备一套完整装置，且传感器容易在工作过程中失效损坏，维护费用高昂。
4、配带困难：在岗人员并非专业人员，而传感器发挥正常效果，需要根据每个人体型以及生理特征的不同正确的配带安装。
5、为了提升睡岗检测的便捷性与通用性，目前公知的主要检测方式是使用计算机视觉领域的目标检测算法和人体姿态估计算法，通过目标检测检测到人，结合人体姿态估计的关键点的热力图来做分类或者根据相邻帧同目标的对应关键点的位移距离来判断是否移动，从而判断是否睡岗(例：一种睡岗识别方法、装置、设备及介质(cn 114821647 a))。然而这种方式亦存在其弊端：
6、复杂程度高：同时进行目标检测和人体姿态估计需要较高的计算资源，且推理耗时较长，因此每秒检测的帧率密度较低，对一些速度较快的动作不敏感，容易出现漏检情况；
7、误报率高：人体睡觉姿势不一，其实际场景光线、角度、遮挡等环境因素复杂，容易误报和漏报。>
8、对细微动作不敏感：人体姿态估计预测的关键点，只能描述肢体与躯干的大致位置，对于比较细微的动作，相邻帧同目标的对应关键点的位移非常小，基本无法判断出来，只又在在岗人员有大开大合的动作才能判断其在岗，而不是睡岗状态。
技术实现思路
1、本专利技术要解决的技术问题提供一种针对在岗人员作业时意识状态的检测方法，能够更灵敏的察觉到较为细微的动作，一个视频帧的检测耗时相对较小，可以在单位时间内对更多的视频帧进行分析，可以依靠灵敏度参数来调节，从而满足不同场景下的睡岗检测需求。
2、为了解决上述技术问题，本专利技术提供了一种针对在岗人员作业时意识状态的检测方法，包括以下步骤：
3、s1：实时输入在岗人员作业时实景图像并转化成图像；
4、s21：图像解码预处理后输入算法模块，将每一次当前最新帧图像输入到目标检测模型得到当前帧的目标检测框；
5、s22：检测画面中存在人体实例，识别判定当前帧标检测框与相邻帧标检测框存在的同一人体，以检测框为坐标进行裁切灰度图；
6、s23：计算相邻两帧灰度图的帧差；
7、s24：使用均方误差计算确定相连两帧裁剪图像素之间的差异，判定两个裁切灰度图的差别；
8、s3：对于满足报警条件，输出提醒报警信号和报警框，并将报警信息输送到前端；
9、s4：前端接收到报警信息后经过解析后展示到网页上。
10、优化的技术方案在于：所述步骤s21中，所述目标检测的网络以轻量级的cloformer对anchor-free的yolov8目标检测算法进行。
11、优化的技术方案在于：所述步骤22中，所述前帧标检测框与相邻帧标检测框进行人体识别判定的原则为：首先上一帧标记为pframe，上一帧的目标检测框pbox，当前帧记为cframe，当前帧的目标检测框为cbox，计算上一帧与当前帧的目标检测框的交并比iou，当交并比的大于阈值时，判定两个目标检测框在相邻两帧中存在同一人体；
12、
13、其中：∩表示两者的交集；∪表示两者的并集。
14、优化的技术方案在于：所述步骤23如果符合条件向下执行包括：
15、计算相邻两帧灰度图pcrop和ccrop的像素差值大于阈值f_thre的像素点个数占ccrop像素点个数的比例r是否小于阈值r_thre，如果r小于r_thre，其中相应公式如下：
16、f＝gray(pcrop)-gray(ccrop)
17、
18、其中gray表示为对图像做灰度图，sum表示统计满足条件的像素点个数。
19、优化的技术方案在于：所述步骤24中，相邻两帧灰度图pcrop和ccrop的像素之间的差异m相应公式如下：
20、
21、如果m小于阈m_thre，执行下一步。
22、优化的技术方案在于：在相邻两帧灰度图pcrop和ccrop的像素的差异m判断之后还包括的步骤为：使用结构相似性指数计算pcrop和ccrop的相似度s，相应的公式为：
23、
24、其中：μpcrop和μccrop分别是灰度图pcrop和ccrop的像素平均值；和
25、分别是灰度图pcrop和ccrop的像素方差；σpcropccrop为图像pcrop和ccrop的像素协方差；c1和c2是两个常量；
26、如果s大于阈值s_thre，则执行下一步。
27、根据权利要求6所述的针对在岗人员作业时意识状态的检测方法，其特征在于：结构相似性指数计算之后还包括使用度不变特征变换计算pcrop和ccrop的相似度t，如果t大于阈值t_thre，执行下一步；
28、
29、其中sift是对图像使用sift算法提取关键点和描述子；match则是用】＝sift提取图像pcrop和ccrop的特征进行匹配；sum则是统计满足条件的关键点个数。
30、根据权利要求1所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述的目标网络结构为：包括有重复了n次的block，每个block分别由clo blcok和convffn组合而成，clo block将局部与全局信息合并起来，再使用convffn来融入fnn。
31、优化的技术方案在于：所述clo block结构图包括：信息输入经过ln后，经过global结构提取特征图的全局信息，global结构包括fc、pool以及softmax基本结构；或，经过local结构有效提取特征图的局部信息，local结构包括fc、pool、softmax、dwconv、swish以及tanh基本结构中的一种或几种；将global结构和local结构同过cat拼接后再经过fc将全局与局部信息融合的结果；将原始输入与上述结果相加得到最终的输出。
32、本专利技术的另一种技术方案在于：一种针对在岗人员作业时意识状态的检测装置，包括：
33、图像输入单元：实时获取在岗人员作业时实景图像并转化成图像；
34、目标检测、识别和确定单元：收到图像并预处理后输入算法模块，将每一次当前最新帧图像输入到目标检测模型得到当前帧的目标检测框；
35、如果检测画面中存在人体实例，将当前帧标检测框与相邻帧标检测框是否存在本文档来自技高网...
【技术保护点】
1.一种针对在岗人员作业时意识状态的检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述步骤S21中，所述目标检测的网络以轻量级的CloFormer对anchor-free的yolov8目标检测算法进行。
3.根据权利要求1或2所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述步骤22中，所述前帧标检测框与相邻帧标检测框进行人体识别判定的原则为：首先上一帧标记为PFrame，上一帧的目标检测框PBox，当前帧记为CFrame，当前帧的目标检测框为CBox，计算上一帧与当前帧的目标检测框的交并比IOU，当交并比的大于阈值时，判定两个目标检测框在相邻两帧中存在同一人体；
4.根据权利要求3所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述步骤23如果符合条件向下执行包括：
5.根据权利要求1所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述步骤24中，相邻两帧灰度图PCrop和CCrop的像素之间的差异M相应公式如下：
6.根据权利
7.根据权利要求6所述的针对在岗人员作业时意识状态的检测方法，其特征在于：结构相似性指数计算之后还包括使用度不变特征变换计算PCrop和CCrop的相似度T，如果T大于阈值T_Thre，执行下一步；
8.根据权利要求1所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述的目标网络结构为：包括有重复了N次的block，每个block分别由Clo blcok和convFFN组合而成，Clo Block将局部与全局信息合并起来，再使用ConvFFN来融入FNN。
9.根据权利要求1所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述Clo block结构图包括：信息输入经过LN后，经过Global结构提取特征图的全局信息，Global结构包括FC、Pool以及Softmax基本结构；或，经过Local结构有效提取特征图的局部信息，Local结构包括FC、Pool、Softmax、Dwconv、Swish以及Tanh基本结构中的一种或几种；将Global结构和Local结构同过cat拼接后再经过FC将全局与局部信息融合的结果；将原始输入与上述结果相加得到最终的输出。
10.一种针对在岗人员作业时意识状态的检测装置，其特征在于，其包括：
...【技术特征摘要】
1.一种针对在岗人员作业时意识状态的检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述步骤s21中，所述目标检测的网络以轻量级的cloformer对anchor-free的yolov8目标检测算法进行。
3.根据权利要求1或2所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述步骤22中，所述前帧标检测框与相邻帧标检测框进行人体识别判定的原则为：首先上一帧标记为pframe，上一帧的目标检测框pbox，当前帧记为cframe，当前帧的目标检测框为cbox，计算上一帧与当前帧的目标检测框的交并比iou，当交并比的大于阈值时，判定两个目标检测框在相邻两帧中存在同一人体；
4.根据权利要求3所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述步骤23如果符合条件向下执行包括：
5.根据权利要求1所述的针对在岗人员作业时意识状态的检测方法，其特征在于：所述步骤24中，相邻两帧灰度图pcrop和ccrop的像素之间的差异m相应公式如下：
6.根据权利要求5所述的针对在岗人员作业时意识状态的检测方法，其特征在于：在相邻两帧灰度图pcrop和ccrop的像素的差异m判断之后还包括的步骤为：使用结构相似性指数计算p...
【专利技术属性】
技术研发人员：汤香渝，李昊，朱岩，蔡为民，
申请(专利权)人：青鸟消防股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。