人体目标的睡眠状态检测方法技术

本发明专利技术提供了一种人体目标的睡眠状态检测方法

【技术实现步骤摘要】
人体目标的睡眠状态检测方法、装置和电子设备


[0001]本专利技术涉及安全生产的
，尤其是涉及一种人体目标的睡眠状态检测方法
、
装置和电子设备
。

技术介绍

[0002]在煤矿生产等类似的高危险行业中，若集控室内的工作人员出现困倦，呈晕眩昏睡状态，则很容易忽略安全提示信息，从而产生潜在的安全风险，这种情况下很容易酿成重大的安全责任事故
。
[0003]为了避免这样的事故发生，目前睡姿检测的方法分为穿戴式检测和非穿戴式检测两大类，但由于人们手腕的自由度非常大，人们不经意间的挠头
、
举手等动作都会造成睡姿的误识别
。

技术实现思路

[0004]本专利技术的目的在于提供一种人体目标的睡眠状态检测方法
、
装置和电子设备，以缓解安全生产应用场景中人体睡眠状态检测可靠性不高的技术问题
。
[0005]第一方面，本专利技术实施例提供了一种人体目标的睡眠状态检测方法，包括：
[0006]基于深度学习神经网络，获取目标区域中的人体目标的骨骼关键点；
[0007]根据所述骨骼关键点，确定所述人体目标的姿势类别
、
视线方向和脊柱方向；
[0008]基于所述姿势类别，以及预设坐标系与所述视线方向或预设坐标系与所述脊柱方向的夹角，判断所述人体目标是否处于睡眠状态
。
[0009]结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，基于深度学习神经网络，获取目标区域中的人体目标的骨骼关键点的步骤，包括：
[0010]通过
yolov3
深度学习神经网络结构的目标检测算法，确定目标区域中的人体目标在视频帧画面中的矩形框图像；
[0011]将所述矩形框图像进行裁剪，并输入
Alpha
‑
pose
深度学习神经网络结构进行预测回归，以使所述
Alpha
‑
pose
深度学习神经网络结构输出的人体目标的每个骨骼关键点的坐标和每个所述骨骼关键点的置信度
。
[0012]结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述骨骼关键点包括耳朵关键点
、
眼睛关键点
、
臀部关键点
、
膝盖关键点和肩部关键点，所述姿势类别包括站立姿势
、
俯趴姿势和非站立且非俯趴姿势；根据所述骨骼关键点，确定所述人体目标的姿势类别
、
视线方向和脊柱方向的步骤，包括：
[0013]将位于所述人体目标同侧的耳朵关键点和眼睛关键点的方向向量定义为视线方向，将所述臀部关键点和所述肩部关键点的方向向量定义为脊柱方向，将所述臀部关键点和所述膝盖关键点的方向向量定义为大腿方向；
[0014]根据所述大腿方向与所述预设坐标系的
x
正半轴的第一夹角，判断所述人体目标是否呈站立姿势；
[0015]若否，则根据所述视线方向与所述预设坐标系的第二夹角，判断所述人体目标是否呈俯趴姿势
。
[0016]结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，基于所述姿势类别，以及预设坐标系与所述视线方向或预设坐标系与所述脊柱方向的夹角，判断所述人体目标是否处于睡眠状态的步骤，包括：
[0017]若所述人体目标呈俯趴姿势，则判断所述人体目标对应面部的骨骼关键点的可见状态；
[0018]若所述面部的骨骼关键点可见，则基于所述视线方向和所述预设坐标系的第三夹角，判断所述人体目标是否处于睡眠状态；
[0019]若所述面部的骨骼关键点不可见，则基于所述脊柱方向和所述预设坐标系的第四夹角，判断所述人体目标是否处于睡眠状态
。
[0020]结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，若所述面部的骨骼关键点可见，则基于所述视线方向和所述预设坐标系的第三夹角，判断所述人体目标是否处于睡眠状态的步骤，包括：
[0021]若所述人体目标呈俯趴姿势，且所述人体目标的耳朵关键点和眼睛关键点可见，则基于所述视线方向和所述预设坐标系的
y
正半轴的第三夹角，判断所述人体目标是否处于睡眠状态
。
[0022]结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，若所述面部的骨骼关键点不可见，则基于所述脊柱方向和所述预设坐标系的第四夹角，判断所述人体目标是否处于睡眠状态的步骤，包括：
[0023]若所述人体目标呈俯趴姿势，且所述人体目标的耳朵关键点和眼睛关键点不可见，则基于所述脊柱方向和所述预设坐标系的
x
正半轴的第四夹角，判断所述人体目标是否处于睡眠状态
。
[0024]结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：
[0025]若所述人体目标呈非站立且非俯趴姿势，则基于所述视线方向和所述预设坐标系的
y
正半轴的第五夹角，判断所述人体目标是否处于睡眠状态
。
[0026]结合第一方面，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：
[0027]若所述人体目标呈睡眠状态，则对计数器数值进行增加；
[0028]若所述人体目标呈非睡眠状态，则对计数器数值进行减少；
[0029]当所述计数器数值达到第一预设时长阈值时，则执行报警操作；
[0030]当所述计数器数值达到第二预设时长阈值时，则执行解除报警操作；其中，所述第一预设时长阈值大于所述第二预设时长阈值
。
[0031]第二方面，本专利技术实施例还提供一种人体目标的睡眠状态检测装置，包括：
[0032]获取模块，基于深度学习神经网络，获取目标区域中的人体目标的骨骼关键点；
[0033]确定模块，根据所述骨骼关键点，确定所述人体目标的姿势类别
、
视线方向和脊柱方向；
[0034]检测模块，基于所述姿势类别，以及预设坐标系与所述视线方向或预设坐标系与
所述脊柱方向的夹角，判断所述人体目标是否处于睡眠状态
。
[0035]第三方面，实施例提供一种电子设备，包括存储器
、
处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤
。
[0036]第四方面，实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤
。
[0037]本专利技术实施例带来了一种人体目标的睡眠状态检测方法
、
装置和电子设备，通过深度学习神经网络检测出摄像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种人体目标的睡眠状态检测方法，其特征在于，包括：基于深度学习神经网络，获取目标区域中的人体目标的骨骼关键点；根据所述骨骼关键点，确定所述人体目标的姿势类别
、
视线方向和脊柱方向；基于所述姿势类别，以及预设坐标系与所述视线方向或预设坐标系与所述脊柱方向的夹角，判断所述人体目标是否处于睡眠状态
。2.
根据权利要求1所述的方法，其特征在于，基于深度学习神经网络，获取目标区域中的人体目标的骨骼关键点的步骤，包括：通过
yolov3
深度学习神经网络结构的目标检测算法，确定目标区域中的人体目标在视频帧画面中的矩形框图像；将所述矩形框图像进行裁剪，并输入
Alpha
‑
pose
深度学习神经网络结构进行预测回归，以使所述
Alpha
‑
pose
深度学习神经网络结构输出的人体目标的每个骨骼关键点的坐标和每个所述骨骼关键点的置信度
。3.
根据权利要求1所述的方法，其特征在于，所述骨骼关键点包括耳朵关键点
、
眼睛关键点
、
臀部关键点
、
膝盖关键点和肩部关键点，所述姿势类别包括站立姿势
、
俯趴姿势和非站立且非俯趴姿势；根据所述骨骼关键点，确定所述人体目标的姿势类别
、
视线方向和脊柱方向的步骤，包括：将位于所述人体目标同侧的耳朵关键点和眼睛关键点的方向向量定义为视线方向，将所述臀部关键点和所述肩部关键点的方向向量定义为脊柱方向，将所述臀部关键点和所述膝盖关键点的方向向量定义为大腿方向；根据所述大腿方向与所述预设坐标系的
x
正半轴的第一夹角，判断所述人体目标是否呈站立姿势；若否，则根据所述视线方向与所述预设坐标系的第二夹角，判断所述人体目标是否呈俯趴姿势
。4.
根据权利要求3所述的方法，其特征在于，基于所述姿势类别，以及预设坐标系与所述视线方向或预设坐标系与所述脊柱方向的夹角，判断所述人体目标是否处于睡眠状态的步骤，包括：若所述人体目标呈俯趴姿势，则判断所述人体目标对应面部的骨骼关键点的可见状态；若所述面部的骨骼关键点可见，则基于所述视线方向和所述预设坐标系的第三夹角，判断所述人体目标是否处于睡眠状态；...

【专利技术属性】
技术研发人员：刘志，郭增洁，梁辉，
申请(专利权)人：精英数智科技股份有限公司，
类型：发明
国别省市：