识别睡觉行为的方法、装置、存储介质及处理器制造方法及图纸

本申请实施例提供识别睡觉行为的方法、装置、处理器及存储介质。方法包括：获取预设时间段内的监控数据，监控数据中包括至少一个目标用户，对监控数据进行处理，以得到监控数据中的多个监控图像，依次将多个监控图像输入至目标检测模型，以通过目标检测模型确定监控图像中包括的每个目标用户所对应的目标区域；依次将每个目标区域输入至目标跟踪模型，以通过所述目标跟踪模型绑定每个目标用户的唯一用户标识；依次将每个监控图像的目标区域输入至关键点检测模型，以通过关键点检测模型确定目标区域中每个目标用户的关键部位的坐标，针对每个目标用户，确定目标用户的关键部位在全部目标区域中的坐标变化数据，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为。确定目标用户存在睡觉行为。确定目标用户存在睡觉行为。

【技术实现步骤摘要】
识别睡觉行为的方法、装置、存储介质及处理器


[0001]本申请涉及计算机
，具体地涉及一种识别睡觉行为的方法、装置、存储介质及处理器。

技术介绍

[0002]识别睡觉行为的方法在生活中应非常广泛。如，在船舶航行中确保值班工作人员不睡觉、识别驾驶车辆中的司机是否睡觉等，在船舶航行过程中，若工作人员在值班时间睡觉一旦前方出现障碍物，往往造成群死群伤、重大财产损失等严重后果。因此如果能有效识别睡觉行为，可以极大减少安全事故的发生。
[0003]现有技术中，识别睡觉行为的方法是基于传统机器学习的方法，于传统机器学习的方法需要人工提取特征来训练分类器，该方法特征难于提取，无法训练大量数据，并且识别效果较差。

技术实现思路

[0004]本申请实施例的目的是提供一种识别睡觉行为的方法、装置、存储介质及处理器。
[0005]为了实现上述目的，本申请第一方面提供一种识别睡觉行为的方法，包括：
[0006]获取预设时间段内的监控数据，监控数据中包括至少一个目标用户；
[0007]对监控数据进行处理，以得到监控数据中的多个监控图像；
[0008]依次将多个监控图像输入至目标检测模型，以通过目标检测模型确定监控图像中包括的每个目标用户所对应的目标区域；
[0009]依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识；
[0010]依次将每个监控图像的目标区域输入至关键点检测模型，以通过关键点检测模型确定目标区域中每个目标用户的关键部位的坐标；
[0011]针对每个目标用户，确定目标用户的关键部位在全部目标区域中的坐标变化数据；
[0012]针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为。
[0013]在本申请的实施例中，关键部位包括用户的多个身体部位，关键部位的坐标包括每个身体部位的横坐标和纵坐标，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为包括：针对任意两个相邻的监控图像中的目标区域，确定每个身体部位在两个区域中横坐标的第一移动数据和纵坐标的第二移动数据，在全部的第一移动数据均小于第一数值，且全部的第二移动数据均小于第二数值的情况下，确定目标用户存在睡觉行为，其中，第一数值是根据目标区域的宽度确定的，第二数值是根据目标区域的高度确定的。
[0014]在本申请的实施例中，关键部位包括用户的多个身体部位，关键部位的坐标包括
每个身体部位的横坐标和纵坐标，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为包括：将多个监控图像按照时间顺序划分为多个图像组，其中，每个图像组包括两个时间差为预设时间差值的监控图像，针对每个图像组包括的监控图像中人任意一个目标用户的目标区域，确定目标用户的每个身体部位在两个目标区域中横坐标的第一移动数据和纵坐标的第二移动数据，在每个身体部位的第一移动数据小于与身体部位对应的第一阈值，且每个身体部位的第二移动数据小于与身体部位对应的第二阈值的情况下，确定目标用户存在睡觉行为，其中，每个身体部位对应的第一阈值是根据目标区域的宽度以及每个身体部位的权重系数确定的，每个身体部位对应的第二阈值是根据目标区域的高度以及每个身体部位的权重系数确定的。
[0015]在本申请的实施例中，检测连续的N个图像组，针对任意一个图像组中的任意一个目标用户，在目标用户的每个身体部位的第一移动数据小于与身体部位对应的第一阈值，且每个身体部位的第二移动数据小于与身体部位对应的第二阈值的情况下，预测图像组中的目标用户存在睡觉倾向，针对任意一个目标用户，在目标用户存在睡觉倾向的图像组的数量与N的比例大于预设比例值的情况下，确定目标用户存在睡觉行为。
[0016]在本申请的实施例中，身体部位包括鼻子k1，左眼k2，右眼k3，左耳k4、右耳k5，脖颈k6，左肩k7，右肩k8，左肘k9，右肘k10，左腕k11，右腕k12，左臀k13，右臀k14，左膝k15，右膝k16，左脚踝k17以及右脚踝k18，方法还包括：确定目标用户存在睡觉行为的情况下，确定左膝k15和左臀k13的连线与左膝k15和左肩k7的连线之间的夹角a_kl，确定右膝k16和右臀k14的连线与右膝k16和右肩k8的连线之间的夹角a_kr确定脖颈k6和鼻子k1的连线与脖颈k6和臀中心点的连线之间的夹角a_n，其中，臀中心点是指左臀k13和右臀k14连线的中心点，确定左肩k7和左肘k9的连线与左肩k7和左臀k13的连线之间的夹角a_sl，确定右肩k8和右肘k10的连线与右肩k8和右臀k14的连线之间的夹角a_sr，在夹角a_kl或夹角a_kr大于第一角度阈值的情况下，确定目标用户处于站姿睡觉的状态，在夹角a_kl或夹角a_kr小于第一角度阈值的情况下，确定目标用户处于坐姿睡觉的状态，在夹角a_n小于第二角度阈值，且夹角a_sl或夹角a_sr大于第三角度阈值的情况下，确定目标用户处于趴姿睡觉的状态。
[0017]在本申请的实施例中，在确定目标用户存在睡觉行为之后，截取目标用户的坐标变化数据满足预设条件的目标区域所在的视频片段，根据目标用户的标识对应保存视频片段。
[0018]在本申请的实施例中，获取多个历史视频数据，将多个历史视频数据按照固定帧率间隔获取图像，以得到多个特定格式的历史图像，使用labelImg图像标注工具完成每个历史图像中的人体标注，得到人体标注数据，使用labelMe图像标注工具完成每个历史图像中的人体关键部位标注，以得到人体关键部位标注数据，基于人体标注数据和Faster
‑
RCNN预训练模型，对目标检测模型进行训练，以得到训练好的目标检测模型，基于人体关键部位标注数据和AlphaPose预训练模型，对关键点检测模型进行训练，以得到训练好的关键点检测模型。
[0019]本申请第二方面提供一种处理器，被配置成执行上述的识别睡觉行为的方法。
[0020]本申请第三方面提供一种识别睡觉行为的装置，装置包括识别睡觉行为的方法处理器。
[0021]本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指
令，该指令在被处理器执行时使得所述处理器被配置成执行上述的识别睡觉行为的方法。
[0022]上述识别睡觉行为的方法，获取预设时间段内的监控数据，监控数据中包括至少一个目标用户，对监控数据进行处理，以得到监控数据中的多个监控图像，依次将多个监控图像输入至目标检测模型，以通过目标检测模型确定监控图像中包括的每个目标用户所对应的目标区域，依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识，依次将每个监控图像的目标区域输入至关键点检测模型，以通过关键点检测模型确定目标区域中每个目标用户的关键部位的坐标，针对每个目标用户，确定目标用户的关键部位在全部目标区域中的坐标变化数据，针对任意一个目标用户，在目标用户的坐标变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别睡觉行为的方法，其特征在于，所述方法包括：获取预设时间段内的监控数据，所述监控数据中包括至少一个目标用户；对所述监控数据进行处理，以得到所述监控数据中的多个监控图像；依次将多个监控图像输入至目标检测模型，以通过所述目标检测模型确定所述监控图像中包括的每个目标用户所对应的目标区域；依次将每个目标区域输入至目标跟踪模型，以通过所述目标跟踪模型绑定每个目标用户的唯一用户标识；依次将每个监控图像的目标区域输入至关键点检测模型，以通过所述关键点检测模型确定所述目标区域中每个目标用户的关键部位的坐标；针对每个目标用户，确定所述目标用户的关键部位在全部目标区域中的坐标变化数据；针对任意一个目标用户，在所述目标用户的坐标变化数据满足预设条件的情况下，确定所述目标用户存在睡觉行为。2.根据权利要求1所述的方法，其特征在于，所述关键部位包括用户的多个身体部位，所述关键部位的坐标包括每个身体部位的横坐标和纵坐标；所述针对任意一个目标用户，在所述目标用户的坐标变化数据满足预设条件的情况下，确定所述目标用户存在睡觉行为包括：针对任意两个相邻的监控图像中的目标区域，确定每个身体部位在两个区域中横坐标的第一移动数据和纵坐标的第二移动数据；在全部的第一移动数据均小于第一数值，且全部的第二移动数据均小于第二数值的情况下，确定所述目标用户存在睡觉行为；其中，所述第一数值是根据所述目标区域的宽度确定的，所述第二数值是根据所述目标区域的高度确定的。3.根据权利要求1所述的方法，其特征在于，所述关键部位包括用户的多个身体部位，所述关键部位的坐标包括每个身体部位的横坐标和纵坐标；所述针对任意一个目标用户，在所述目标用户的坐标变化数据满足预设条件的情况下，确定所述目标用户存在睡觉行为包括：将多个监控图像按照时间顺序划分为多个图像组，其中，每个图像组包括两个时间差为预设时间差值的监控图像；针对每个图像组包括的监控图像中人任意一个目标用户的目标区域，确定所述目标用户的每个身体部位在两个目标区域中横坐标的第一移动数据和纵坐标的第二移动数据；在每个身体部位的第一移动数据小于与所述身体部位对应的第一阈值，且每个身体部位的第二移动数据小于与所述身体部位对应的第二阈值的情况下，确定所述目标用户存在睡觉行为；其中，每个身体部位对应的第一阈值是根据所述目标区域的宽度以及每个身体部位的权重系数确定的，每个身体部位对应的第二阈值是根据所述目标区域的高度以及每个身体部位的权重系数确定的。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：检测连续的N个图像组；
针对任意一个图像组中的任意一个目标用户，在所述目标用户的每个身体部位的第一移动数据小于与所述身体部位对应的第一阈值，且每个身体部位的第二移动数据小于与所述身体部位对应的第二阈值的情况下，预测所述图像组中的目标用户存在睡...

【专利技术属性】
技术研发人员：马进，刘志俣，余智君，罗洲杰，
申请(专利权)人：上海禹创智能科技有限公司成都分公司，
类型：发明
国别省市：