睡眠检测预警方法及装置制造方法及图纸

本申请公开了一种睡眠检测预警方法及装置。其中，该方法包括：获取监控第一对象睡眠的目标监控图像；检测目标监控图像中的目标区域信息和目标关键点信息，其中，目标区域信息至少包括：人脸区域信息、肢体区域信息和被子区域信息，目标关键点信息包括：人体关键点信息；基于目标区域信息和目标关键点信息确定第一对象的目标睡眠模式；基于与目标睡眠模式对应的目标处理方式对目标区域信息和目标关键点信息进行处理，得到第一对象的睡眠状态，并生成与睡眠状态对应的预警信息。本申请解决了相关技术中针对婴幼儿睡眠检测的方案效果不佳，难以及时进行有效预警的技术问题。难以及时进行有效预警的技术问题。难以及时进行有效预警的技术问题。

【技术实现步骤摘要】
睡眠检测预警方法及装置


[0001]本申请涉及安全监护
，具体而言，涉及一种睡眠检测预警方法及装置。

技术介绍

[0002]婴幼儿睡眠过程中，监护人可能无法时刻监护其情况，因此安全自动监护是备受社会重视的一项技术。相关技术中，在实现婴幼儿安全自动监护时，主要采用以下三种监控方式：1)主观视频监控，该方式缺陷在于监护人可能无法时刻去看摄像头，不能获取及时预警信息；2)基于模板匹配的智能摄像头视频监控，该方法需要人工模拟生成婴幼儿睡姿样例特征，且需要专业人员建立婴幼儿睡姿模板，技术难度大，且需要投入大量人力和财力；3)通过对婴幼儿的音频进行分析，当婴幼儿发生啼哭时预警系统则发生警报，该方法的缺陷是无法事前发现，只有事件发生后才能发生警报。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种睡眠检测预警方法及装置，以至少解决相关技术中针对婴幼儿睡眠检测的方案效果不佳，难以及时进行有效预警的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种睡眠检测预警方法，包括：获取监控第一对象睡眠的目标监控图像；检测目标监控图像中的目标区域信息和目标关键点信息，其中，目标区域信息至少包括：人脸区域信息、肢体区域信息和被子区域信息，目标关键点信息包括：人体关键点信息；基于目标区域信息和目标关键点信息确定第一对象的目标睡眠模式；基于与目标睡眠模式对应的目标处理方式对目标区域信息和目标关键点信息进行处理，得到第一对象的睡眠状态，并生成与睡眠状态对应的预警信息。
[0006]可选地，获取监控第一对象睡眠的目标监控视频；删除目标监控视频的所有帧图像中的冗余帧图像和模糊帧图像，得到目标监控图像。
[0007]可选地，基于深度学习中的人脸检测算法检测目标监控图像中的人脸区域信息，人脸区域信息中至少包括：人脸数量、人脸种类以及人脸区域位置；基于深度学习中的通用目标检测算法检测目标监控图像中的肢体区域信息和被子区域信息，其中，肢体区域信息中至少包括：肢体区域位置，被子区域信息中至少包括：被子覆盖区域位置；基于深度学习中的关键点检测算法检测目标监控图像中的人体关键点信息，人体关键点信息中至少包括：人体关键点数量和人体关键点位置。
[0008]可选地，在人脸数量不超过第一预设阈值或人脸种类中不包括第二对象的人脸时，确定目标睡眠模式为第一睡眠模式；在人脸数量超过第一预设阈值且人脸种类中包括第二对象的人脸时，确定目标睡眠模式为第二睡眠模式。
[0009]可选地，第一睡眠模式包括：第一子睡眠模式和第二子睡眠模式，第二睡眠模式包括：第三子睡眠模式和第四子睡眠模式，基于目标区域信息和目标关键点信息确定第一对象的目标睡眠模式，包括：在第一睡眠模式下，若人体关键点数量不超过第二预设阈值，确
定目标睡眠模式为第一子睡眠模式，若人体关键点数量超过第二预设阈值，确定目标睡眠模式为第二子睡眠模式；在第二睡眠模式下，若人体关键点数量不超过第三预设阈值，确定目标睡眠模式为第三子睡眠模式，若人体关键点数量超过第三预设阈值，确定目标睡眠模式为第四子睡眠模式。
[0010]可选地，在目标睡眠模式为第一子睡眠模式时，基于与目标睡眠模式对应的目标处理方式对目标区域信息和目标关键点信息进行处理，得到第一对象的睡眠状态，并生成与睡眠状态对应的预警信息，包括：确定第一对象的人脸区域中心位置和被子区域中心位置之间的第一距离，以及第一对象的肢体区域位置和被子覆盖区域位置之间的重合度；在第一距离小于第四预设阈值时，确定第一对象处于第一睡眠状态，并生成第一预警信息，其中，第一睡眠状态表示第一对象盖被子过高，第一预警信息用于提示需要将被子下拉；在重合度小于第五预设阈值时，确定第一对象处于第二睡眠状态，并生成第二预警信息，其中，第二睡眠状态表示第一对象盖被子过低，第二预警信息用于提示需要将被子上拉。
[0011]可选地，在目标睡眠模式为第二子睡眠模式时，基于与目标睡眠模式对应的目标处理方式对目标区域信息和目标关键点信息进行处理，得到第一对象的睡眠状态，并生成与睡眠状态对应的预警信息，包括：确定第一对象的人体关键点中头部关键点的第一数量和肢体关键点的第二数量，确定第一关键点向量与第二关键点向量之间的第一角度，确定双部位关键点之间的第二距离，其中，第一关键点向量为鼻子关键点到脖子关键点的向量，第二关键点向量为双肩关键点的向量的法向量，双部位关键点至少包括以下之一：双肩关键点、腰两侧关键点、双臂关键点、双膝盖关键点；在第一数量超过第六预设阈值且第二数量超过第七预设阈值时，确定第一对象处于第三睡眠状态，其中，第三睡眠状态表示第一对象仰卧；在第一数量小于第八预设阈值且第二数量超过第七预设阈值时，确定第一对象处于第四睡眠状态，并生成第三预警信息，其中，第四睡眠状态表示第一对象俯卧，第三预警信息用于提示需要调整第一对象的睡姿；在第一角度小于第九预设阈值且第二距离小于第十预设阈值时，确定第一对象处于第五睡眠状态，并生成第三预警信息，其中，第五睡眠状态表示第一对象侧卧。
[0012]可选地，在目标睡眠模式为第三子睡眠模式时，基于与目标睡眠模式对应的目标处理方式对目标区域信息和目标关键点信息进行处理，得到第一对象的睡眠状态，并生成与睡眠状态对应的预警信息，包括：确定第二对象的肢体区域中心位置与第一对象的肢体区域中心位置之间的第三距离；在第三距离小于第十一预设阈值时，确定第一对象处于第六睡眠状态，并生成第四预警信息，其中，第六睡眠状态表示第二对象与第一对象之间发生挤压，第四预警信息用于提示第二对象需要远离第一对象。
[0013]可选地，在目标睡眠模式为第四子睡眠模式时，基于与目标睡眠模式对应的目标处理方式对目标区域信息和目标关键点信息进行处理，得到第一对象的睡眠状态，并生成与睡眠状态对应的预警信息，包括：确定第二对象的人体关键点位置与第一对象的肢体区域位置是否存在重合区域；在存在重合区域时，确定第一对象处于第六睡眠状态，并生成第四预警信息，其中，第六睡眠状态表示第二对象与第一对象之间发生挤压，第四预警信息用于提示第二对象需要远离第一对象。
[0014]可选地，基于深度学习中的分类检测算法检测第一对象的人脸区域位置是否存在遮挡区域；在存在遮挡区域时，生成第五预警信息，其中，第五预警信息用于提示第一对象
脸部存在遮挡需要检查处理。
[0015]根据本申请实施例的另一方面，还提供了一种睡眠检测预警装置，包括：获取模块，用于获取监控第一对象睡眠的目标监控图像；检测模块，用于检测目标监控图像中的目标区域信息和目标关键点信息，其中，目标区域信息至少包括：人脸区域信息、肢体区域信息和被子区域信息，目标关键点信息包括：人体关键点信息；确定模块，用于基于目标区域信息和目标关键点信息确定第一对象的目标睡眠模式；处理模块，用于基于与目标睡眠模式对应的目标处理方式对目标区域信息和目标关键点信息进行处理，得到第一对象的睡眠状态，并生成与睡眠状态对应的预警信息。
[0016]根据本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种睡眠检测预警方法，其特征在于，包括：获取监控第一对象睡眠的目标监控图像；检测所述目标监控图像中的目标区域信息和目标关键点信息，其中，所述目标区域信息至少包括：人脸区域信息、肢体区域信息和被子区域信息，所述目标关键点信息包括：人体关键点信息；基于所述目标区域信息和所述目标关键点信息确定所述第一对象的目标睡眠模式；基于与所述目标睡眠模式对应的目标处理方式对所述目标区域信息和所述目标关键点信息进行处理，得到所述第一对象的睡眠状态，并生成与所述睡眠状态对应的预警信息。2.根据权利要求1所述的方法，其特征在于，获取监控第一对象睡眠的目标监控图像，包括：获取监控所述第一对象睡眠的目标监控视频；删除所述目标监控视频的所有帧图像中的冗余帧图像和模糊帧图像，得到所述目标监控图像。3.根据权利要求1所述的方法，其特征在于，检测所述目标监控图像中的目标区域信息和目标关键点信息，包括：基于深度学习中的人脸检测算法检测所述目标监控图像中的所述人脸区域信息，所述人脸区域信息中至少包括：人脸数量、人脸种类以及人脸区域位置；基于深度学习中的通用目标检测算法检测所述目标监控图像中的所述肢体区域信息和被子区域信息，其中，所述肢体区域信息中至少包括：肢体区域位置，所述被子区域信息中至少包括：被子覆盖区域位置；基于深度学习中的关键点检测算法检测所述目标监控图像中的所述人体关键点信息，所述人体关键点信息中至少包括：人体关键点数量和人体关键点位置。4.根据权利要求3所述的方法，其特征在于，基于所述目标区域信息和所述目标关键点信息确定所述第一对象的目标睡眠模式，包括：在所述人脸数量不超过第一预设阈值或所述人脸种类中不包括第二对象的人脸时，确定所述目标睡眠模式为第一睡眠模式；在所述人脸数量超过所述第一预设阈值且所述人脸种类中包括所述第二对象的人脸时，确定所述目标睡眠模式为第二睡眠模式。5.根据权利要求4所述的方法，其特征在于，所述第一睡眠模式包括：第一子睡眠模式和第二子睡眠模式，所述第二睡眠模式包括：第三子睡眠模式和第四子睡眠模式，基于所述目标区域信息和所述目标关键点信息确定所述第一对象的目标睡眠模式，包括：在所述第一睡眠模式下，若所述人体关键点数量不超过第二预设阈值，确定所述目标睡眠模式为所述第一子睡眠模式，若所述人体关键点数量超过所述第二预设阈值，确定所述目标睡眠模式为所述第二子睡眠模式；在所述第二睡眠模式下，若所述人体关键点数量不超过第三预设阈值，确定所述目标睡眠模式为所述第三子睡眠模式，若所述人体关键点数量超过所述第三预设阈值，确定所述目标睡眠模式为所述第四子睡眠模式。6.根据权利要求5所述的方法，其特征在于，在所述目标睡眠模式为所述第一子睡眠模式时，基于与所述目标睡眠模式对应的目标处理方式对所述目标区域信息和所述目标关键
点信息进行处理，得到所述第一对象的睡眠状态，并生成与所述睡眠状态对应的预警信息，包括：确定所述第一对象的人脸区域中心位置和所述被子区域中心位置之间的第一距离，以及所述第一对象的肢体区域位置和所述被子覆盖区域位置之间的重合度；在所述第一距离小于第四预设阈值时，确定所述第一对象处于第一睡眠状态，并生成第一预警信息，其中，所述第一睡眠状态表示所述第一对象盖被子过高，所述第一预警信息用于提示需要将被子下拉；在所述重合度小于第五预设阈值时，确定所述第一对象处于第二睡眠状态，并生成第二预警信息，其中，所述第二睡眠状态表示所述第一对象盖被子过低，所述第二预警信息用于提示需要将被子上拉。7.根据权利要求5所述的方法，其特征在于，在所述目标睡眠模式为所述第二子睡眠模式时，基于与所述目标睡眠模式对应的目标处理方式对所述目标区域信息和所述目标关键点信息进行处理，得到所...

【专利技术属性】
技术研发人员：黄金龙，张琳，贺嘉，何美斌，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：