【技术实现步骤摘要】
本专利技术涉及到在黑暗环境下人体盖被时，基于红外摄像头和深度传感器人体睡姿图像进行采集，然后通过识别红外图像和深度图像中人体特征，即：头部、左右耳朵、左右眉毛、左右眼睛、鼻子、嘴巴、身体躯干部位，并提取出这些特征对应最小矩形框中心点的像素坐标和该坐标对应的深度值，然后通过这些特征数据与睡姿形成映射关系，最后通过bp神经网络训练出可实际应用的睡姿识别模型。
技术介绍
1、目前研究者对睡姿的研究中，kun zhou等人提出一种基于深度学习的单幅图像三维人体姿态推断框架，该框架通过把获取到的2d信息和3d信息相结合，训练出一个人体姿态骨骼识别模型，但是该方法研究过程中，没有涉及到身体某些部位被遮挡的问题。详见参考文献zhou k,cai j,li y,et al.adversarial 3d human pose estimation viamultimodal depth supervision[j].arxiv preprint arxiv:1809.07921,2018。
2、shuangjun liu等人提出一种under the cover imaging via thermaldiffusion(ucitd)的方法，该方法也是基于红外热成像摄像头去拍摄覆盖下的人体姿态图像，然后通过神经网络进行训练模型，最终的模型识别率达到98％，该方法的识别率虽然高，但是对于目前家用还是无法进行广泛的推广，因为红外热成像摄像头对于一个普通家庭而言，价格方面还是相对昂贵的。详见参考文献：liu s,ostadabbas s.se
3、yu yin等人提出基于金字塔多模态融合方法，通过每次融合两种图像，然后通过神经网络，提取粗略的身体姿态和身体特征，然后把这两种参数输入到smpl模型中编码人体3d网格。通过这样不断的融合来识别覆盖时的睡姿，该方法的核心是适用红外热成像摄像头采集到的图像和深度传感器采集到的深度图像，以该图像信息为基础，可以完成最终的身体姿态识别，这种方法对人体姿态的识别应用范围广，重要的是可以在人体完全覆盖且是黑暗的条件也可以识别，但是它同样不适合普及家用，因为这种方法所需要的设备昂贵。详见参考文献：yin y,robinson j p,fu y.multimodal in-bed pose and shapeestimation under the blankets[c].proceedings of the 30th acm internationalconference on multimedia.2022:2411-2419。
4、李晨光等人使用微软公司研发的摄像头kinectv2，并使用该设备中的骨骼跟踪技术采集人体关节点信息，然后通过数据预处理对每组关节点信息进行标定，再选取所用的关节点所对应的角度和关节点之间的距离作为特征，并将这些特征转换成构建的姿态模型中所需要的信息，最后通过小样本学习的模型网络匹配算法，获取到具有高识别率的人体姿态识别模型，但是李晨光的实验设计中，没有考虑身体重要的关节部位被遮挡情况下的解决方案。详见参考文献：李晨光.基于kinectv2的人体姿态识别研究[d].秦皇岛：燕山大学，2021。
5、杨明健等人使用单人姿态估计算法以及多人姿态检测算法对睡姿进行识别。在他的研究过程中通过对人体多个关节点进行定位，然后通过寻找关节点之间的关系与睡姿进行映射，最后对左侧卧、右侧卧、仰卧以及俯卧模型的设计，并且最终的睡姿识别准确率可达92.5％，虽然杨明健等人再研究过程中已经考虑到了遮挡问题，同时也将该问题很好地解决掉，但是该研究忽略了一个环境问题，当我们在夜间睡眠过程中，通常处于黑暗的漆黑环境中，此时rgb图像中无法显示有用的信息。详见参考文献：杨明健，黎镜林，郭锐坤，唐小煜.基于openpose的人体睡姿识别实现与研究[j].物理实验，2019，39(08)：45-49。
6、叶荫球等人使用计算机视觉的方法进行睡姿识别，识别流程为：(1)使用相机采集人在睡眠时的图像信息，(2)进行图像预处理操作，(3)使用图像分割技术对样本进行分类，(4)使用神经网络对样本进行分类测试，输出为四种睡姿。最后的识别率为73％，识别率较低。详见参考文献：叶荫球.基于计算机视觉的人体睡姿识别系统的研究[d].马鞍山：安徽工业大学，2013。
7、段博文等人基于对人体压力值分析，对9种睡姿进行分类，首先通过压力传感器对睡眠过程中的人体进行采集压力值，然后对每组压力值进行预处理与标定获取可用于分类的数据集，在最后通过5种不同的监督学习算法对该数据采集进行分类测试，最好的识别结果为88.33％，虽然该识别率比叶荫球等人的模型识别率要高，但是比起杨明健等人识别方法的准确性还是较低的。详见参考文献：段博文。基于智能床的睡姿识别及起床意图预测方法[d].沈阳：沈阳工业大学，2021。
8、综合以上研究发现，当前对姿态识别的方法主要有两种，一种是基于计算机视觉图像进行研究，另一种是基于压力值进行研究。在基于算机视觉的研究中发现，基于红外热成像摄像头的研究中，获取的结果准确率最高，但是该摄像头的成本较高，而且用于睡姿识别的过程中，容易在原来的位置留下残余热量，这样对实时识别睡姿的准确性会下降。在基于压力传感器的研究中，识别率还需要进一步提升，并且压力传感器获取的信息受压力传感器的分布限制，压力传感器越多，成本越高，当压力传感器越少，数据量少，影响研究的说服力。因此本方法，在黑暗、盖被环境下采集睡眠图像数据；然后需要使用采集到的数据进行睡姿识别的头面部特征和身体躯干特征，进而完成对睡姿的映射关系。
技术实现思路
1、针对上述问题，本专利技术提出一种基于红外图像和深度图像中头面部特征三维信息与身体躯干特征三维信息相结合的方法，完成对4种睡姿的映射，并且该方法也解决了黑暗环境中且人体盖被情况下对不同睡姿进行识别的问题。
2、为实现上述目的，本专利技术采用如下技术方案，本专利技术包括以下步骤：
3、步骤一：设计同步采集红外图像和深度图像的实验场景；
4、步骤二：同步采集完红外图像和深度图像后，提取红外图像上的头部、左右眉毛、左右眼睛、左右耳朵、鼻子、嘴巴、身体躯干，这10个特征对应的最小矩形框，并且保存这些特征矩形框中心点的像素坐标，保存下来，然后将保存文件输本文档来自技高网...
【技术保护点】
1.一种基于黑暗盖被环境下的睡姿识别方法，其特征在于包括以下步骤：
2.根据权利要求1所述一种基于黑暗盖被环境下的睡姿识别方法，其特征在于所述步骤一的实验场景为：摄像头采集的图像是人体除腿部之外的身体上半身区域，深度传感器的摄像头到床面的垂直距离是1.1米到1.3之间；并且摄像头的位置在以床头为起始点，床面1/3到1/2处的垂直正上方区域。
3.根据权利要求1所述一种基于黑暗盖被环境下的睡姿识别方法，其特征在于所述步骤二：同步采集完红外图像和深度图像后，通过使用Labelimg打标签工具提取红外图像上的头部、左右眉毛、左右眼睛、左右耳朵、鼻子、嘴巴、身体躯干，这10个特征对应的最小矩形框，并且保存这些特征矩形框中心点的像素坐标，以“.txt”文件格式保存下来，然后将这些1409个“.txt”文件输入到YOLOv5目标识别算法中，该算法可输出训练好的这10个特征的模型，然后通过训练好的模型，去自动提取在线采集到的红外图像中的10个特征对应的最小矩形框中心点的像素坐标，并保存到“.txt”文件中。
4.根据权利要求1所述一种基于黑暗盖被环境下的睡姿
5.根据权利要求1所述一种基于黑暗盖被环境下的睡姿识别方法，其特征在于所述步骤三中的睡姿图像为红外图像和与红外图像对应的深度图像。
6.根据权利要求1所述一种基于黑暗盖被环境下的睡姿识别方法，其特征在于所述步骤四：对步骤三中的1409组数据进行归一化处理，使用BP神经网络训练4类睡姿识别模型，归一化过程为：通步骤二获取到矩形框的中心点像素坐标，然后通过索引的方式获取到该中心点在深度图像上的深度值，然后进行归一化计算，计算公式如下：
7.根据权利要求6所述一种基于黑暗盖被环境下的睡姿识别方法，其特征在于所述BP神经网络的结构为：输入层为40节点，输出层为4个节点，隐藏层有3层，且每一层的节点数分别是64节点，32节点，64节点。
...【技术特征摘要】
1.一种基于黑暗盖被环境下的睡姿识别方法，其特征在于包括以下步骤：
2.根据权利要求1所述一种基于黑暗盖被环境下的睡姿识别方法，其特征在于所述步骤一的实验场景为：摄像头采集的图像是人体除腿部之外的身体上半身区域，深度传感器的摄像头到床面的垂直距离是1.1米到1.3之间；并且摄像头的位置在以床头为起始点，床面1/3到1/2处的垂直正上方区域。
3.根据权利要求1所述一种基于黑暗盖被环境下的睡姿识别方法，其特征在于所述步骤二：同步采集完红外图像和深度图像后，通过使用labelimg打标签工具提取红外图像上的头部、左右眉毛、左右眼睛、左右耳朵、鼻子、嘴巴、身体躯干，这10个特征对应的最小矩形框，并且保存这些特征矩形框中心点的像素坐标，以“.txt”文件格式保存下来，然后将这些1409个“.txt”文件输入到yolov5目标识别算法中，该算法可输出训练好的这10个特征的模型，然后通过训练好的模型，去自动提取在线采集到的红外图像中的10个特征对应的最小矩形框中心点的像素坐标，并保存到“.txt”文件中。
4.根据权利要求1所述一种基于黑暗盖被环境下的睡姿识别方法，其特征在于所述步骤三：将提取的这些特征矩形框中心点的像素坐标索引到对应的深度图像中，并将其保存到对应的特征矩形框...
【专利技术属性】
技术研发人员：孙柏青，刘腾，李勇，张秋豪，杨俊友，
申请(专利权)人：沈阳工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。