一种基于深度相机的久坐久卧检测方法技术

本发明专利技术公开了一种基于深度相机的久坐久卧检测方法。为了克服现有技术人体姿势识别容易暴露隐私，且识别结果容易受环境影响的问题；本发明专利技术包括以下步骤：S1：在房间内安装深度相机，获取深度数据；S2：根据头肩模型逐帧识别判断房间内人数，当人数为一时，建立人物跟踪列表；S3：提取深度数据中人物的点云信息进行坐标转换，通过头部的高度阈值比较判断是否进入久坐久卧判定过程；S4：久坐久卧判定过程中通过人物跟踪列表判定人物是否处于久坐久卧状态；人物处于久坐久卧状态后，进行持续保持阶段判定，累加持续时间，当持续时间超过时间阈值时，发出报警信号。本方案采用深度相机识别头部，进行久卧久坐的识别，不会暴露隐私，受环境影响小。

【技术实现步骤摘要】
一种基于深度相机的久坐久卧检测方法
本专利技术涉及一种视觉识别领域，尤其涉及一种基于深度相机的久坐久卧检测方法。
技术介绍
近年来，深度传感器技术发展突飞猛进，不同领域都在探索使用深度传感器。基于ToF方案实现的深度相机由于具有低成本、高精度、高可靠性和高帧率等优点，越来越受到人们的关注。ToF相机通过计算发射红外信号与反射信号间的相位差，得到三维深度信息。相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系。基于以上特点，ToF相机可以应用在很多场景，如机器人视觉、三维重建、娱乐交互、及时定位与地图构建等。随着基于深度学习的算法越来越成熟，通过深度信息，对于人体动作的检测的准确率已满足姿势检测的需求。随着年龄增长，人体各项生理机能退化严重，老年人很容易发生意外，不及时发现处理，会导致身体受到不可逆的伤害。近年来，随着国内人口老龄化越来越严重，主要针对老年人的看护设备正受到越来越多的关注。现有的技术方案主要有基于传统相机的视觉技术和基于毫米波雷达技术。基于传统相机的视觉技术的方案，采用了传统的摄像头，以成像的方式采集场景照片，在对照片进行算法分析，从而实现检测。这个方案的主要缺点就是光线和隐私泄露的问题，不能部署于对隐私敏感的场合，如卧室、卫生间。基于毫米波雷达技术的方案，不使用成像技术，采用了毫米波技术（30～300GHz频域、波长为1～10mm），解决了隐私泄露的问题，但是毫米波雷达数据非常稀疏，导致算法准确性比较差。例如，一种在中国专利文献上公开的“融合彩色图像与深度信息的人体卧姿三维姿态估计方法”，其公告号CN112215172A，先使用RGBD相机同时捕获运动的人体所在空间内的彩色图像和深度信息；基于自下而上的深度学习方法对彩色图像进行人体二维关键点位置检测；再利用相机标定得到的相关参数对彩色图像与深度信息进行空间匹配实，实现人体关键点的三维坐标粗略定位；然后基于个性化的人体尺寸参数对深度相机的采集误差进行修正；最后考虑运动本身在时间尺度上的连续性，利用插帧和滤波方法对各关键点的三维坐标序列进行进一步修正，准确实现人体卧姿三维姿态估计。该方案通过彩色图像识别，容易暴露隐私。
技术实现思路
本专利技术主要解决现有技术人体姿势识别容易暴露隐私，且识别结果容易受环境影响的问题；提供一种基于深度相机的久坐久卧检测方法，采用深度相机识别头部，进行久卧久坐的识别，不会暴露隐私，受环境影响小。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：一种基于深度相机的久坐久卧检测方法，包括以下步骤：S1：在房间内安装深度相机，获取深度数据；S2：根据头肩模型逐帧识别判断房间内人数是否为一人；若是，则建立人物跟踪列表，并执行下一步；若否，则等待下一帧；S3：提取深度数据中人物的点云信息进行坐标转换，通过头部的高度阈值比较判断是否进入久坐久卧判定过程；S4：久坐久卧判定过程中通过人物跟踪列表判定人物是否处于久坐久卧状态；判定人物处于久坐久卧状态后，进行持续保持阶段判定，累加持续时间，当持续时间超过时间阈值时，发出报警信号。本申请基于深度相机进行人体姿势的识别，利用深度相机具有高动态的测距范围、兼顾高低反射率物体的特点，能够适应复杂场景，输出稳定的数据；同时因为值采集深度数据，仅描述设备到人物的距离信息，不含其他任何敏感信息，具有保护隐私的特性。且通过头部识别，避免受到复杂场景（桌椅床等其他家居）的干扰而检测不到完整人物形状的影响，减少环境影响。作为优选，所述的深度相机吊装在房间的屋顶，深度相机镜头正对地面。度相机吊装在房间的屋顶，深度相机镜头正对地面。安装不受户型和房间的限制，能够安装在卧室和浴室中。作为优选，所述的步骤S2具体包括以下步骤：所述的步骤S2具体包括以下步骤：S21：将一帧深度数据转换为RGB图；深度数据的每一个像素点占用16位，通过灰度到JET的映射，获得高对比度的RGB图像；S22：将RGB图转换为二值图像；采用卷积神经网络，用小型高速的网络来提取人体特征做二分类；S23：根据二值图像组成特定的头肩模型；根据识别区的人物区域，使用局部二值模式，提取纹理特征，分析出头肩区域；对识别出的头部区域和肩部区域，结合深度数据，进行数据验证，主要包括两方面，一是头部区域的长宽比例验证；二是通过获得头部的整体高度，验证头部的大小是否合理；S24：根据头肩模型参数进行头部识别，识别房间内人数；S25：当识别房间内人数为一人时，建立人物跟踪表，进入步骤S3；否则，返回步骤S21，进入下一帧的深度数据判定。通过深度相机只采集深度数据，该数据是描述设备到人物的距离信息，不含其他任何敏感信息，具有保护隐私的特性。作为优选，所述的人物跟踪列表包括深度数据和人物识别区域数据；人物识别区域数据具体包括头部识别矩形区域的宽、高、左上角顶点坐标和屋顶距离头部的平均距离，以及肩部识别矩形区域的宽、高、左上角顶点坐标和屋顶距离肩部的平均距离；人物跟踪列表通过匈牙利匹配算法关联帧间目标信息，实现时间序列上的目标跟踪；通过对连续时间内目标的平均高度的变化，来进行姿势变化的判断。作为优选，所述的步骤S3包括以下步骤：S31：将点云信息通过坐标转换，转换为（x,y,z）坐标；S32：根据目标头部区域所有点集合的（x,y,z）坐标信息计算目标高度；取高度的最大值代表目标的瞬时高度；S33：将得到的平均高度进行平滑滤波产生新的平均高度；S34：若最大高度和平均高度大于阈值，则重置状态，等待下一帧；若最大高度和平均高度均在阈值范围内，则进行久坐就卧判定过程。利用神经网络估计当前跟踪目标运动姿态、同时利用深度数据来监测目标当前高度和位置，用于判定这一过程是否符合坐下和躺下的动作要求。若目标在检测区域内出现符合久坐久卧的姿态，且高度低于给定阈值，则判定当前目标进入久坐久卧状态，开始计时。作为优选，深度相机输出的深度数据为字节大小的连续二进制数据，数据以左上角为原点，从左到右为X轴正方向，从上到下为Y轴正方向的顺序存放深度数据；其中，为深度相机的分辨率；对于任意，；坐标（x,y）对应的z值计算过程为：其中，z为对应坐标（x,y）的高度值；为相机距离地面的高度；data为深度数据的二进制序列。通过判断目标所有点集合的(x，y，z)信息计算目标高度。作为优选，所述的平滑滤波过程为：其中，为新的平均高度；为现在的瞬时高度；为上一帧的所有点的平均高度。考虑到人在坐下或躺下过程中头部下降的高度最大，选择了求高度的最大值，并以这个最大值代表目标的瞬时高度。为了减少目标瞬时高度波动对检测结果的影响，需要结合上一步得到的平均高度进行平滑滤波以产生新的平均高度，并用得到的平均高度进行久坐久卧检测。作为优选，所述的步骤S4包本文档来自技高网...

【技术保护点】
1.一种基于深度相机的久坐久卧检测方法，其特征在于，包括以下步骤：/nS1：在房间内安装深度相机，获取深度数据；/nS2：根据头肩模型逐帧识别判断房间内人数是否为一人；若是，则建立人物跟踪列表，并执行下一步；若否，则等待下一帧；/nS3：提取深度数据中人物的点云信息进行坐标转换，通过头部的高度阈值比较判断是否进入久坐久卧判定过程；/nS4：久坐久卧判定过程中通过人物跟踪列表判定人物是否处于久坐久卧状态；判定人物处于久坐久卧状态后，进行持续保持阶段判定，累加持续时间，当持续时间超过时间阈值时，发出报警信号。/n

【技术特征摘要】
1.一种基于深度相机的久坐久卧检测方法，其特征在于，包括以下步骤：
S1：在房间内安装深度相机，获取深度数据；
S2：根据头肩模型逐帧识别判断房间内人数是否为一人；若是，则建立人物跟踪列表，并执行下一步；若否，则等待下一帧；
S3：提取深度数据中人物的点云信息进行坐标转换，通过头部的高度阈值比较判断是否进入久坐久卧判定过程；
S4：久坐久卧判定过程中通过人物跟踪列表判定人物是否处于久坐久卧状态；判定人物处于久坐久卧状态后，进行持续保持阶段判定，累加持续时间，当持续时间超过时间阈值时，发出报警信号。


2.根据权利要求1所述的一种基于深度相机的久坐久卧检测方法，其特征在于，所述的深度相机吊装在房间的屋顶，深度相机镜头正对地面。


3.根据权利要求1或2所述的一种基于深度相机的久坐久卧检测方法，其特征在于，所述的步骤S2具体包括以下步骤：
S21：将一帧深度数据转换为RGB图；深度数据的每一个像素点占用16位，通过灰度到JET的映射，获得高对比度的RGB图像；
S22：将RGB图转换为二值图像；采用卷积神经网络，用小型高速的网络来提取人体特征做二分类；
S23：根据二值图像组成特定的头肩模型；根据识别区的人物区域，使用局部二值模式，提取纹理特征，分析出头肩区域；
对识别出的头部区域和肩部区域，结合深度数据，进行数据验证，主要包括两方面，一是头部区域的长宽比例验证；二是通过获得头部的整体高度，验证头部的大小是否合理；
S24：根据头肩模型参数进行头部识别，识别房间内人数；
S25：当识别房间内人数为一人时，建立人物跟踪表，进入步骤S3；否则，返回步骤S21，进入下一帧的深度数据判定。


4.根据权利要求3所述的一种基于深度相机的久坐久卧检测方法，其特征在于，所述的人物跟踪列表包括深度数据和人物识别区域数据；人物识别区域数据具体包括头部识别矩形区域的宽、高、左上角顶点坐标和屋顶距离头部的平均距离，以及肩部识别矩形区域的宽、高、左上角顶点坐标和屋顶距离肩部的平均距离；
人物跟踪列表通过匈牙利...

【专利技术属性】
技术研发人员：阮钰标，刘林，徐勇军，彭雅丽，
申请(专利权)人：浙江光珀智能科技有限公司，
类型：发明
国别省市：浙江;33