一种基于深度相机的人体行为识别方法技术

本发明专利技术公开了一种基于深度相机的人体行为识别方法，包括以下步骤：通过安装在公共区域不同位置的多个深度相机获取监控图像序列；提取监控图像序列中的人体图像，得到人体图像序列，进一步提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积；根据前后时间窗口内投影面积的变化情况粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。本发明专利技术成本低，精确度高，实时性强。

A method of human behavior recognition based on depth camera

The invention discloses a human behavior recognition method based on depth camera, which comprises the following steps: obtaining monitoring image sequence by a plurality of depth camera installed in the public area of different position; extraction of human image sequence surveillance images, human body image sequence, further extraction of human facial contour, each frame of human image the upper limb and lower limb contour profile; calculation of each time window in human facial contour, upper limb and lower limb contour contour in the projection area of the plane; according to changes within the time window of projection area roughly determination of human behavior categories, and image frames in the image sequence in the human projection area changes within a time window is extracted; the image frames extracted by analyzing the relative speed between the joint point and relative acceleration with step 4 A rough judgment of the characteristics of the category of behavior, and accurately determine whether it is such a behavior. The invention has low cost, high accuracy and strong real-time performance.

【技术实现步骤摘要】
一种基于深度相机的人体行为识别方法
本专利技术涉及一种基于深度相机的人体行为识别方法。
技术介绍
目前的安保监控系统，多采用二维成像相机对公共区域进行视频监控，二维成像相机只能成平面图像，不能得到深度信息；因此，监控到的图像中只存在人体行为的投影，无法通过其精确辨识人体行为。而通过多个二维成像相机获取的二维图像，重建成立体视觉进行视频监控，则增加了硬件成本和软件开发的工作量。因此，有必要提供一种基于深度相机的人体行为识别方法。
技术实现思路
本专利技术所解决的技术问题是，针对现有技术的不足，提供一种基于深度相机的人体行为识别方法，利用安装在不同方位的深度相机对公共区域进行多视角视频监控，提取出各个人体图像，然后利用识别算法辨识人体行为，成本低，精确度高，实时性强。本专利技术所提供的技术方案为：一种基于深度相机的人体行为识别方法，包括以下步骤：步骤1、通过安装在公共区域不同位置的多个深度相机采集公共区域内的点云数据；步骤2、对多个深度相机采集的点云数据进行三维重建，获得重建后的监控图像序列；此处为成熟的现有技术，参见参考文献[1]、[2]、[3]。步骤3、首先提取监控图像序列中的人体图像，得到人体图像序列；然后提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；最后划分时间窗口，并计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积；步骤4、根据前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；如果身体部位向前运动，则面部轮廓在该面的投影面积最大；如果人体向一边转身，则面部轮廓在该边的投影面积会变大，因此，通过上面得到的人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，可以粗略判断行为类别；在连续时间窗口中，若前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积发生变化，则将这些时间窗口内的图像帧提取出来；步骤5、通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。进一步地，所述步骤3中，每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积包括以下步骤：3.1)根据Canny算法，提取出每一帧人体图像中的轮廓H，H＝1,2,3分别表示面部轮廓、上肢轮廓、下肢轮廓；3.2)根据以下公式计算任一帧人体图像中的轮廓H在y-z平面、x-z平面和x-y平面的投影面积：其中，x,y,z为深度相机得到图像具有三个维度；为该时间窗口中轮廓H在y-z平面的投影面积；为该时间窗口中轮廓H在x-z平面的投影面积；为该时间窗口中轮廓H在x-y平面的投影面积；i为帧序号，n为一个时间窗口采集的图像总帧数；SH(xi,y,z)为该时间窗口采集的第i帧图像中的轮廓H在y-z平面的投影面积；SH(x,yi,z)为该时间窗口采集的第i帧图像中的轮廓H在x-z平面的投影面积；SH(x,y,zi)为该时间窗口采集的第i帧图像中的轮廓H在x-y平面的投影面积；为所有时间窗口采集的图像中的轮廓H在y-z平面的投影面积之和；为所有时间窗口采集的图像中的轮廓H在x-z平面的投影面积之和，为所有时间窗口采集的图像中的轮廓H在x-y平面的投影面积之和；本专利技术先将每个时间窗口采集的所有图像中的轮廓H的投影面积求和，再除以所有时间窗口采集的图像中的轮廓H的投影面积之和，得到每个时间窗口中轮廓H在y-z平面、x-z平面和x-y平面的投影面积，这样计算可以适当提高精度。进一步地，所述步骤5包括以下步骤：5.1)由深度相机采集的深度图像序列获取人体关节点的运动轨迹；深度相机例如kinect采集的深度图像自动会给标注出人体15个关节点，这些关节点为头部，颈部，左右肩膀，左右肘部，左右手，躯干中心点、左右踝关节，左右膝，左右髋关节，人体的各个部位通过关节点相互连接形成一种树形结构。5.2)分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为；例如：通过前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化，发现下肢面积变小，则粗略判断行为类别为跳跃行为，再根据脚踝、膝盖之间的相对速度和相对加速度是否符合跳跃行为的特征，判定是否为跳跃行为。每一类行为具有其独特的特征，例如：奔跑行为，左膝和右膝的相对速度、左踝关节和右踝关节的相对速度明显大于其他动作，因此可以根据是否符合行为的特征，精准判定是否为此类行为。如果直接对每个时间窗口中的每一帧图像都计算关节点之间的相对速度和相对加速度判别，则运算量很大，系统实时性受到影响；本专利技术仅对提取出的投影面积发生变化的时间窗口内的图像帧进行计算，能有效减少计算量，提高系统的实时性。图像帧中关节点之间的相对速度和相对加速度计算公式如下：其中，ti为该图像帧采集的时刻，n为该图像帧采集的时刻所在的时间窗口采集的图像总帧数fp′(ti)和fq′(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的一阶导数，即关节点p和q在ti时刻的速度；fp″(ti)和fq″(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的二阶导数，即关节点p和q在ti时刻的加速度；Δvp,q和Δap,q表示通过加权处理后的关节点p和q的相对速度，每一帧的权重可以认为是相同的，加权处理的作用是使每两个节点间计算得到的相对速度和加速度有统一的量纲，类似于正则化处理。进一步地，所述步骤4中，5种典型人体行为及其相应的特征为：跳跃：Δv左膝，右膝和Δv左踝关节，右踝关节均大于阈值t1，Δa左膝，右膝大于阈值t2；奔跑：Δv左踝关节，右踝关节、Δv左膝，右髋部和Δv左膝，右膝均大于阈值t3，Δa左膝，右膝大于阈值t4；步行：Δv左膝，左踝关节、Δv右髋关节，左踝关节和Δv右膝，右踝关节大于阈值t5；跳跃：Δv左踝关节，左髋关节、Δv右踝关节，左膝、Δv右膝，左踝关节、Δv左膝，左踝关节和Δv右膝，右踝关节均大于阈值t6，Δa左膝，右膝大于阈值t7；拳击：Δv左踝关节，右踝关节、Δv右踝关节，右膝、Δv左膝，左踝关节和Δv左膝，右踝关节均大于阈值t8，Δa左手，左肘、Δa右手，右肘和Δa左膝，左踝关节均大于阈值t9；所述阈值t1～t9根据经验确定。进一步地，所述步骤4中，根据试验确定阈值为t1～t9分别为：1.5、40、5.5、60、3.5，5.0、40、7.0和30。进一步地，所述基于深度相机的人体行为识别方法，还包括步骤6，通过安装在深度相机上的无线通信模块将人体行为识别结果发送给安保控制中心，如果有危险行为则出发报警。有益效果：本专利技术利用安装在不同方位的深度相机对公共区域进行多视角视频监控，提取出各个人人体图像，然后利用识别算法辨识人体行为，成本低，精确度高，实时性强。附图说明图1为系统示意图。具体实施方式本专利技术公开了一种基于深度相机的人体行为识别方法，包括以下步骤：步骤1、通过安装在公共区域不同位置的多个深度相机采集公共区域内的点云数据；步骤2、对多个深度相机本文档来自技高网...

【技术保护点】
一种基于深度相机的人体行为识别方法，其特征在于，包括以下步骤：步骤1、通过安装在公共区域不同位置的多个深度相机采集公共区域内的点云数据；步骤2、对多个深度相机采集的点云数据进行三维重建，获得重建后的监控图像序列；步骤3、首先提取监控图像序列中的人体图像，得到人体图像序列；然后提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；最后根据划分的时间窗口，并计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y‑z平面、x‑z平面和x‑y平面的投影面积；步骤4、根据前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；步骤5、通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。

【技术特征摘要】
1.一种基于深度相机的人体行为识别方法，其特征在于，包括以下步骤：步骤1、通过安装在公共区域不同位置的多个深度相机采集公共区域内的点云数据；步骤2、对多个深度相机采集的点云数据进行三维重建，获得重建后的监控图像序列；步骤3、首先提取监控图像序列中的人体图像，得到人体图像序列；然后提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；最后根据划分的时间窗口，并计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积；步骤4、根据前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；步骤5、通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。2.根据权利要求1所述的基于深度相机的人体行为识别方法，其特征在于，所述步骤3中，每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积包括以下步骤：3.1)根据Canny算法，提取出每一帧人体图像中的轮廓H，H＝1,2,3分别表示面部轮廓、上肢轮廓、下肢轮廓；3.2)根据以下公式计算任一帧人体图像中的轮廓H在y-z平面、x-z平面和x-y平面的投影面积：其中，x,y,z为深度相机得到图像具有三个维度；为当前时间窗口中轮廓H在y-z平面的投影面积；为该时间窗口中轮廓H在x-z平面的投影面积；为该时间窗口中轮廓H在x-y平面的投影面积；i为帧序号，n为一个时间窗口采集的图像总帧数；SH(xi,y,z)为该时间窗口采集的第i帧图像中的轮廓H在y-z平面的投影面积；SH(x,yi,z)为该时间窗口采集的第i帧图像中的轮廓H在x-z平面的投影面积；SH(x,y,zi)为该时间窗口采集的第i帧图像中的轮廓H在x-y平面的投影面积；为所有时间窗口采集的图像中的轮廓H在y-z平面的投影面积之和；为所有时间窗口采集的图像中的轮廓H在x-z平面的投影面积之和；为所有时间窗口采集的图像中的轮廓H在x-y平面的投影面积之和；由此得到每个时间窗口中轮廓H在y-z平面、x-z平...

【专利技术属性】
技术研发人员：涂宏斌，周翔，杨辉，田炜，周继辉，彭日光，肖玉飞，张丰，
申请(专利权)人：长沙湘计海盾科技有限公司，长城信息产业股份有限公司，
类型：发明
国别省市：湖南,43