基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法技术

一种基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法。具体包含以下步骤：视频预处理；目标运动变化过程描述；多尺度多方向等级层次特征提取；模型构建；模型选择和推断。本发明专利技术首先利用深度图像进行行为识别能够克服可见光图像行为识别常遇到的困难，如光照变化、阴影、物体遮挡等因素的干扰；其次本发明专利技术提出的深度差值运动历史图像和深度限制RGB图差值运动历史图像能很好捕获深度图像序列和RGB图像序列中人体行为的变化过程；再次本发明专利技术公开的多尺度多方向等级层次特征既有空间分辨能力也有细节描述能力，且具有很好的鲁棒性和区分性；最后、根据光线的亮暗，可自主选择模型，进一步提高了行为识别算法的适应性。

【技术实现步骤摘要】
基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法
本专利技术属于计算机视觉和模式识别
，涉及一种基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法，解决利用可见光图像进行行为识别的困难，并提高行为识别的准确性和鲁棒性，可以用于对监控视频中人体目标的行为识别，实现对监控视频的智能化管理。
技术介绍
随着计算机技术和信息技术的发展，对基于视频的人体行为分析的需求越来越迫切，在诸如智能监控、家居安全、智能机器人、运动员辅助训练等系统中，行为分析起到了越来越重要的作用。然而早期的人体行为识别大多是利用普通的RGB图像序列进行行为分析，这样会受到光照、阴影、色度、环境变化等因素的干扰。利用深度图像进行人体行为识别是近年来兴起的技术。这主要得益于深度图摄像机的成本降低，特别是微软推出Kinect设备。与可见光图像不同，深度图像像素值仅与物体空间位置有关，不会受光照、阴影、色度、环境变化等因素的干扰，能够有效地突破可见光图像识别遇到的问题和瓶颈。在一定的空间范围内，深度图像可以用来进行3D空间中的行为识别，代替可见光摄像机的双目视觉。因为人体运动分析在高级人机交互、视频会议、安全监控、医疗诊断、基于内容的图像存储和检索等方面，具有潜在的经济价值和广泛的应用前景，因此利用深度图像进行行为分析得到国内外广大机器视觉研究者们的关注。在计算机视觉和模式识别相关研究领域中，提高人体行为识别的准确性和稳定性一直是最活跃的研究问题之一，并且能够设计出一种鲁棒的行为描述法也是一个重点和难点。由于利用可见光图像会受到光照、阴影、色度、环境变化等因素的干扰，在识别目标的行为时，基于可见光的方法常常失败，当光线发生较大变化时，例如，夜晚，其性能将急剧下降。因此，近些年利用深度图像进行行为识别成为该领域主流方法，但是由于目标差异较大，同时，即使相同目标的行为也存在差异，这给人体行为识别带来了很大困难。
技术实现思路
本专利技术的目的是解决基于可见光的行为识别方法识别性能不稳定，当光线发生较大变化时，例如，夜晚，其性能将急剧下降的问题，提出了一种基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法，用于对视频监控中目标行为进行识别，以实现对监控视频的智能分析。本专利技术提供的基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法，克服了现有技术的不足并提高了行为识别的准确性，能够很好的应用于现实生活中。该方法具体包含以下步骤：第1、视频预处理预处理包括对输入的深度和RGB图像序列滤波去噪，同时，根据目标距离信息设置阈值，当某像素的深度值大于该阈值时，将该像素标记为0，否则标记为1，这样，可以移除背景对目标的干扰；第2、运动变化过程描述（1）捕获深度视频序列人体变化过程，获得深度差值运动历史图像；（2）捕获RGB视频序列人体运动变化过程，获得深度限制RGB图差值运动历史图像；第3、多尺度多方向等级层次特征提取在第2步获得的深度差值运动历史图像和深度限制RGB图差值运动历史图像的基础上，分别寻找图像中非零像素，从而获得对应的人体历史运动的矩形区域，并在该区域内，提取多尺度多方向的等级层次特征描述对应的人体行为；第4、不同模型构建在公共行为数据集DHA上（每个样本都包括RGB和深度图像序列，同时，该数据集被划分为训练数据集和测试数据集），按照第3步的方法，为训练数据集中的每个样本分别提取深度图像序列和RGB图像序列上的多尺度多方向的等级层次特征，然后，在训练数据集上分别训练基于深度的多尺度多方向的等级层次特征和基于深度、RGB融合的多尺度多方向的等级层次特征的支持向量机模型；第5、模型选择和推断在公共行为数据集DHA中测试数据集上，按照第3步的方法，提取深度和RGB运动历史图像上的多尺度多方向的等级层次特征，同时，计算RGB矩形区域内平均亮度，根据其光线的亮暗情况，选择不同的、已训练好的模型，当光线较暗时，采用基于深度的多尺度多方向的等级层次特征的支持向量机模型，反之，则采用深度、RGB融合的多尺度多方向的等级层次特征的支持向量机模型，将测试样本中提取的特征输入到选择的模型中，模型将自动地对样本的行为类别进行判断。本专利技术第3步所述的人体行为包括17个行为类别，具体为(1)弯腰鞠躬，(2)原地起跳且手抬起，(3)跳远，(4)单手挥手，(5)原地跳起手不动，(6)跑步，(7)侧移，(8)单脚走路，(9)双手挥手，(10)双脚走路，(11)鼓掌，(12)甩胳膊，(13)踢腿，(14)网球、羽毛球等发球，(15)高尔夫摇杆击球，(16)拳击，(17)太极云手。本专利技术方法通过利用深度图解决由于光照变化、阴影、物体遮挡以及环境变化因素带来的难题，同时提出的深度差值运动历史图像和深度限制RGB图差值运动历史图像能够很好地捕获运动变化过程，对后续的识别工作有很大帮助，其次多尺度多方向等级层次特征提高了行为识别率，最后，根据光线的亮暗，能够自主的选择模型，进一步提高了行为识别方法的适应性。本专利技术的优点和有益效果：1）通过在深度图像上提取运动特征进行行为识别解决由于光照、阴影、色度、环境变化等因素带来的影响；2）在深度图中根据目标距离比较容易将前景与背景分开，将深度图与RGB图相与能够获得人体剪影的大概区域，这也解决了利用RGB图像进行识别时难以将人体分割出来的困难；3）本专利技术公开的多尺度多方向的等级层次特征既具有空间分辨能力也具有细节描述能力，且具有很好的鲁棒性和区分性，很大程度上提高行为识别的准确性。4)根据光线的亮暗，可以自主的选择模型，进一步提高了行为识别算法的适应性。附图说明图1为本专利技术的流程图。图2从左至右分别为“单手挥手”行为的RGB图像(a)、深度图像(b)和深度差值运动历史图像(c)。图3从左至右分别为“高尔夫摇杆击球”行为的RGB图像(a)、RGB图人体剪影图像(b)和深度限制RGB图差值运动历史图像(c）。图4为DDMHI_MSMD_HBM特征提取过程。图5为DLRDMHI_MSMD_HBM特征提取过程。具体实施方式下面结合附图对本专利技术作进一步的描述。实施例1如图1所示，为本专利技术基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法的操作流程图，该方法的操作步骤包括：步骤01视频预处理对输入的深度和RGB图像序列滤波去噪，同时，通过Kinect设备的红外装置，可以测出目标与摄像头的大概距离，根据该距离值，加上0.5获得大阈值，减去1获得小阈值，例如，在实时例中，目标与摄像头的距离大约为2米，则大阈值为2.5米，小阈值为1米。当某像素的深度值大于大阈值或小于小阈值时，将该像素标记为0，否则标记为1，这样，可以移除背景对目标的干扰；其结果如图2（a)和（b）所示。具体定义为：(1)其中代表深度图像中像素的深度值，代表两个不同的阈值，且，实施例中，=2.5，=1。其中图像去噪采用均值滤波方法。步骤02运动历史变化过程描述（1）深度图运动过程描述：针对任意长度的N帧视频，例如N=23、31、41、54，为了描述连续运动序列的深度变化过程，针对每个非零像素，计算N帧中该像素位置的最大值和最小值，并将最大值和最小值做差，获得的图像被命名为深度差值运动历史图像（DepthDifferenceMotionHisto本文档来自技高网...

【技术保护点】
一种基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法，该方法具体包含以下步骤：第1、视频预处理预处理包括对输入的深度和RGB图像序列滤波去噪，同时，通过Kinect设备的红外装置，可以测出目标与摄像头的大概距离，根据该距离值，加上0.5获得大阈值，减去1获得小阈值；当某像素的深度值大于该阈值时，将该像素标记为0，否则标记为1，这样，能够移除背景对目标的干扰；第2、运动变化过程描述（1）捕获深度视频序列人体变化过程，获得深度差值运动历史图像；（2）捕获RGB视频序列人体运动变化过程，获得深度限制RGB图差值运动历史图像；第3、多尺度多方向等级层次特征提取在第2步获得的深度差值运动历史图像和深度限制RGB差值运动历史图像的基础上，分别寻找图像中非零像素，从而获得对应的人体历史运动的矩形区域，并在该区域内，提取多尺度多方向的等级层次特征描述对应的人体行为；?第4、不同模型构建公共行为数据集DHA中每个样本都包括RGB和深度图像序列，同时，该数据集被划分为训练数据集和测试数据集，按照第3步的方法，为DHA的训练数据集中的每个样本分别提取深度图像序列和RGB图像序列上的多尺度多方向的等级层次特征，然后，在训练数据集上分别训练基于深度的多尺度多方向的等级层次特征和基于深度、RGB融合的多尺度多方向的等级层次特征的支持向量机模型；第5、模型选择和模型推断在公共行为数据集DHA中测试数据集上，按照第3步的方法，提取深度和RGB运动历史图像上的多尺度多方向的等级层次特征，同时，计算RGB矩形区域内平均亮度，根据其光线的亮暗情况，选择不同的、已训练好的模型，当光线较暗时，采用基于深度的多尺度多方向的等级层次特征的支持向量机模型，反之，则采用深度、RGB融合的多尺度多方向的等级层次特征的支持向量机模型，将测试样本中提取的特征输入到选择的模型中，模型将自动地对样本的行为类别进行判断。...

【技术特征摘要】
1.一种基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法，该方法具体包含以下步骤：第1、视频预处理预处理包括对输入的深度和RGB图像序列滤波去噪，同时，通过Kinect设备的红外装置，可以测出目标与摄像头的大概距离，距离单位为米，根据该距离值，加上0.5米获得大阈值，减去1米获得小阈值；当某像素的深度值大于大阈值或小于小阈值时，将该像素标记为0，否则标记为1，这样，能够移除背景对目标的干扰；第2、运动变化过程描述(1)捕获深度视频序列人体变化过程，获得深度差值运动历史图像；(2)捕获RGB视频序列人体运动变化过程，获得RGB差值运动历史图像；第3、多尺度多方向等级层次特征提取在第2步获得的深度差值运动历史图像和RGB差值运动历史图像的基础上，分别寻找图像中非零像素，从而获得对应的人体历史运动的矩形区域，并在该区域内，提取多尺度多方向的等级层次特征描述对应的人体行为；第4、不同模型构建公共行为数据集DHA中每个样本都包括RGB和深度图像序列，同时，该数据集被划分为训练数据集和测试数据集，按照第3步的方法，为DHA的训练数据集中的每个样本分别提取深度图像序列和RGB图像序列上的多尺度多方向的等级层次特征，然后，在训练数据集上分别训练基于深度的多尺度多方向的等级层次特征和基于深度、RGB融合的多尺度多方向的等级层次特征的支持向量机模型；第5、模型选择和模型推断在公共行...

【专利技术属性】
技术研发人员：高赞，申晓霞，张桦，薛彦兵，徐光平，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：