本发明专利技术提供一种三维人体行为识别方法及装置。本发明专利技术三维人体行为识别方法，包括：分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取对应的二值深度视频序列和二值RGB视频序列；分别提取二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像；对提取出的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理；对分块处理后的图像进行均匀局部二值模式的特征提取，获取均匀局部二值模式的特征向量；将获取到的均匀局部二值模式的特征向量进行行为分类识别，判断出待识别三维人体行为所属的行为类型。本发明专利技术极大减少了特征数据的信息量，识别速度高，识别率较高。
【技术实现步骤摘要】
【专利摘要】本专利技术提供一种三维人体行为识别方法及装置。本专利技术三维人体行为识别方法，包括：分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取对应的二值深度视频序列和二值RGB视频序列；分别提取二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像；对提取出的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理；对分块处理后的图像进行均匀局部二值模式的特征提取，获取均匀局部二值模式的特征向量；将获取到的均匀局部二值模式的特征向量进行行为分类识别，判断出待识别三维人体行为所属的行为类型。本专利技术极大减少了特征数据的信息量，识别速度高，识别率较高。【专利说明】三维人体行为识别方法及装置
本专利技术涉及图像处理
，尤其涉及一种三维人体行为识别方法及装置。
技术介绍
随着计算机技术和信息技术的发展，对基于视频的人体行为识别的需求越来越迫切，在诸如智能监控、家居安全、智能机器人等系统中，行为识别起到了越来越重要的作用。另外，早期的人体行为识别大多是利用普通的色彩(Red Green Blue，简称RGB)图像序列进行行为识别，但是这种人体识别行为会受到光照、阴影、色度、环境变化等因素的干扰。因此，为了解决早期人体识别行为所带来的问题，结合深度图像的优点，利用深度图像与RGB图像序列一起进行人体行为识别，该深度图像与色彩RGB图像不同，由于深度图像像素值仅与物体空间位置有关，因此不会受光照、阴影、色度、环境变化等因素的干扰，从而能够有效地突破色彩RGB图像识别遇到的问题和瓶颈。 现有技术中的基于深度与RGB信息和多尺度方向等级层次特征的行为识别方法，提出了采用差值运动历史图像和深度限制RGB图像来表征和描述人体行为变化过程，并对两种图像进行多尺度和多方向等级层次的特征提取。现有技术的方案中采用深度图像距离差值法，进行背景减除，并采用多尺度多方向等级层次进行特征提取，最终采用支持向量机模型(Support Vector Machine,简称SVM)进行分类识别。 现有技术的问题是，主要通过视频采集设备中预先设置的图像灰度阈值方法进行背景减除。在复杂的环境下或者距离精度较低，无法通过阈值来判别背景时，就很难完成背景减除，例如行为人不同的衣服穿装，就很难区分。采用多尺度多方向等级层次的特征提取，提取速度慢，特征信息量较大，不利于后面的模型分类，并影响识别速度。
技术实现思路
本专利技术提供一种三维人体行为识别方法及装置，以解决现有技术中背景减除精度低，特征提取速度慢，特征信息量较大，分类识别速度较慢的问题。 第一方面，本专利技术提供一种三维人体行为识别方法，包括: 分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列； 分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像； 对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理； 对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量； 将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。 可选地，所述分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列，包括: 采用视觉背景提取ViBe算法分别检测所述深度视频序列和所述RGB视频序列；若检测到所述深度视频序列的连续T帧图像中中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；所述T为预设的背景减除阈值； 若检测到所述RGB视频序列的连续T帧图像中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点； 分别将所述深度视频序列和所述RGB视频序列中的背景像素点的像素值设置为0，将所述深度视频序列和所述RGB视频序列中的前景像素点的像素值设置为255，得到与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列。 可选地，所述分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像，包括: 提取所述二值深度视频序列包括的多帧深度图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值深度视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值深度视频序列对应的行为轮廓历史图像； 提取所述二值RGB视频序列包括的多帧RGB图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值RGB视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值RGB视频序列对应的行为轮廓历史图像。 可选地，所述对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，包括: 确定所述二值深度视频序列的行为轮廓历史图像和所述二值RGB视频序列的行为轮廓历史图像中相同位置的像素点的像素值； 将所述相同位置的像素点的像素值中最小的像素值作为融合后的图像的对应位置的像素点的像素值。 可选地，所述将融合后的图像进行分块处理，包括: 将所述融合后的图像分成GXG大小的块，获取多个图像块； 将所述多个图像块中的像素值进行平均得到平均像素值，并将所述平均像素值与预设的阈值进行比较，若大于所述阈值，则将所述平均像素值作为所述图像块的像素值； 其中，G为整数，且大于I。 可选地，所述对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量，包括: 计算所述分块处理后的图像的各个图像块的均匀局部二值模式的特征值，并将所述特征值乘以所述图像块的邻近边缘梯度向量之和的模值除以所述特征值出现的次数形成B(B_l)+3维的特征向量；所述均匀局部二值模式的特征值的取值属于区间，所述B的大小为等间距分布于以所述图像块为圆心，半径为R的圆周上的像素点的个数；所述R大于等于I。 可选地，在所述将所述特征值出现的概率乘以所述图像块的邻近边缘梯度向量之和的模值形成B (B-1)+3维的特征向量之前，所述方法还包括: 将所述分块处理后的图像的各个图像块作为中心像素点，检测所述中心像素点的所述半径为R的圆周上是否存在邻近边缘梯度向量，包括:若所述圆周的任一方向上的像素点的像素值大于所述中心像素点的像素值，则存在所述方向上的邻近边缘梯度向量，所述方向包括:以所述中心像素点为原点，X轴正方向、y轴正方向、X轴反方向和y轴反方向。 可选地，所述将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型，包括: 根据多个已知所属的行为类型的三维人体行为的深度视频序列和色彩RGB视频序列提取出的特征本文档来自技高网...
【技术保护点】
一种三维人体行为识别方法，其特征在于，包括：分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列；分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像；对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理；对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量；将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。
【技术特征摘要】
【专利技术属性】
技术研发人员：明悦，吴岳辛，王光超，韩丹，李扬，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。