一种人体动作的识别方法及装置制造方法及图纸

技术编号:15108924 阅读:169 留言:0更新日期:2017-04-09 00:19
本发明专利技术适用于模式识别技术领域,提供了一种人体动作的识别方法及装置,所述识别方法包括:获取深度图像序列,对所述深度图像序列进行变换得到对应的深度运动序列;对所述深度运动序列进行时间维度上的划分和空间维度上的划分,得到多个运动历史立方体及其对应的多个空间子立方块;根据所述空间子立方块计算所述运动历史立方体对应的特征向量,组合所述多个运动历史立方体对应的特征向量,得到所述深度运动序列的特征向量;根据所述深度运动序列的特征向量,利用支持向量机SVM进行模型训练和测试,以得到人体动作的识别结果。本发明专利技术解决了现有人体动作识别方法存在自遮挡的问题,增强了对人体运动的描述能力,提高了人体动作的识别准确度。

【技术实现步骤摘要】

本专利技术属于模式识别
,尤其涉及一种人体动作的识别方法及装置
技术介绍
为了准确衡量动作标签的相似度,现有技术提出了多种基于深度图像序列的人体动作识别方法,比如三维点云、人体骨架模型以及超曲面法向量等方法。然而,现有技术通过深度图像序列进行人体动作识别的方法依然存在以下几个方面的缺点:1.在人体自遮挡情况下,比如“胸前挥手”,动作识别的准确度不高;2.对物体在时间尺度上的运动信息的描述能力不够强,比如“放下东西”和“拿起东西”;3.所选取的特征较为复杂且数据维度高,增加了特征抽取和动作分类的计算复杂度,实用性较差。
技术实现思路
鉴于此,本专利技术实施例提供一种人体动作的识别方法及装置,以解决现有人体动作识别方法存在自遮挡的问题,增强对人体运动的描述能力,提高人体动作的识别准确度。第一方面,提供了一种人体动作的识别方法,所述识别方法包括:获取深度图像序列,对所述深度图像序列进行变换得到对应的深度运动序列;对所述深度运动序列进行时间维度上的划分,获得每一个时间区域内的运动历史立方体;针对每一个时间区域内的运动历史立方体,按照预设的空间网格对所述运动历史立方体进行空间维度上的划分,获得每一个运动历史立方体对应的多个空间子立方块;根据每一个运动历史立方体对应的空间子立方块计算所述运动历史立方体对应的特征向量,连接所述每一个时间区域内的运动历史立方体对应的特征向量,得到所述深度运动序列的特征向量;根据所述深度运动序列的特征向量,利用支持向量机SVM进行模型训练和测试,以得到人体动作的识别结果。第二方面,提供了一种人体动作的识别装置,所述识别装置包括:获取模块,用于获取深度图像序列,对所述深度图像序列进行变换得到对应的深度运动序列;第一划分模块,用于对所述深度运动序列进行时间维度上的划分,获得每一个时间区域内的运动历史立方体;第二划分模块,用于针对每一个时间区域内的运动历史立方体,按照预设的空间网格对所述运动历史立方体进行空间维度上的划分,获得每一个运动历史立方体对应的多个空间子立方块;特征提取模块,用于根据每一个运动历史立方体对应的空间子立方块计算所述运动历史立方体对应的特征向量,连接所述每一个时间区域内的运动历史立方体对应的特征向量,得到所述深度运动序列的特征向量;训练模块,用于根据所述深度运动序列的特征向量,利用支持向量机SVM进行模型训练和测试,以得到人体动作的识别结果。与现有技术相比,本专利技术实施例通过将获取到的深度图像序列变换为对应的深度运动序列,解决了现有人体动作识别方法存在的自遮挡问题。再通过对所述深度运动序列进行时间维度上的划分以及空间维度上的划分,得到多个空间子立方块,然后根据所述空间子立方块计算得到所述运动历史立方体对应的特征向量,进而得到所述深度运动序列的特征向量;最后利用支持向量机SVM进行模型训练和测试,以得到人体动作的识别结果。通过本专利技术实施例所得到的深度运动序列的特征向量增强了对人体运动的描述能力,有效地描述了人体在空间的位移变化情况,从而提高了对人体动作识别的准确度,且解决了现有人体动作识别方法存在的自遮挡问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。图1是本专利技术实施例提供的人体动作的识别方法的实现流程图;图2是本专利技术实施例提供的人体动作的识别方法中步骤S101的具体实现流程图;图3是本专利技术实施例提供的深度运动序列的获取示意图;图4是本专利技术实施例提供的人体动作的识别方法中步骤S102的具体实现流程图;图5是本专利技术实施例提供的3层时间立方金字塔的划分示意图;图6是本专利技术实施例提供的运动历史立方体在空间维度上的划分示意图;图7是本专利技术实施例提供的人体动作的识别方法中步骤S104的具体实现流程图;图8是本专利技术实施例提供的人体动作的识别装置的组成结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本专利技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。本专利技术实施例通过将获取到的深度图像序列变换为对应的深度运动序列,解决了现有人体动作识别方法存在的自遮挡问题。再通过对所述深度运动序列进行时间维度上的划分以及空间维度上的划分,得到多个空间子立方块,然后根据所述空间子立方块计算得到所述运动历史立方体对应的特征向量,进而得到所述深度运动序列的特征向量;最后利用支持向量机SVM进行模型训练和测试,以得到人体动作的识别结果。通过本专利技术实施例所得到的深度运动序列的特征向量增强了对人体运动的描述能力,有效地描述了人体在空间的位移变化情况,从而提高了对人体动作识别的准确度。本专利技术还提供了相应的装置,以下分别进行详细的说明。图1示出了本专利技术实施例提供的人体动作的识别方法的实现流程。参阅图1,所述识别方法包括:在步骤S101中,获取深度图像序列,对所述深度图像序列进行变换得到对应的深度运动序列。在本专利技术实施例中,所述深度图像序列通过Kinect传感器获取。所述Kinect传感器中的深度摄像头在获取图像信息时,实时获取物体的距离信息,并且不受光照变化和纹理信息的影响,即使是黑暗环境下也有很好的适应性。在这里,对所述深度图像序列进行变换包括对所述深度图像序列进行投影变换和差异处理。图2示出了本专利技术实施例提供的人体动作的识别方法中步骤S101的具体实现流程。参阅图2,所述步骤S101包括:在步骤S201中,获取所述深度图像序列中的任意第i帧深度图像,将所述第i帧深度图像投影到笛卡尔坐标系的三个正交平面上,获取每一个正交平面上的投影图像,得到所述第i帧深度图像的正视角投影图像、侧视角投影图像以及俯视角投影图像。在步骤S202中,根据所述第i帧深度图像的正视角投影图像、侧视角投影图像以及俯视角投影图像,计算其对应的正视角差分图、侧视角差分图以及俯视角差分图,组合所述正视角差分图、侧视角差分图以及俯视角差分图,得到所述第i帧深度图像对应的深度运动立方体在步骤S203中,遍历所述深度图像序列中的每一帧深度图像,组合每一本文档来自技高网...

【技术保护点】
一种人体动作的识别方法,其特征在于,所述识别方法包括:获取深度图像序列,对所述深度图像序列进行变换得到对应的深度运动序列;对所述深度运动序列进行时间维度上的划分,获得每一个时间区域内的运动历史立方体;针对每一个时间区域内的运动历史立方体,按照预设的空间网格对所述运动历史立方体进行空间维度上的划分,获得每一个运动历史立方体对应的多个空间子立方块;根据每一个运动历史立方体对应的空间子立方块计算所述运动历史立方体对应的特征向量,连接所述每一个时间区域内的运动历史立方体对应的特征向量,得到所述深度运动序列的特征向量;根据所述深度运动序列的特征向量,利用支持向量机SVM进行模型训练和测试,以得到人体动作的识别结果。

【技术特征摘要】
1.一种人体动作的识别方法,其特征在于,所述识别方法包括:
获取深度图像序列,对所述深度图像序列进行变换得到对应的深度运动序
列;
对所述深度运动序列进行时间维度上的划分,获得每一个时间区域内的运
动历史立方体;
针对每一个时间区域内的运动历史立方体,按照预设的空间网格对所述运
动历史立方体进行空间维度上的划分,获得每一个运动历史立方体对应的多个
空间子立方块;
根据每一个运动历史立方体对应的空间子立方块计算所述运动历史立方体
对应的特征向量,连接所述每一个时间区域内的运动历史立方体对应的特征向
量,得到所述深度运动序列的特征向量;
根据所述深度运动序列的特征向量,利用支持向量机SVM进行模型训练和
测试,以得到人体动作的识别结果。
2.如权利要求1所述人体动作的识别方法,其特征在于,所述获取深度图
像序列,对所述深度图像序列进行变换得到对应的深度运动序列包括:
获取所述深度图像序列中的任意第i帧深度图像,将所述第i帧深度图像投
影到笛卡尔坐标系的三个正交平面上,获取每一个正交平面上的投影图像,得
到所述第i帧深度图像的正视角投影图像、侧视角投影图像以及俯视角投影图
像;
根据所述第i帧深度图像的正视角投影图像、侧视角投影图像以及俯视角投
影图像,计算其对应的正视角差分图、侧视角差分图以及俯视角差分图,组合
所述正视角差分图、侧视角差分图以及俯视角差分图,得到所述第i帧深度图像
对应的深度运动立方体遍历所述深度图像序列中的每一帧深度图像,组合每一帧深度图像对应的

\t深度运动立方体,得到所述深度图像序列对应的深度运动序列;
其中,所述第i帧深度图像的正视角差分图为第i+1帧深度图像的正视角投
影图像与第i帧深度图像的正视角投影图像之间对应像素的像素值之差;所述第
i帧深度图像的侧视角差分图为第i+1帧深度图像的侧视角投影图像与第i帧深
度图像的侧视角投影图像之间对应像素的像素值之差;所述第i帧深度图像的俯
视角差分图为第i+1帧深度图像的俯视角投影图像与第i帧深度图像的俯视角投
影图像之间对应像素的像素值之差;1≤i≤N,N表示深度图像序列包括的深度
图像的帧数。
3.如权利要求2所述的人体动作的识别方法,其特征在于,所述对所述深
度运动序列进行时间维度上的划分,获得每一个时间区域内的运动历史立方体
包括:
按照运动能量计算公式获取每一帧深度图像对应的深度运动立方体的运动
能量值,对所述运动能量值进行归一化处理;
按照nt层的时间立方金字塔将所述深度运动序列在时间维度上划分为个时间区域,其中,第m层包括2m-1个时间区域,每个时间区域包括多个深度运
动立方体,且同一层中每一个时间区域所包括的深度运动立方体的运动能量值
之和相等;
对于每一个时间区域,将所述时间区域内的深度运动立方体的对应像素的
像素值进行叠加,得到所述时间区域对应的运动历史立方体其中,nt为正整数,k为时间区域的编号,4.如权利要求3所述的人体动作的识别方法,其特征在于,所述针对每一
个时间区域内的运动历史立方体,按照预设的空间网格对所述运动历史立方体
进行空间维度上的划分,获得每一个运动历史立方体对应的多个空间子立方块
包括:
针对每一个时间区域内的运动历史立方体采用nr×nc×nd的空间网格将
所述运动历史立方体划分为多个空间子立方块其中,所述(r,c,d)表示空间子立方块在运动历史立方体中的位置标号,
r、c、d均为正整数,且1≤r≤nr、1≤c≤nc、1≤d≤nd。
5.如权利要求4所述的人体动作的识别方法,其特征在于,所述根据每一
个运动历史立方体对应的空间子立方块计算所述运动历史立方体对应的特征向
量,连接所述每一个时间区域内的运动历史立方体对应的特征向量,得到所述
深度运动序列的特征向量包括:
获取任意第k个时间区域对应的运动历史立方体将所述运动历史立方
体中的每一个空间子立方块的尺度修正为预设尺度;
对于修正后的空间子立方块分别从正视、侧视、俯视三个视角
进行特征提取,得到所述空间子立方块对应的特征向量;
将所述第k个时间区域对应的运动历史立方体中的每一个空间子立方块
对应的特征向量组合起来,得到所述运动历史立方体的特征向量;
将所述个时间区域对应的运动历史立方体的特征向量组合起来,得...

【专利技术属性】
技术研发人员:程俊姬晓鹏
申请(专利权)人:中国科学院深圳先进技术研究院
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1