基于最优判别耦合投影的多视角步态识别方法技术

本发明专利技术提供的是一种基于最优判别耦合投影的多视角步态识别方法。对训练集里多个已知视角的步态视频序列进行提取，得到最优判别耦合投影矩阵对；对注册集中标准视角的步态视频序列进行提取、存储；对测试集中的多个步态视频序列进行提取和估计；将注册集中标准视角步态特征和测试集中步态特征通过视角估计选取的最优判别耦合投影矩阵对，投影到具有最优判别能力或最优类可分性的共同耦合步态特征空间中，并在其中进行相似性度量，得到步态识别结果。本发明专利技术将测试视角步态特征和注册标准视角步态特征投影到共同的最具判别能力的耦合空间中，使得测试步态视角与注册集中标准步态视角存在显著差异时，多视角步态识别系统仍能获得高识别率。

【技术实现步骤摘要】
基于最优判别耦合投影的多视角步态识别方法
本专利技术涉及的是一种步态识别方法，特别涉及一种多视角步态识别方法。
技术介绍
步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别。与其他生物特征识别技术相比，步态识别是生物特征识别中唯一可以远距离识别的方法，其优势还包括非接触性、非侵犯性、易于感知、难于隐藏、难于伪装等。基于上述优点，步态识别在门禁系统、安全监控、人机交互、医疗诊断等领域具有广阔的应用空间和较高的经济价值。然而，步态识别在实际应用中也面临许多难点，主要表现在行人在行走过程中会受到外在环境和自身因素的影响，例如不同行走路面、不同分辨率、不同视角、不同服饰、不同携带物等因素。在上述影响因素中，视角变化是影响步态识别系统性能的最主要因素之一。视角变化问题是步态识别无法逃避的问题，因为人的行走方向是完全自由随机的，并且不同区域的摄像头存在位置差异。目前，传统的步态识别技术，如公开号CN1426020的专利文件中公开的“基于步态的远距离身份识别方法”，在固定视角下可以取得很好的性能，而在视角剧烈变化或存在遮挡的情况下，无法适用或识别性能明显下降。理论上在注册集中保存所有个体在多个视角下的步态信息可以提高传统步态识别方法在视角变化情况下的识别性能，然而存储多个视角的步态信息将耗费大量存储资源，不便于实际应用。
技术实现思路
本专利技术的目的在于提供一种在测试步态视角与注册集中步态视角不匹配的情况下也能保证有较好的识别性能，能降低系统的存储需求的基于最优判别耦合投影的多视角步态识别方法。本专利技术的目的是这样实现的：步骤1，对训练集里多个已知视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；步骤2，在步骤1提取得到的训练集内多个视角下的步态特征中，选取一个标准视角步态特征，将其余多个视角下的步态特征分别与标准视角步态特征进行联合训练，得到相应的最优判别耦合投影矩阵对，所述标准视角步态特征选取90°视角作为标准视角；步骤3，对注册集中标准视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；步骤4，存储由步骤3提取到的标准视角即90°视角下的步态特征、由步骤2计算得出的其余多个已知视角和标准视角间步态特征的最优判别耦合投影矩阵对和不同视角步态特征的均值向量；步骤5，对测试集中的多个步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；步骤6，对步骤5提取到的测试集中的步态特征进行视角估计，根据估计到的近似视角选取相应最优判别耦合投影矩阵对；步骤7，将注册集中标准视角步态特征和测试集中步态特征通过由步骤6选取的最优判别耦合投影矩阵对，投影到具有最优判别能力或最优类可分性的共同耦合步态特征空间中，并在其中进行相似性度量，得到步态识别结果。本专利技术的优点在于：(1)充分利用类别标记信息和跨视角间的互补信息，将测试视角步态特征和注册视角步态特征投影到共同的最具判别能力的耦合空间中，使得测试步态视角与注册集中标准步态视角存在显著差异时，步态识别系统仍能获得高识别率。从而解决了传统步态识别技术在测试步态视角与注册集中步态视角不匹配的情况下，识别性能明显下降的问题。(2)仅需存储注册集标准视角(90°视角)下的步态特征、不同视角与标准视角间步态特征的耦合投影矩阵、和不同视角步态特征的均值向量。与存储多个视角步态信息的方法相比极大降低了系统的存储需求。附图说明图1多角度步态识别流程图；图2提取的人体步态轮廓；图3基于四肢运动的正面步态周期检测结果；图4人体测量学高度图；图5基于腿部区域能量变化的周期检测曲线；图6非正面步态周期检测结果；图7同一行人不同视角下的步态能量图；图8最优判别耦合投影矩阵对的训练过程；图9多视角步态测试序列的识别过程；图10传统方法在注册集中存储90度视角样本时，与本专利提出方法进行多视角步态识别的精度比较；图11传统方法在注册集中存储所有视角样本时，与本专利提出方法进行多视角步态识别的精度比较；图12(a)-图12(f)传统方法在注册集中存储所有视角样本与本专利技术方法提取不同步态特征维数时的精度比较，其中：图12(a)测试视角为0度；图12(b)测试视角为18度；图12(c)测试视角为36度；图12(d)测试视角为54度；图12(e)测试视角为72度；图12(f)测试视角为90度。具体实施方式下面结合附图对本专利技术做进一步详细说明。如图1所示，本专利技术具体包括以下几个步骤：步骤1，对训练集里多个已知视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；所述步骤1进一步包括以下步骤：步骤1.1，对训练集中每一个人在不同视角下的行走视频，顺次通过前景检测和形态学处理，来提取每一个人在各视角下的人体步态轮廓序列；所述的前景检测采用基于码本的前景检测，根据当前像素值与该像素码本是否匹配来进行前景判断。通过码本模型建立以及背景差分运算，可以得出前景区域。但是由于算法在去除阴影的同时，将与阴影相似的前景部分一起消除，容易造成空洞和目标断裂情况，我们随后进行图像后处理；所述的形态学处理为对前景检测得出的前景区域运用形态学算子(侵蚀和膨胀)对虚假像素进行滤除，消除毛刺和小噪声的影响，并填充提取轮廓内部的小洞。利用连通区域算法，计算连通区域的外围轮廓，提取大尺寸的高度紧连通区域，求出连通区域的外接矩形，将邻接连通区域合并，删除掉很小的目标矩形，得到完整的前景目标，如图2所示；步骤1.2，对步骤1.1提取的每一个人在各视角下的人体步态轮廓序列，进行归一化处理和步态周期检测；所述的归一化处理为使人体轮廓居中，将图像的大小统一为64×64像素；所述的步态周期检测分为正面步态周期检测(摄像机视角与人体行走方向成0°和180°时)和非正面周期检测(其余视角)。所述的正面步态周期检测采用基于四肢运动的正面步态周期检测方法，通过检测上肢摆动引起的前臂区域像素变化和下肢在前后运动时所引起的小腿和脚部区域的像素变化，分别求取极值点、得到相应步态周期，然后对以上检测结果进行决策级融合得到最终的步态周期。加权融合公式为：其中，x和y为加权后的周期始末帧，x1和y1为单独对上肢检测，并采用极大值所得到的周期始末帧，x2和y2为单独对下肢检测所得到的周期始末帧。λ为上下肢运动所占比例，0≤λ≤1。如果摄像机到人体的距离与摄像机的高度之间的比值较大，或者阴影处理较差时，前臂的摆动取较大的权值；反之，小腿的运动取较大的权值。参数λ＝0.5时，得到如图3所示的正面步态周期检测结果；所述的非正面周期检测采用基于腿部运动范围在宽度方向投影的非正面周期检测方法，通过检测腿部区域能量变化，求取极值点，得到步态周期。投影到宽度方向的公式如下：其中I(x3,y3,n)是第n帧步态序列的灰度值，(x3,y3)是步态图像某处的坐标，h1和h2为根据人体测量学理论选取的膝盖处高度和小腿1/2处高度(即图4中h处)。图5为能量变化周期检测结果，这里步态周期的起始帧为第一次出现局部极小值(极大值)，终止帧为第三次出现局部极小值(极大值)的前一帧。图6为侧面步态周期检测结果；步骤1.3，根据步骤1.2的步态周期检测结果，提取一个周期的步态序列，采用步态能量图(GEI)提取步态的整体特征；所述的步态能量图不本文档来自技高网...

【技术保护点】
一种基于最优判别耦合投影的多视角步态识别方法，其特征是：步骤1，对训练集里多个已知视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；步骤2，在步骤1提取得到的训练集内多个视角下的步态特征中，选取一个标准视角步态特征，将其余多个视角下的步态特征分别与标准视角步态特征进行联合训练，得到相应的最优判别耦合投影矩阵对，所述标准视角步态特征选取90°视角作为标准视角；步骤3，对注册集中标准视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；步骤4，存储由步骤3提取到的标准视角即90°视角下的步态特征、由步骤2计算得出的其余多个已知视角和标准视角间步态特征的最优判别耦合投影矩阵对和不同视角步态特征的均值向量；步骤5，对测试集中的多个步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；步骤6，对步骤5提取到的测试集中的步态特征进行视角估计，根据估计到的近似视角选取相应最优判别耦合投影矩阵对；步骤7，将注册集中标准视角步态特征和测试集中步态特征通过由步骤6选取的最优判别耦合投影矩阵对，投影到具有最优判别能力或最优类可分性的共同耦合步态特征空间中，并在其中进行相似性度量，得到步态识别结果。...

【技术特征摘要】
1.一种基于最优判别耦合投影的多视角步态识别方法，其特征是：步骤1，对训练集里多个已知视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；步骤2，在步骤1提取得到的训练集内多个视角下的步态特征中，选取一个标准视角步态特征，将其余多个视角下的步态特征分别与标准视角步态特征进行联合训练，得到相应的最优判别耦合投影矩阵对，所述标准视角步态特征选取90°视角作为标准视角；具体包括：以90°视角下的步态特征与0°视角下的步态特征进行联合训练为例，将0°视角下的步态特征和90°视角下的步态特征分别投影到共同的耦合步态特征空间中，通过定义耦合空间中的整体类内相关矩阵和类间关系矩阵，得出耦合空间中的总体均平方距离分解为类内均方距离和类间均方距离之和，其中类内均方距离经变换表示为：其中，Px和Py为耦合投影矩阵对，表示90°视角训练样本集合，表示0°视角训练样本集合，N＝2(Nx+Ny)2，Nx为训练集中90°视角下的样本数目，Ny为0°视角下的样本数目；C为集合X和Y之间的相关关系矩阵，Cx和Cy为单个空间的类内关系矩阵，矩阵Gx和Gy都是对角阵，其对角线元素分别为矩阵C的对应行的累加和，及对应列的累加和，矩阵Gxx和Gyy都是对角阵，其对角线元素分别为矩阵Cx和Cy的对应行的累加和，令则J+(Px,Py)简化表示为：J+(Px,Py)＝Tr(PTZΩ+ZTP)，同理得到类间均方距离J-，最终的目标函数定义为：所述的最优判别耦合投影矩阵对Px和Py,通过求解泛化特征值问题：EP＝λFP来求解，其中E＝ZΩ+ZT,F＝ZΩ-ZT，P为对应Dc个最小特征值的特征向量，Dc为耦合特征空间的维数，按照P＝[PxPy]T的定义，得到对应于数据集合X的变换矩阵Px，其大小为Dx×Dc，对应于数据集合Y的变换矩阵Py，其大小为Dy×Dc；步骤3，对注册集中标准视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；步骤4，存储由步骤3提取到的标准视角即90°视角下的步态特征、由步骤2计算得出的其余多个已知视角和标准视角间步态特征的最优判别耦合投影矩阵对和不同视角步态特征的均值向量；步骤5，对测试集中的多个步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；步骤6，对步骤5提取到的测试集中的步态特征进行视角估计，根据估计到的近似视角选取相应最优判别耦合投影矩阵对；步骤7，将注册集中标准视角步态特征和测试集中步态特征通过由步骤6选取的最优判别耦合投影矩阵对，投影到具有最优判别能力或最优...

【专利技术属性】
技术研发人员：王科俊，邢向磊，阎涛，吕卓纹，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江;23