一种基于掩膜处理新型步态能量图的获取及身份识别方法技术

本发明专利技术公开了一种基于掩膜处理新型步态能量图的获取及身份识别方法，1、输入行人前景图像，计算步态能量图；2、对同一角度下所有步态能量图求加权平均得到合成平均模板；3、计算合成平均模板的步态熵图像，通过设定阈值得到通用掩膜；4、应用部分通用掩膜与步态能量图做“与”运算，得到新型步态能量图；5、提取新型步态能量图的定向梯度直方图；6、采用K‑最近邻分类器进行预测识别行人身份。本发明专利技术去除了步态能量图中不同着装状态对步态识别的影响，尽可能的保留了对身份识别有利的动态区域特征和静态区域特征，有效提高了现实场景中在未知协变量条件下的行人身份正确识别率。

A New Gait Energy Map Acquisition and Identity Recognition Method Based on Mask Processing

【技术实现步骤摘要】
一种基于掩膜处理新型步态能量图的获取及身份识别方法
本专利技术涉及计算机视觉和模式识别领域，尤其涉及一种基于掩膜处理去除大衣、背包等协变量因素影响的新型步态能量图，及基于新型步态能量图实现身份识别的方法。
技术介绍
在智能视频监控中，远距离识别行人身份具备很高的科研和商业价值。步态，作为一种行为生物识别，与其他生物识别技术相比，步态主要捕捉行人活动的动态方面。步态拥有远距离、非受控性、非接触性、易采集和极难模仿等诸多优势，这使得步态非常适用于无法与被识别对象进行配合或接触的情况，并且将在远距离识别中发挥不可替代的作用。基于步态的分析和识别主要通过两种方法实现：传感器和视觉摄像头。传统的基于传感器的方法需要辅助设备来收集步态信息，并且其应用领域有限。基于视觉摄像头的方法通过普通摄像头采集行人步态信息，具有很强的实用性。步态特征提取使用一组数据来描述行人步行姿态在时间和空间上的动态变化。现有的步态识别技术主要分为两大类，即基于模型的特征提取方法和基于轮廓的特征提取方法。基于模型的特征提取方法将数学模型拟合到人体并使用模型的参数表示步态特征，尽管具有很强的可区分性，但特征提取方法更复杂，耗时且计算更昂贵。而基于轮廓的特征提取方法直接从轮廓提取运动信息。而基于轮廓的特征提取方法直接从轮廓提取运动信息，该方法计算复杂度更低，对噪声的鲁棒性更强。最流行的基于轮廓的方法是提取步态能量图，它通过对整个步态周期中提取的轮廓进行平均得到单个灰度图像来表示整个周期中的步态。对于大多数基于轮廓的步态识别方法，静态形状信息可能比运动学起着更重要的作用。现有研究表明结合静态和动态特征是有用的，融合可以产生更好的正确识别率。然而，步态对各种协变量条件非常敏感，包括衣服，携带物，表面状况，视角和速度等。因为它们可以影响步态本身或提取的步态特征。为了克服这些问题，重要的是找到反映不同主体的独特特征的最相关的步态特征。此外，它们必须对协变量条件变化引起的外观变化不变。专利技术专利红外步态双信道特征融合识别方法，申请号/专利号：CN201110149549公开了一种红外步态双信道特征融合识别方法，通过对红外图像预处理，采用混合高斯模型的背景减除法实现人体的检测，然后进行形态学处理，确定步态周期得到步态能量图，提取其红外热释电特征，红外图像对行人的携带物如提包、雨伞、背包等外形改变不太敏感，但是红外图像在白天的适应性不强。专利技术专利基于自适应特征块选择的步态识别方法，申请号/专利号：CN201110060863，通过对步态能量图中的人体区域进行分块，根据无衣着和携带物状态干扰的训练数据得出每块区域的统计信息，在测试时通过分块计算统计信息而自动选取符合训练数据统计信息规律的特征块，有效克服了因行人衣着、携带物状态变化对步态识别造成的不利影响，同时保留了人的头、肩等部位特征，提高了步态识别的有效性。但是这种方法不能避开衣着和携带物对人体二值影像遮挡区域的干扰，衣着和携带物可能遮挡比如腿部区域、手臂摆动区域及其他静态特征区域的信息，这在一定程度上会影响步态识别的准确率。
技术实现思路
本专利技术针对现实场景下的步态识别，行人轮廓特征提取容易被穿着大衣、携带背包等未知协变量因素影响的问题，提出一种通过生成通用掩膜处理，去除步态能量图中大衣、背包等干扰因素的影响，得到一种新型的步态能量图，并在其基础上进行步态特征提取和行人身份识别的方法。以获得行人步态识别的协变量条件不变特征。由于在现实的实验设定下，协变量条件是未知的，步态能量图不仅包含反映不同主体独特行走特征的动态特征，而且还包含许多关于身体形状的静态特征，它容易受到协变量条件变化的影响(例如衣服和携带物)。本申请的目标是消除衣服和携带物引起的步态能量图外观变化，同时尽可能保留有用的动静态特征。为了达到上述目的，本专利技术采用如下技术方案：一种基于掩膜处理新型步态能量图的获取及身份识别方法，步骤如下：S1.给定多个行人在m个相同拍摄角度下的不同着装状态下行走时的行人前景图像；根据着装状态，将每个行人对应的所有行人前景图像进行分类，这样每个行人有n种着装状态下的行走图像序列，设行人i的第一种着装状态下包括a1个前景图像序列，每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列，每个前景图像子序列分属于多个步态周期，行人i的第二种着装状态下包括a2个前景图像序列，每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列，每个前景图像子序列分属于多个步态周期，……行人i的第三种着装状态下包括a3个前景图像序列，每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列，每个前景图像子序列分属于多个步态周期；对每个行人对应的n种着装状态下的行走图像序列中每个前景图像子序列中分别提取一个步态周期并生成一个初始步态能量图；S2.计算同一拍摄角度下所有行人的各行走图像序列得到的初始步态能量图的加权平均，生成m个拍摄角度分别对应的合成平均模板；S3.分别计算m个拍摄角度下合成平均模板的香农熵，得到合成平均模板的步态熵图像；S4.通过对合成平均模板的步态熵图像设定阈值进行二值化得到通用掩膜；S5.在S4中得到的通用掩膜中选取一部分作为选择通用掩膜区域；将选择通用掩膜区域与S1得到的初始步态能量图进行“与”运算，生成新型步态能量图，其中第一种着装状态下的行走序列对应的新型步态能量图的数量为ma1个，第二种着装状态下的行走序列对应的新型步态能量图的数量为ma2个……，第n种着装状态下的行走序列对应的新型步态能量图的数量为man个；S6.将S5中生成的新型步态能量图分为训练集和测试集，提取训练集与测试集的新型步态能量图的定向梯度直方图，计算测试集新型步态能量图与训练集新型步态能量图在每个像素点的欧氏距离，根据最近邻法则将这些欧式距离的最小值对应的训练集对象确定为步态识别结果。所述S1中提取步态周期并生成初始步态能量图的方法在于：S1.1对各行人前景图像进行尺寸归一化和重心对齐，得到人体二值轮廓图像；S1.2对于人体二值轮廓图像，通过计算腿部区域的宽高比，分割得到步态周期，以此计算得到初始步态能量图。S1.1中人体二值轮廓图像获取方法是：通过中值滤波和形态学腐蚀操作来滤除噪声区域，构建包含完整人体轮廓的最小矩形框，并将其归一化为指定像素大小240*240，保持人体轮廓重心在归一化后的图像的中线上，得到人体二值轮廓图像。S1.2中分割得到步态周期的方法是：通过计算其腿部图像区域的宽高比，当两脚之间的距离最大时，人体站立的高度最低，宽高比达到最大值，当两脚重合时，宽高比为最小值，两个相邻宽高比的最大值认为是半个步态周期，三个相邻宽高比认为是一个步态周期；计算得到步态能量图的具体方法在于：选取一个周期对应的尺寸归一化和重心对齐后的各行人前景图像，得到一个步态周期的人体二值轮廓图像，以此计算得到各行人前景图像的一个步态周期对应的初始步态能量图，具体方法如公式(1)所述：其中GEI和G(x,y)表示初始步态能量图，I(x,y,t)表示一个步态周期对应的人体二值轮廓图像，x和y是一张人体二值轮廓图像对应的二维空间中的像素点的坐标，t表示一个步态周期里人体二值轮廓图像序列号，T是一个步态周期中的帧数。所述S2中生成m个角度分别对应的合成平均模本文档来自技高网...

【技术保护点】
1.一种基于掩膜处理新型步态能量图的获取及身份识别方法，其特征在于：S1.给定多个行人在m个相同拍摄角度下的不同着装状态下行走时的行人前景图像；根据着装状态，将每个行人对应的所有行人前景图像进行分类，这样每个行人有n种着装状态下的行走图像序列，设行人i的第一种着装状态下包括a1个前景图像序列，每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列，每个前景图像子序列分属于多个步态周期，行人i的第二种着装状态下包括a2个前景图像序列，每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列，每个前景图像子序列分属于多个步态周期，……行人i的第三种着装状态下包括a3个前景图像序列，每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列，每个前景图像子序列分属于多个步态周期；对每个行人对应的n种着装状态下的行走图像序列中每个前景图像子序列中分别提取一个步态周期并生成一个初始步态能量图；S2.计算同一拍摄角度下所有行人的各行走图像序列得到的初始步态能量图的加权平均，生成m个拍摄角度分别对应的合成平均模板；S3.分别计算m个拍摄角度下合成平均模板的香农熵，得到合成平均模板的步态熵图像；S4.通过对合成平均模板的步态熵图像设定阈值进行二值化得到通用掩膜；S5.在S4中得到的通用掩膜中选取一部分作为选择通用掩膜区域；将选择通用掩膜区域与S1得到的初始步态能量图进行“与”运算，生成新型步态能量图，其中第一种着装状态下的行走序列对应的新型步态能量图的数量为ma1个，第二种着装状态下的行走序列对应的新型步态能量图的数量为ma2个……，第n种着装状态下的行走序列对应的新型步态能量图的数量为man个；S6.将S5中生成的新型步态能量图分为训练集和测试集，提取训练集与测试集的新型步态能量图的定向梯度直方图，计算测试集新型步态能量图与训练集新型步态能量图在每个像素点的欧氏距离，根据最近邻法则将这些欧式距离的最小值对应的训练集对象确定为步态识别结果。...

【技术特征摘要】
1.一种基于掩膜处理新型步态能量图的获取及身份识别方法，其特征在于：S1.给定多个行人在m个相同拍摄角度下的不同着装状态下行走时的行人前景图像；根据着装状态，将每个行人对应的所有行人前景图像进行分类，这样每个行人有n种着装状态下的行走图像序列，设行人i的第一种着装状态下包括a1个前景图像序列，每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列，每个前景图像子序列分属于多个步态周期，行人i的第二种着装状态下包括a2个前景图像序列，每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列，每个前景图像子序列分属于多个步态周期，……行人i的第三种着装状态下包括a3个前景图像序列，每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列，每个前景图像子序列分属于多个步态周期；对每个行人对应的n种着装状态下的行走图像序列中每个前景图像子序列中分别提取一个步态周期并生成一个初始步态能量图；S2.计算同一拍摄角度下所有行人的各行走图像序列得到的初始步态能量图的加权平均，生成m个拍摄角度分别对应的合成平均模板；S3.分别计算m个拍摄角度下合成平均模板的香农熵，得到合成平均模板的步态熵图像；S4.通过对合成平均模板的步态熵图像设定阈值进行二值化得到通用掩膜；S5.在S4中得到的通用掩膜中选取一部分作为选择通用掩膜区域；将选择通用掩膜区域与S1得到的初始步态能量图进行“与”运算，生成新型步态能量图，其中第一种着装状态下的行走序列对应的新型步态能量图的数量为ma1个，第二种着装状态下的行走序列对应的新型步态能量图的数量为ma2个……，第n种着装状态下的行走序列对应的新型步态能量图的数量为man个；S6.将S5中生成的新型步态能量图分为训练集和测试集，提取训练集与测试集的新型步态能量图的定向梯度直方图，计算测试集新型步态能量图与训练集新型步态能量图在每个像素点的欧氏距离，根据最近邻法则将这些欧式距离的最小值对应的训练集对象确定为步态识别结果。2.根据权利要求1所述的一种基于掩膜处理新型步态能量图的获取及身份识别方法，其特征在于：所述S1中提取步态周期并生成初始步态能量图的方法在于：S1.1对各行人前景图像进行尺寸归一化和重心对齐，得到人体二值轮廓图像；S1.2对于人体二值轮廓图像，通过计算腿部区域的宽高比，分割得到步态周期，以此计算得到初始步态能量图。3.根据权利要求2所述的一种基于掩膜处理新型步态能量图的获取及身份识别方法，其特征在于：S1.1中人体二值轮廓图像获取方法是：通过中值滤波和形态学腐蚀操作来滤除噪声区域，构建包含完整人体轮廓的最小矩形框，并将其归一化为指定像素大小240*240，保持人体轮廓重心在归一化后的图像的中线上，得到人体二值轮廓图像。4.根据权利要求2所述的一种基于掩膜处理新型步态能量图的获取及身份识别方法，其特征在于：S1.2中分割得到步态周期的方法是：通过计算其腿部图像区域的宽高比，当两脚之间的距离最大时，人体站立的高度最低，宽高比达到最大值，当两脚重合时，宽高比为最小值，两个相邻宽高比的最大值认为是半个步态周期，三个相邻宽高比认为是一个步态周期；计算得到步态能量图的具体方法在于：选取一个周期对应的尺寸归一化和重心对齐后的各行人前景图像，得到一个步态周期的人体二值轮廓图像，以此计算得到各行人前景图像的一个步态周期对应的初始步态能量图，具体方法如公式(1)所述：其中GEI和G(x,y)表示初始步态能量图，I(x,y,t)表示一个步态周期对应的人体二值轮廓图像，x和y是一张人体二值轮廓图像对应的二维空间中的像素点的坐标，t表示一个步态周期里人体二值轮廓图像序列号，T是...

【专利技术属性】
技术研发人员：熊九龙，李忠，张玘，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南,43