一种基于大间距深度度量学习的步态识别方法技术

本发明专利技术公开了一种基于大间距深度度量学习的步态识别方法，其特征在于：该方法包括了训练阶段和识别阶段；训练阶段采用步态能量图来描述步态序列，通过大间距深度度量学习模型训练一个卷积神经网络，识别阶段将该卷积神经网络作为特征抽取函数，从步态能量图中提取最优化的步态特征，利用最近邻分类器识别步态人的身份。本发明专利技术步态识别通过本发明专利技术提供的大间距深度度量学习模型，可提取高区分力的步态特征，步态特征通过相似度计算进行匹配识别。本发明专利技术可应用于智能视频监控及智能视觉机器人等诸多领域，具有广泛的应用前景。

A gait recognition method based on deep distance metric learning

The invention discloses a gait recognition method based on large distance depth measurement learning, which is characterized in that the method comprises a training stage and a recognition stage; the gait sequence is described by gait energy diagram in the training stage; a convolution neural network is trained by a large distance depth measurement learning model, and the convolution neural network is trained in the recognition stage. As a feature extraction function, the product neural network extracts the optimal gait features from the gait energy graph and uses the nearest neighbor classifier to identify the gait person. The gait recognition of the invention can extract the gait features of high discrimination force through the large distance depth measurement learning model provided by the invention, and the gait features can be matched and recognized by similarity calculation. The invention can be applied to intelligent video surveillance, intelligent visual robot and other fields, and has a wide application prospect.

【技术实现步骤摘要】
一种基于大间距深度度量学习的步态识别方法
本专利技术涉及一种基于大间距深度度量学习的步态识别方法，属于模式识别

技术介绍
步态识别通过人类的行走方式确定身份，最近受到越来越多的关注，与其他生物特征相比(如面部、虹膜、指纹)，步态有一些重要的优势：1)它比较适合远距离识别，特别是其他生物被遮挡或分辨率太低时；2)难以模仿或伪装，因为这是人的长期的行为习惯；3)不需要用户的配合即可达到较好识别效果。这些特性使得步态非常适合于安全防护的智能视频监控领域。近年来大量步态识别方法被提出，一般可以分为两类：基于模型的方法和基于外观的方法。基于模型的方法通常表征人体关节的运动学，以便测量物理步态参数，如轨迹、肢体长度和角速度。然而，人体是一种高度灵活的结构，在许多场景中很难精确地从图像或视频中恢复人体结构。基于外观的方法不考虑身体结构，直接从视频中提取步态的外观特征，取得较好识别效果。因此基于外观的步态识别方法成为研究者关注的重点，然而，在现实中，有大量因素影响着步态的外观：如观察视角，携带物品，衣着等等。即使同一个人，这些因素影响下的外观差别非常大。外观的变化直接影响了提取步态特征的变化，例如不同角度的摄像头分别捕捉到人体的背景和侧面，穿着阿拉伯罩袍和普通衣服等等，这将直接导致步态的外观特征有较大变化，现有方法的步态识别性能会大大降低甚至失效。因此，如何提供不同因素下的步态识别准确率成为亟待解决的技术问题。
技术实现思路
专利技术目的：本专利技术的目的是针对现有复杂情况下步态识别技术的不足，提供一种大间距深度度量学习的步态识别方法。技术方案：一种基于大间距深度度量学习的步态识别方法，采用步态能量图来描述步态序列，通过大间距深度度量学习模型训练一个卷积神经网络，将该卷积神经网络作为特征抽取函数，从步态能量图中提取最优化的步态特征，利用最近邻分类器识别步态人的身份。该方法包括了训练阶段和识别阶段，具体如下：阶段一、训练；步骤1.1生成步态能量图。对任意人的行走视频，按时间采样出一个图像序列，对每个图像进行行人检测、前景与背景分离，分离后前景作二值化处理；对二值化后的步态图像尺度归一化操作，按照图像中人的身高裁剪头顶到脚底的图像，并长宽同比例缩放为统一尺度图像，生成尺度归一的二值化轮廓图；由二值化轮廓图序列计算步态周期；通过一个周期的二值化步态轮廓图，计算所有步态轮廓图的平均值即可生成步态能量图。步骤1.2抽取三元组步态样本。对训练数据集中的所有步态能量图，随机抽取出一个步态能量图作为目标样本；再根据抽出步态能量图对应人的身份，再随机抽出同一人的另一个步态能量图作为正样本；随机抽取另一个人的步态能量图作为负样本；生成一个三元组(目标样本，正样本，负样本)。步骤1.3建立并初始化大间距深度度量学习模型。构造三个同样参数的卷积神经网络，并增加一个大间距度量损失层。在训练工作开始前需对卷积神经网络进行初始化，采用高斯分布的随机数初始化。步骤1.4抽取样本的特征三元组。将三元组步态样本送入大间距深度度量学习模型的卷积神经网络部分，提取出三元组步态特征，分别对应目标样本，正样本，及负样本的特征。步骤1.5将步骤1.4中得到的步态三元组特征，利用代价函数计算损失值。步骤1.6利用梯度下降算法对步骤1.5得到的损失值进行反馈，更新优化卷积神经网络的模型。步骤1.7重复步骤1.4-1.6，直至该大间距深度度量学习模型收敛。阶段二、识别：步骤2.1将注册集中步态视频生成对应的步态能量图将所有注册集中的步态视频采样步态图像序列，提取前景，生成二值图并尺度归一化，计算周期，将一个周期内的二值轮廓图计算平均值生成步态能量图。步骤2.2将所有已注册的步态能量图输入大间距深度度量学习模型的卷积神经网络，提取出步态特征，并存储。步骤2.3对待识别步态视频生成步态能量图。步骤2.4将待识别步态能量图通过卷积神经网络提取步态特征。步骤2.5将步骤2.4的待识别步态特征与步骤2.2存储的所有注册步态特征一一比对，利用最近邻分类规则，选择最相似的一个步态特征作为匹配成功特征。步骤2.6将匹配成功的步态特征的所属人身份作为最终识别的结果输出。有益效果：与现有技术相比，本专利技术提供的基于大间距深度度量学习的步态识别方法，所述步态识别通过本专利技术提供的大间距深度度量学习模型，可提取高区分力的步态特征，步态特征通过相似度计算进行匹配识别。本专利技术可应用于智能视频监控及智能视觉机器人等诸多领域，具有广泛的应用前景。附图说明图1是本专利技术的方法框架示意图；图2是本专利技术复杂情况下步态能量图样例；图3是本专利技术基于大间距深度度量学习的训练结构示意图。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。本专利技术提供了一种基于大间距深度度量学习的步态识别方法，在所述方法中，大间距深度度量学习模型训练出一个卷积神经网络，所有步态能量图通过卷积神经网络提取出步态特征，利用步态特征的相似度识别步态人身份。图1为本专利技术的方法框架示意图，本专利技术的步态识别方法涉及两个阶段：训练阶段与测试阶段。训练阶段用于训练一个卷积神经网络，将其作为特征抽取函数；测试阶段为用训练好的卷积神经网络抽取出步态的特征并识别。具体如下：训练阶段：步骤1.1，生成训练集步态能量图。对训练集的原始视频进行处理，首先采样视频转化为图像序列，对每一幅图像利用行人检测技术检测出步态人的位置，利用图像分割技术，从图像背景中分离出前景，将前景转变为人形轮廓图；以人形的垂直高度作为身高，裁剪出从头顶到脚底的矩形，将高宽等比例缩放到高度为128个像素，计算人形轮廓的中心点，以中心点的垂线为对称轴，左右裁剪出宽度为88个像素的标准二值轮廓图I。根据二值轮廓图序列中人形图像两脚分开距离计算步态的周期T，计算一个周期内所有二值轮廓图的平均值G即可生成步态能量图，计算公式为：其中It表示第t帧图像，It(x,y)为第t帧图像坐标为(x,y)位置点的像素值，T为一个周期的图像帧数。同样方法将训练集所有视频都生成对应的步态能量图。如图2所示为步态能量图的示例，每一行为同一个人的步态能量图，不同的列为外在因素下的步态能量图。可以看出同一个人的步态能量图在外在因素影响下差别很大，不同的人的步态能量图在同一个情况下较为相似。步骤1.2，抽取三元组步态样本。对训练数据集中的所有步态能量图，随机抽取出一个步态能量图作为目标样本；再根据抽出步态能量图所对应的身份，再随机抽出同一人的另一个步态能量图作为正样本；随机抽取另一个人的步态能量图作为负样本；生成一个三元组(目标样本，正样本，负样本)。抽取每个人的概率要相等，随机抽取的同一个人的正样本步态能量图不能与目标样本重复，另一个人的步态能量图以80％的概率抽取与目标样本同行走条件的步态能量图。步骤1.3，建立并初始化大间距深度度量学习模型。如图3所示，大间距深度度量学习模型包括三个共享参数的卷积神经网络，以及计算损失的大间距度量代价函数。它以三元组步态样本作为输入，三个卷积神经网络的设置完全一致，并共享权重(即实时保持值的一致)。在工作前需对卷积神经网络进本文档来自技高网...

【技术保护点】
1.一种基于大间距深度度量学习的步态识别方法，其特征在于：该方法包括了训练阶段和识别阶段；训练阶段采用步态能量图来描述步态序列，通过大间距深度度量学习模型训练一个卷积神经网络，识别阶段将该卷积神经网络作为特征抽取函数，从步态能量图中提取最优化的步态特征，利用最近邻分类器识别步态人的身份。

【技术特征摘要】
1.一种基于大间距深度度量学习的步态识别方法，其特征在于：该方法包括了训练阶段和识别阶段；训练阶段采用步态能量图来描述步态序列，通过大间距深度度量学习模型训练一个卷积神经网络，识别阶段将该卷积神经网络作为特征抽取函数，从步态能量图中提取最优化的步态特征，利用最近邻分类器识别步态人的身份。2.如权利要求1所述的基于大间距深度度量学习的步态识别方法，其特征在于，步态能量图的生成方法为：对任意人的行走视频，按时间采样出一个图像序列，对每个图像进行行人检测、前景与背景分离，分离后前景作二值化处理；对二值化后的步态图像尺度归一化操作，按照图像中人的身高裁剪头顶到脚底的图像，并长宽同比例缩放为统一尺度图像，生成尺度归一的二值化轮廓图；由二值化轮廓图序列计算步态周期；通过一个周期的二值化步态轮廓图，计算所有步态轮廓图的平均值即可生成步态能量图。3.如权利要求2所述的基于大间距深度度量学习的步态识别方法，其特征在于，对步态能量图抽取三元组步态样本，首先对训练数据集中的所有步态能量图，随机抽取出一个步态能量图作为目标样本；再根据抽出步态能量图对应人的身份，再随机抽出同一人的另一个步态能量图作为正样本；随机抽取另一个人的步态能量图作为负样本；生成一个三元组（目标样本，正样本，负样本）。4.如权利要求3所述的基于大间距深度度量学习的步...

【专利技术属性】
技术研发人员：辜州，徐万江，顾铭，徐虞诚，王琪，陆慧婷，
申请(专利权)人：盐城师范学院，
类型：发明
国别省市：江苏,32