一种基于单目视觉、从动作识别身份的方法技术

本发明专利技术属于生物特征识别技术领域，具体涉及一种基于单目视觉、从动作识别身份的方法。本发明专利技术基于卷积神经网络构建了人体骨骼关键点的检测模型，利用提取的人体骨骼点点坐标序列对基于LSTM的神经网路匹配模型进行训练，使得训练的基于LSTM的神经网路匹配模型具备跨视角的动作识别能力。在识别过程中，利用训练好的人体骨骼点二维坐标检测模型对单目视觉视频和已注册动作视频序列进行人体骨骼点二维坐标序列提取，再通过基于LSTM的神经网路匹配模型进行特征相似度计算，进而对测试的动作视频中人的身份进行识别，在跨视角动作识别时具有较高的准确度。该方法可被广泛应用与配备视频监控的场景，如：机场及超市的安全监控，人员识别，罪犯检测等。

【技术实现步骤摘要】
一种基于单目视觉、从动作识别身份的方法
本专利技术属于生物特征识别
，具体涉及一种基于单目视觉、从动作识别身份的方法。
技术介绍
随着硬件技术的发展，监控摄像头已经非常率廉价，在物联网技术的推动下，监控摄像头已经无处不在，大到广场、银行、学校等公共场所，小到每家每户的居住客厅卧室。摄像头已经开始记录着人类生活的每个角落。犯罪分子的影像很可能被监控摄像头所捕获，通过学习这些影像，得到犯罪分子特有的行为动作特征，然后在其它摄像头通过动作特征的识别方法发现该犯罪分子，极大程度上增加了犯罪分子的捕获率。因此，基于单目视觉、从动作身份识的方法在安防监控领域具有广泛的商业应用前景为。传统的根据生物特征的识别技术有，指纹识别，脸部识别，虹膜识别等。但这一类的识别技术，不仅需要一定的设备支持，还要身体部位的近距离接触。就目前而言，能够实现在远距离识别的技术，主要是步态识别。但步态识别技术仍处于早期阶段，其主要的方法分为两种方式。第一种基于GEI的能量图的方式进行步态识别，这种识别方式对人体的穿着有很高的要求。第二种是利用kinect相机获取人体骨骼关键点分方式，由于kinect相机价格昂贵，所以这种方式成本很高。
技术实现思路
本专利技术针对上述问题，提供一种基于单目视觉、从动作识别身份的方法。本专利技术所采取的技术方案如下：一种基于单目视觉、从动作识别身份的方法，包括训练过程和识别过程，其中，训练过程包括以下步骤：步骤S11，建立待训练的用于提取人体骨骼点二维坐标的卷积神经网络模型，该网络模型的输入为动作视频中每一帧的图片，输出为图片中人体骨骼点的二维坐标；步骤S12，利用已经标注好的人体骨骼点的数据对网络参数进行训练，通过前向传播提取特征，利用网络输出的骨骼点位置与真实的骨骼点位置误差，采用误差反向传播算法来训练该模型，直至模型收敛，得到骨骼点二维坐标检测模型；步骤S13，从涉及多视角的动作视频序列中，利用训练好的骨骼点二维坐标检测模型提取视频中人体骨骼点二维坐标序列；步骤S14，抽取正、负样本，抽取身份相同的人体骨骼点二维坐标序列为正样本，身份不同的人即为负样本；步骤S15，建立待训练的基于LSTM（时间递归神经网络，LongShort-TermMemory）的神经网络匹配模型，包括特征提取功能模块和感知机能模块，将S14中构成正负样本的每对人体骨骼点二维坐标序列分别送入特征提取功能模块，采用前向传播算法提取它们的特征；步骤S16，通过感知机能模块将S15中提取的两个人体骨骼点二维坐标序列的特征进行比较并给出相似度的分数，并进行身份判断，输出匹配结果；步骤S17，利用匹配结果与真实结果的误差，采用误差的反向传播算法来训练基于LSTM的神经网络匹配模型；步骤S18，重复步骤S14至步骤S17，直至上述的基于LSTM的神经网络匹配模型收敛，得到训练后的基于LSTM的神经网络匹配模型；其中，识别过程包括以下步骤：步骤S21，建立匹配库，匹配库中包括多个已注册人体动作视频序列，已注册人体动作视频序列包括动作视频序列以及对应的人的身份，利用步骤S12得到的骨骼点二维坐标检测模型，提取已注册人体动作视频序列的人体骨骼点二维坐标序列；步骤S22，将已注册动作视频序列的人体骨骼点二维坐标序列输入步骤S18得到的基于LSTM的神经网络匹配模型的特征提取模块，提取特征序列；步骤S23，对单目视觉视频，利用步骤S12得到的骨骼点二维坐标检测模型，提取单目视觉视频序列的人体骨骼点二维坐标序列；步骤S24，将单目视觉视频序列的人体骨骼点二维坐标序列输入步骤S18得到的基于LSTM的神经网络匹配模型的特征提取模块，提取特征序列；步骤S25，将S24中获得的特征与S22中获得的特征序列通过基于LSTM的神经网络匹配模型的感知机能模块分别计算相似度；步骤S26，决定相似度最高的匹配库中的已注册人体动作视频序列所对应的人的身份为单目视觉视频中人的身份。步骤S13中，人体骨骼点二维坐标序列抽取按照相等的几率从不同视角的骨骼点二维坐标序列中进行抽取。步骤S13中，若不对正负样本的比率进行约束按自然几率进行抽取，会出现正样本太少的情况，从而导致基于LSTM的神经网络匹配模型在训练过程中过拟合，优选地，正、负样本出现的概率相等。所述特征提取功能模块包括若干LSTM单元，每个LSTM单元中包含了三个门，分别叫做输入门、遗忘门和输出门，输入门负责控制每一个时间点上人体骨骼点二维坐标的输入，遗忘门则负责上一个时间点人体骨骼点二维坐标特征向量的遗忘，输出门是负责当前时间点人体骨骼点二维坐标输出到下一时间点的特征向量。所述特征提取功能模块输出的特征为对跨视角变化的鲁棒性特征。步骤S12中，通过误差反向传播算法来训练卷积神经网络模型，具体为激励传播以及权重更新两个环节的反复迭代，直到达到收敛条件为止，在激励传播阶段将图像或者人体骨骼点二维坐标序列通过网络的卷积层获取特征，在网络的输出层获取输出结果，再将输出结果与真实结果求差，从而获得输出层与监督层的误差，在权重更新阶段，先将已知误差与本层响应对前一层响应的函数的导数相乘，从而获得两层之间权重矩阵的梯度，然后沿这个梯度的反方向以某个比例调整权重矩阵，随后，将该梯度矩阵当作前一层的误差从而计算前一层的权重矩阵，以此类推完成对整个模型的更新。步骤S21中，建立匹配库后，判断是否为首次识别过程，若为首次识别过程则提取已注册动作视频序列的人体骨骼点二维坐标序列后依次执行S22至S26，并将已注册动作视频序列的特征序列储存到匹配库中或替换匹配库中已注册人体动作视频序列中的动作视频序列；若非首次识别过程则根据匹配库中的已注册动作视频序列的特征序列直接从S23依次执行至S26。本专利技术的有益效果如下：本专利技术基于卷积神经网络构建了人体骨骼关键点的检测模型，利用已标注的人体骨骼点二维坐标数据训练该模型，优化参数，使该模型提取多视角动作视频中人体骨骼点坐标序列。利用提取的人体骨骼点点坐标序列对基于LSTM的神经网路匹配模型进行训练，使得训练的基于LSTM的神经网路匹配模型具备跨视角的动作识别能力。在识别过程中，利用训练好的人体骨骼点二维坐标检测模型对单视角的单目视觉视频和已注册动作视频序列进行人体骨骼点二维坐标序列进行提取，再通过基于LSTM的神经网路匹配模型进行单目视觉视频和已注册的动作视频序列的特征相似度计算，进而对测试步态视频中人的身份进行识别，在跨视角动作识别时具有较高的准确度。该方法可被广泛应用与配备视频监控的场景，如：机场及超市的安全监控，人员识别，罪犯检测等。附图说明图1为卷积网络结构示意图。图2为本专利技术的流程示意图。具体实施方式下面结合附图以及具体实施例，可以更好地说明本专利技术。一种基于单目视觉、从动作识别身份的方法，包括训练过程和测试过程，其中，训练过程包括以下步骤：步骤S11，建立待训练的用于提取人体骨骼点二维坐标的卷积神经网络模型，该网络模型的输入为动作视频中每一帧的图片，输出为图片中人体骨骼点的二维坐标，网络结构如图1所示。该网络由基本的残差结构，池化结构和跳跃结构组成。残差结构由三层卷积完成，第一层卷积卷有n个1x1的卷积核，步长为1；第二层有n个3x3的卷积核，步长为1；第三层有2n个1x1的卷积核，步长为本文档来自技高网...

【技术保护点】
1.一种基于单目视觉、从动作识别身份的方法，其特征在于包括训练过程和识别过程，其中，训练过程包括以下步骤：步骤S11，建立待训练的用于提取人体骨骼点二维坐标的卷积神经网络模型，该网络模型的输入为动作视频中每一帧的图片，输出为图片中人体骨骼点的二维坐标；步骤S12，利用已经标注好的人体骨骼点的数据对网络参数进行训练，通过前向传播提取特征，利用网络输出的骨骼点位置与真实的骨骼点位置误差，采用误差反向传播算法来训练该模型，直至模型收敛，得到骨骼点二维坐标检测模型；步骤S13，从涉及多视角的动作视频序列中，利用训练好的骨骼点二维坐标检测模型提取视频中人体骨骼点二维坐标序列；步骤S14，抽取正、负样本，抽取身份相同的人体骨骼点二维坐标序列为正样本，身份不同的人即为负样本；步骤S15，建立待训练的基于LSTM的神经网络匹配模型，包括特征提取功能模块和感知机能模块，将S14中构成正负样本的每对人体骨骼点二维坐标序列分别送入特征提取功能模块，采用前向传播算法提取它们的特征；步骤S16，通过感知机能模块将S15中提取的两个人体骨骼点二维坐标序列的特征进行比较并给出相似度的分数，并进行身份判断，输出匹配结果；步骤S17，利用匹配结果与真实结果的误差，采用误差的反向传播算法来训练基于LSTM的神经网络匹配模型；步骤S18，重复步骤S14至步骤S17，直至上述的基于LSTM的神经网络匹配模型收敛，得到训练后的基于LSTM的神经网络匹配模型；其中，识别过程包括以下步骤：步骤S21，建立匹配库，匹配库中包括多个已注册人体动作视频序列，已注册人体动作视频序列包括动作视频序列以及对应的人的身份，利用步骤S12得到的骨骼点二维坐标检测模型，提取已注册人体动作视频序列的人体骨骼点二维坐标序列；步骤S22，将已注册动作视频序列的人体骨骼点二维坐标序列输入步骤S18得到的基于LSTM的神经网络匹配模型的特征提取模块，提取特征序列；步骤S23，对单目视觉视频，利用步骤S12得到的骨骼点二维坐标检测模型，提取单目视觉视频序列的人体骨骼点二维坐标序列；步骤S24，将单目视觉视频序列的人体骨骼点二维坐标序列输入步骤S18得到的基于LSTM的神经网络匹配模型的特征提取模块，提取特征序列；步骤S25，将S24中获得的特征与S22中获得的特征序列通过基于LSTM的神经网络匹配模型的感知机能模块分别计算相似度；步骤S26，决定相似度最高的匹配库中的已注册人体动作视频序列所对应的人的身份为单目视觉视频中人的身份。...

【技术特征摘要】
1.一种基于单目视觉、从动作识别身份的方法，其特征在于包括训练过程和识别过程，其中，训练过程包括以下步骤：步骤S11，建立待训练的用于提取人体骨骼点二维坐标的卷积神经网络模型，该网络模型的输入为动作视频中每一帧的图片，输出为图片中人体骨骼点的二维坐标；步骤S12，利用已经标注好的人体骨骼点的数据对网络参数进行训练，通过前向传播提取特征，利用网络输出的骨骼点位置与真实的骨骼点位置误差，采用误差反向传播算法来训练该模型，直至模型收敛，得到骨骼点二维坐标检测模型；步骤S13，从涉及多视角的动作视频序列中，利用训练好的骨骼点二维坐标检测模型提取视频中人体骨骼点二维坐标序列；步骤S14，抽取正、负样本，抽取身份相同的人体骨骼点二维坐标序列为正样本，身份不同的人即为负样本；步骤S15，建立待训练的基于LSTM的神经网络匹配模型，包括特征提取功能模块和感知机能模块，将S14中构成正负样本的每对人体骨骼点二维坐标序列分别送入特征提取功能模块，采用前向传播算法提取它们的特征；步骤S16，通过感知机能模块将S15中提取的两个人体骨骼点二维坐标序列的特征进行比较并给出相似度的分数，并进行身份判断，输出匹配结果；步骤S17，利用匹配结果与真实结果的误差，采用误差的反向传播算法来训练基于LSTM的神经网络匹配模型；步骤S18，重复步骤S14至步骤S17，直至上述的基于LSTM的神经网络匹配模型收敛，得到训练后的基于LSTM的神经网络匹配模型；其中，识别过程包括以下步骤：步骤S21，建立匹配库，匹配库中包括多个已注册人体动作视频序列，已注册人体动作视频序列包括动作视频序列以及对应的人的身份，利用步骤S12得到的骨骼点二维坐标检测模型，提取已注册人体动作视频序列的人体骨骼点二维坐标序列；步骤S22，将已注册动作视频序列的人体骨骼点二维坐标序列输入步骤S18得到的基于LSTM的神经网络匹配模型的特征提取模块，提取特征序列；步骤S23，对单目视觉视频，利用步骤S12得到的骨骼点二维坐标检测模型，提取单目视觉视频序列的人体骨骼点二维坐标序列；步骤S24，将单目视觉视频序列的人体骨骼点二维坐标序列输入步骤S18得到的基于LSTM的神经网络匹配模型的特征提取模块，提取特征序列；步骤S25，将S24中获得的特征与S22中获得的特征序列通过基于LSTM的神经网络匹配模型的感知机能模块分别计算相似度；步骤...

【专利技术属性】
技术研发人员：周宏明，宋康，张祥雷，高顺，徐玲杰，
申请(专利权)人：温州大学，
类型：发明
国别省市：浙江,33