一种基于卷积神经网络的步态周期检测方法技术

本发明专利技术提供一种基于卷积神经网络的步态周期检测方法，对步态视频进行预处理，包括视频解码，行人轮廓提取和质心归一化的图像预处理操作；训练用于提取步态周期性特征的卷积神经网络；将待测的步态视频帧序列送入卷积神经网络中，输出波形经过滤波后，通过确定相邻的波峰与波谷的位置即得到一个步态周期。该方法对角度变化、服饰和携带物变化都有很强的鲁棒性，解决了在正面和背面视角下难以检测步态周期的问题，本发明专利技术方法对提高复杂环境中步态识别精度有重要意义，可用于步态识别中的前端，适用于安全监控、人机交互、医疗诊断和门禁系统等中的身份识别中。

【技术实现步骤摘要】
一种基于卷积神经网络的步态周期检测方法
本专利技术属于计算机视觉领域，具体涉及一种基于卷积神经网络的步态周期检测方法。
技术介绍
步态识别与生物特征识别方式相比可以在测试者不知情的情况下完成数据的收集工作和远距离身份的识别。而步态周期检测是步态识别中一个不可避免的过程，一个具有良好识别率的步态识别算法是建立在一个分割完好的步态周期之上的。又因步态识别具有隐蔽性的特点，数据采集的随意性较大，行人相对于摄像头的方向和行人的服饰状态都可以是任意的，加大了周期检测的难度。步态周期检测技术的发展伴随着步态识别的发展。现有方法中多以行人宽度作为特征进行步态周期检测。文献(Silhouette-BasedHumanIdentificationfromBodyShapeandGait.IEEEInternationalConferenceonAutomaticFaceandGestureRecognition.2002,366-372)较早的提出了利用身体特征的宽度和高度特征进行周期检测，但该方法受行人与摄像机距离影响较大。文献(Gaitrecognitionwithtransientbinarypatterns.VisualCommunicationandImageRepresentation.2015,33(C),69-77)等在此基础上提出利用归一化的单一的轮廓宽度特征进行步态周期检测，但该方法在正面与背面视角下难以工作。文献(SilhouetteAnalysis-BasedGaitRecognitionforHumanIdentification.PatternAnalysis&MachineIntelligenceIEEETransactionson,2003,25(12):1505-1518)提出利用步态轮廓的宽高比进行步态周期检测，避免了高度归一化对行人宽度造成的影响。文献(HumanIdentificationUsingTemporalInformationPreservingGaitTemplate.IEEETransactionsonPatternAnalysis&MachineIntelligence,2012,34(11):2164-76)通过对每一帧图像下肢平均宽度的提取来代表该帧在一个完整的步态序列中所代表的位置，避免了携带物对行人宽度的影响。总体来说基于身体宽度特征方法在侧面90°时能够有效的检测出步态周期，但在正面和侧面视角时误差很大，甚至不能工作。文献(ThehumanIDgaitchallengeproblem:datasets,performance,andanalysis.IEEETransactionsonPatternAnalysis&MachineIntelligence,2005,27(2):162-177)选择利用人体的二维面积作为周期检测的特征进行特征提取。但同样存在正面和侧面视角时误差很大的问题。文献(Dual-ellipsefittingapproachforrobustgaitperiodicitydetection.Neurocomputing,2012,79(3):173-178)提出了一种基于双椭圆拟合的方法。以质心点为分割行人的中心点将行人轮廓按照图像的垂直方向分为左右两半，分别用椭圆来进行拟合，使得行人轮廓与椭圆相切，计算该椭圆的离心率，两个拟合的椭圆的离心率相加作为特征来表示该帧图像的周期性特征。在侧面90°、正面和背面视角下取得了较高的识别率，但在斜视角度如18°和36°等误差较大。近年来深度学习快速发展，卷积神经网络作为一种有效的图像特征提取工具被广泛运用于计算机视觉领域。受其启发，本文提出一种基于卷积神经网络的步态周期检测方法，通过训练卷积神经网络提取每一帧的步态周期性特征，利用这种特征定位当前帧在步态周期中的位置，完成步态周期检测过程。这种方法有较强的鲁棒性，在不同视角、不同着装和携带物的情况下均能检测出较为精确的步态周期。
技术实现思路
本专利技术的目的在于提供了一种基于卷积神经网络的步态周期检测方法，有较强的鲁棒性，在不同视角、不同着装和携带物的情况下均能检测出较为精确的步态周期。本专利技术的目的是这样实现的：一种基于卷积神经网络的步态周期检测方法，具体的实现步骤为：步骤1.对步态视频进行预处理，包括视频解码，行人轮廓提取和质心归一化的图像预处理操作；步骤2.训练用于提取步态周期性特征的卷积神经网络；步骤3.将待测的步态视频帧序列送入卷积神经网络中，输出波形经过滤波后，通过确定相邻的波峰与波谷的位置即得到一个步态周期。步骤2具体为：步骤2.1.用数值量化表示训练集中每一视频帧在一个步态周期中的位置，并标记为其标签，标签值的计算公式为其中Li步态视频中的第i帧的标签值，N表示第i帧所在的步态周期共包括N帧，n表示第i帧为所在的步态周期中第n帧；步骤2.2.将标注好的视频帧送入卷积神经网络，得到输出值；步骤2.3.计算输出值与标签之间的误差，通过误差反向传播和随机梯度下降的多次迭代训练网络，经过多次迭代后训练直到误差不再下降为止，误差的计算公式为其中m为输入网络的批次大小，即每批含有m张图像，为对应视频帧标签的神经网络的估计；步骤2.4.保存并复制训练完成的卷积神经网络。步骤2所述的卷积神经网络结构包含多层卷积层以及连接最后一层卷积层的至少一层全连接层，全连接层的最后一层连接输出层为单神经元。步骤1具体包括：步骤1.1.对视频序列进行分帧处理，经过分帧之后的序列为按时间顺序排列的图像序列；步骤1.2.将包含行人的图像序列和背景序列进行灰度变换，采用中值法进行估计整个序列的背景，并进行二值化得到步态轮廓图像，Dk(x,y)＝|Ik(x,y)-Mk(x,y)|其中Ik(x,y)为视频序列第k帧的像素(x,y)处的灰度值，Mk(x,y)为此处的背景灰度值，Dk(x,y)为背景差图像，T为选定的二值化阈值；步骤1.3.轮廓归一化，将所有的轮廓进行统一的缩放以一致的高度，行人轮廓归一化的输入为每个视频帧中与行人轮廓相切的长方形中的内容；对于训练集中所有的截取轮廓的图像，分别遍历其所有的图像高度，作为与标准高度做比；某一视角下的标准高度为H，视角下共有K帧图像，按照时间顺序的每帧图像的高度为hk,k＝1,2,...,K，则每帧图像的放大倍数为ak＝hk/H，对该视角下得到每帧图像，分别应用其对应的放大倍数ak，应用双线性插值算法，fa＝f(x,y)+(f(x+1,y)-f(x,y))×pfb＝f(x,y+1)+(f(x+1,y+1)-f(x,y+1))×p式中，f(x,y)为插值前坐标(x,y)处的灰度值，p和q是权值；进行第二次线性插值，计算(x,y)处的插值结果为g(x,y)＝fa+(fb-fa)×q＝(1-p)(1-q)f(x,y)+p(1-p)f(x+1,y)+q(1-p)f(x,y+1)+pqf(x+1,y+1)其中g(x,y)为插值后坐标(x,y)处的灰度值。本专利技术的有益效果在于：该方法对角度变化、服饰和携带物变化都有很强的鲁棒性，解决了在正面和背面视角下难以检测步态周期的问题，现有的步态识别技术大都是建立在一个精确分本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的步态周期检测方法，其特征在于，具体的实现步骤为：步骤1.对步态视频进行预处理，包括视频解码，行人轮廓提取和质心归一化的图像预处理操作；步骤2.训练用于提取步态周期性特征的卷积神经网络；步骤3.将待测的步态视频帧序列送入卷积神经网络中，输出波形经过滤波后，通过确定相邻的波峰与波谷的位置即得到一个步态周期。

【技术特征摘要】
1.一种基于卷积神经网络的步态周期检测方法，其特征在于，具体的实现步骤为：步骤1.对步态视频进行预处理，包括视频解码，行人轮廓提取和质心归一化的图像预处理操作；步骤2.训练用于提取步态周期性特征的卷积神经网络；步骤3.将待测的步态视频帧序列送入卷积神经网络中，输出波形经过滤波后，通过确定相邻的波峰与波谷的位置即得到一个步态周期。2.根据权利要求1所述的一种基于卷积神经网络的步态周期检测方法，其特征在于，步骤2具体为：步骤2.1.用数值量化表示训练集中每一视频帧在一个步态周期中的位置，并标记为其标签，标签值的计算公式为其中Li步态视频中的第i帧的标签值，N表示第i帧所在的步态周期共包括N帧，n表示第i帧为所在的步态周期中第n帧；步骤2.2.将标注好的视频帧送入卷积神经网络，得到输出值；步骤2.3.计算输出值与标签之间的误差，通过误差反向传播和随机梯度下降的多次迭代训练网络，经过多次迭代后训练直到误差不再下降为止，误差的计算公式为其中m为输入网络的批次大小，即每批含有m张图像，为对应视频帧标签的神经网络的估计；步骤2.4.保存并复制训练完成的卷积神经网络。3.根据权利要求1所述的一种基于卷积神经网络的步态周期检测方法，其特征在于：步骤2所述的卷积神经网络结构包含多层卷积层以及连接最后一层卷积层的至少一层全连接层，全连接层的最后一层连接输出层为单神经元。4.根据权利要求1所述的一种基于卷积神经网络的步态周期检测方法，其特征在于：步骤1具体包括：步骤1....

【专利技术属性】
技术研发人员：王科俊，丁欣楠，李伊龙，周石冰，徐怡博，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江,23