【技术实现步骤摘要】
一种基于孪生神经网络的行人跟踪方法
本专利技术属于计算机视觉领域，特别涉及一种基于孪生神经网络的行人跟踪方法。
技术介绍
随着人工智能技术的发展，计算机视觉已广泛应用于诸如智能家居，视频监控和智能交通等人类日常生活中，行人跟踪是这些领域的关键问题之一。由于行人目标在运动过程中会发生姿态变化，大小变化，外观变化以及行人遮挡，使得实现行人的准确跟踪变得非常困难。早期的目标跟踪算法主要是根据目标建模或者对目标特征进行跟踪，主要的方法有：(1)特征匹配法，首先提取目标特征，然后在后续的帧中找到最相似的特征进行目标定位；(2)基于搜索的方法，人们将预测算法加入跟踪中，在预测值附近进行目标搜索，减少了搜索的范围，然而这些方法已经不再满足当今的行人跟踪需求，急需一些新的方法加以替代；而且传统的方法受图像光照变化、行人姿态变化、图像噪声等因素影响较大。随着深度学习的迅猛发展，其在行人跟踪领域也起到了重要的推动作用，其中孪生神经网络是一种可以判断两个输入模式是否相似的模型，它可以用于行人跟踪领域判断行人的外观是否相似。因此，需要对现有技术进行改进。
技术实现思路
本专利技术所要解决的问题是提供一种基于孪生神经网络的行人运动轨迹的计算方法，用以跟踪行人，有效提高了行人跟踪的准确率。为解决上述问题，本专利技术提供一种基于孪生神经网络的行人跟踪方法，包括以下步骤：步骤1、视频输入：由监控设备(摄像头以及其它监控设备)在室外或室内进行采集获得视频文件，将采集的视频文件输入到计算机中，包括视频...
【技术保护点】
1.一种基于孪生神经网络的行人跟踪方法，其特征在于包括以下步骤：/n步骤1、视频输入：/n由监控设备在室外或室内进行采集获得视频文件，将采集的视频文件输入到计算机中，包括视频序列的每一帧视频图像；/n步骤2、行人标记：/n对步骤1输入的每一帧视频图像，使用DPM行人检测技术检测出并在每一帧视频图像上标记出行人的位置，获得带有行人位置标记的视频序列；/n步骤3、获取行人时空组：/n将步骤2中带有行人位置标记的视频序列每隔时间长度1秒拆分成n段，每一段为视频图像i；对每一段视频图像i，按行人位置使用分层聚类的方法得到行人时空组
【技术特征摘要】
1.一种基于孪生神经网络的行人跟踪方法，其特征在于包括以下步骤：
步骤1、视频输入：
由监控设备在室外或室内进行采集获得视频文件，将采集的视频文件输入到计算机中，包括视频序列的每一帧视频图像；
步骤2、行人标记：
对步骤1输入的每一帧视频图像，使用DPM行人检测技术检测出并在每一帧视频图像上标记出行人的位置，获得带有行人位置标记的视频序列；
步骤3、获取行人时空组：
将步骤2中带有行人位置标记的视频序列每隔时间长度1秒拆分成n段，每一段为视频图像i；对每一段视频图像i，按行人位置使用分层聚类的方法得到行人时空组其中n为正整数，i≤n，j表示第i段视频图像内的时空组序号；
步骤4、建立并训练孪生神经网络，并保存训练好的孪生神经网络；
步骤5、获取行人短轨迹；
步骤6、获取行人长轨迹。
2.根据权利要求1所述的一种基于孪生神经网络的行人跟踪方法，其特征还在于步骤5包括以下步骤：
步骤5-1、对于步骤3中获得的每一段视频图像i中每个时空组内的行人进行两两组合，每个组合均为含有行人的两幅大小为128*64*3的图片；
步骤5-2、将步骤5-1获得的每个组合内含有行人的两幅大小为128*64*3的图片堆叠成128*64*6的形式输入步骤4中训练好的孪生神经网络，得到每个时空组内的每对行人的外观相似度PAS；
步骤5-3、计算行人运动速度
对于第t帧中的行人位置p，在相邻帧中通过计算距离找到距离最接近p的检测pk，k为所在帧的索引，按下式计算每个时空组内的行人运动速度vpedestrian：
步骤5-4、计算运动亲和力
使用步骤5-2获得的行人运动速度计算按以下公式算出每个时空组内的每对行人的运动亲和力PMA：
PMA＝max(1-β*e(P1,P2),0)，
e(P1,P2)＝min(eforward(P1,P2),ebackward(P1,P2))，
其中P1和P2为两个行人，β是供调节的参数，eXforward,eYforward,eXbackward和eYbackward是行人运动在X方向和Y方向的前向误差和反向误差，eforward和ebackward是行人运动的前向误差和反向误差，P1x,P1y,P2x和P2y是两个行人位置的X坐标和Y坐标，t1和t2是两个行人的帧索引，步骤5-3获得的vpedestrian分解为X方向和Y方向的运动速度，v1x,v1y,v2x和v2y分别是两个行人在X方向和Y方向的运动速度；
步骤5-5、建立行人相关度矩阵
使用sigmoid函数将步骤5-2获取的每个时空组内每队行人的外观相似度PAS和步骤5-4获得的每个时空组内的每对行人的运动亲和力PMA按下式融合成行人相关度矩阵PeC：
其中，λ和μ是供调节的参数；
步骤5-6、求解分类
使用最大相关度原则对步骤5-5获得的每个时空组内的行人相关度矩阵PeC进行求解分类，获得的每一类分别代表具有同一身份的行人；设有图G＝(V,E,W),其中顶点V表示每个行人检测,E表示行人检测相连的边，W表示两个行人间的相关度，最大相关度原则如下：
其中v1,v2,v3代表V中的行人检测，w表示行人间的相关度，x的取值为0或1；
步骤5-7、获得行人的短轨迹
将步骤5-6获得的每一类中的行人进行合并，从而得到在每一段视频图像i中的行人的短轨迹。
3.根据权利要求2所述的一种基于孪生神经网络的行人跟踪方法，其特征还在于步骤6包括以下步骤：
步骤6-1、挑选关键行人
在滑动时间窗口中，对步骤5-5中获得的每一段视频图像i中行人的短轨迹进行处理，对于一个滑动时间窗口中的所有短轨迹，利用行人的外观相似度挑选出每段图像视频i中短轨迹中的关键行人，用这些关键行人代表一条短轨迹；
步骤6-2、短轨迹间关键行人的两两组合
在一个滑动时间窗口中，将步骤6-1中挑选出的某段视频图像i中每条短轨迹的关键行人与其它段视频图像j中每条短轨迹的关键行人进行两两组合，每个组合均为含有关键行人的两幅大小为128*64*3的图片；
...
【专利技术属性】
技术研发人员：王云涛，潘海鹏，马淼，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。