基于监控相机和无线定位的行人重识别系统技术方案

本发明专利技术公开了一种基于监控相机和无线定位的行人重识别系统，通过对相机拍摄的场景进行经纬度标注，将无线定位与行人重识别结合起来，构成新的行人重识别系统，系统中利用循环亲和度传播单元，视觉信息与无线定位信息不断传播融合，互相提升，系统不仅能提升传统行人重识别的准确率，同时能匹配行人的无线信号以进一步得到其具体的身份信息；此外，在得到行人的无线信息身份后，便可直接在其无线信号路径上进行搜索，极大地降低了搜索的复杂度。

Pedestrian recognition system based on surveillance camera and wireless location

【技术实现步骤摘要】
基于监控相机和无线定位的行人重识别系统
本专利技术涉及行人重识别
，尤其涉及一种基于监控相机和无线定位的行人重识别系统。
技术介绍
行人重识别旨在匹配不同相机下的行人。随着经济的发展，监控摄像机的覆盖范围越来越大，行人重识别的应用价值也越来越突出。借助行人重识别，我们可以寻找丢失的儿童，追踪嫌犯，安防布控等等。受此影响，近些年中，行人重识别也受到了越来越多研究者的关注。因为摄像机架设的位置不同，相机的拍摄视角是不同的，即使拍到的是同一个人，但是其背景，光照，行人的姿势和角度都会有很大的差异。这些问题都给行人重识别算法带来了很多的困难。根据识别对象的来源分类，现有的行人重识别算法主要有两大类，一类是基于图像的，另一类是基于视频的。基于图像的行人重识别是给定一张行人的图片，算法需要在其他相机拍摄到的图片中找到相应的行人的图像。基于视频的行人重识别则是给定一个行人的视频序列，算法需找出其他相机下该行人的视频序列。单张图片所含有的信息量是有限的，容易受到遮挡、模糊和姿态变化的影响，而视频序列中，帧之间的信息是相互补充的，某一帧缺失的信息可本文档来自技高网...

【技术保护点】
1.一种基于监控相机和无线定位的行人重识别系统，其特征在于，包括：/n定位标注单元，用于对监控区域内的场景进行经纬度标注；/n行人视频序列与视觉轨迹提取单元，用于从摄像机拍摄的监控区域内的视频中提取出行人视频序列，并根据视频序列中标注的经纬度，提取相应的视觉轨迹；/n无线定位轨迹获取单元，用于记录监控区域内移动终端的运动轨迹，获得对应的无线定位轨迹；/n视频特征提取器，用于从行人视频序列中提取出视频特征；/n循环亲和度传播单元，用于利用视频特征计算待查询的行人视频序列与数据库中每一行人视频序列之间的视觉亲和度，以及利用待查询的行人视频序列对应的视觉轨迹与每一无线定位轨迹的距离计算对应的轨迹亲和...

【技术特征摘要】
1.一种基于监控相机和无线定位的行人重识别系统，其特征在于，包括：
定位标注单元，用于对监控区域内的场景进行经纬度标注；
行人视频序列与视觉轨迹提取单元，用于从摄像机拍摄的监控区域内的视频中提取出行人视频序列，并根据视频序列中标注的经纬度，提取相应的视觉轨迹；
无线定位轨迹获取单元，用于记录监控区域内移动终端的运动轨迹，获得对应的无线定位轨迹；
视频特征提取器，用于从行人视频序列中提取出视频特征；
循环亲和度传播单元，用于利用视频特征计算待查询的行人视频序列与数据库中每一行人视频序列之间的视觉亲和度，以及利用待查询的行人视频序列对应的视觉轨迹与每一无线定位轨迹的距离计算对应的轨迹亲和度，并通过融合两种亲和度实现两种亲和度的循环更新；
行人重识别单元，利用最终更新得到的视觉亲和度与轨迹亲和度进行行人重识别。


2.根据权利要求1所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，所述定位标注单元，利用GPS定位仪器监控区域内的场景进行网格定位，从而获得每一视频帧中网格点对应像素的经纬度坐标，再通过近邻差值计算出每个像素点的经纬度，完成经纬度标注；
所述无线定位轨迹获取单元，通过基站定位、GPS定位、或者wifi定位方式记录每一个移动终端的运动轨迹；得到M个基于无线定位的经纬度轨迹其中是第m个行人的无线定位轨迹。


3.根据权利要求1所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，所述行人视频序列与视觉轨迹提取单元，利用跟踪算法从摄像机拍摄的监控区域内的视频中提取出行人视频序列V；对于一个视频帧中的行人边界框，通过边界框底部中心位置所对应的像素点的经纬度来得到行人在物理世界中的位置，这样，对于一个行人视频序列V，能够得到相应的经纬度轨迹，再经过卡尔曼滤波降低噪声的影响，得到最终的视觉轨迹Tv。


4.根据权利要求1所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，从行人视频序列中提取出视频特征包括：
将每一行人视频序列中的视频帧依次输入至2维卷积神经网络，再经过一个全局平均池化后得到每一视频帧的特征表达；对于行人视频序列，其帧特征的平均特征作为视频的特征表达：



其中，xp，k，t表示第p个行人的第k个视频中的第t帧图片Vr，k，t的特征表达，T表示行人视频序列中视频帧数目。


5.根据权利要求4所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，所述视频特征提取器需要预先训练，训练数据集包含了P个行人的视频序列集，每一个行人的视频序列集包含了K个视频序列；
训练阶段，对于第p个行人，将第k个视频中的第t帧图片Vr，k，t的特征表达xp，k，t，以及视频的特征表达fp，k同一个批归一化、不同的全连接层后得到和



其中，FCx为处理视频帧特征表达xp，k，t时用到的全连接层，FCf为处理视频的特征表达fp，k时用到的全连接层，BN为共享的批归一化层；
视频特征提取器整体的优化目标是：
L＝Lx+Lf×(1-λ)+λ×Lkl+Lt
其中，λ为设定的比例参数，Lx、Lf对应为的交叉熵损失函数，Lt为视频的特征表达fp，k的三元组损失函数；损失函数Lkl为：



其中，τ为退火参数，KL(·)为KL散度函数。


6.根据权利要求1所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，所述循环亲和度传播单元包括：
视觉亲和度更新单元，利用视频特征计算待查询的行人视频序列与数据库中每一行人视频序列之间的视觉亲和度，并利用待查询的行人视频序列的视觉轨迹与无线定位轨迹之间的距离，来更新相应视...

【专利技术属性】
技术研发人员：李厚强，周文罡，刘一衡，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34