一种基于多源图像信息的特定人员重识别方法技术

本发明专利技术公开了一种基于多源图像信息的特定人员重识别方法。在同一场景中设置多个固定摄像头和带云台摄像头的无人机，设置图像缓存队列对多路摄像头视频采集和存储同步；采用一阶段目标检测网络对视频中的图像实时行人检测并存入缓存区；构建行人重识别网络处理获得重识别的欧氏距离，排序后进行人员位置框的绘制并显示。本发明专利技术通过评估神经网络算法的效率设置了图像缓存队列的方式，实际场景下可有效地对监控视频图像进行稳定获取，可适应不同的深度学习算法对方案进行改进和完善，提高了重识别效率。识别效率。识别效率。

【技术实现步骤摘要】
一种基于多源图像信息的特定人员重识别方法


[0001]本专利技术属于视频监控领域，具体涉及一种基于多源图像信息的特定人员重识别方法。

技术介绍

[0002]行人重识别是计算机视觉领域近年来非常热的一个研究课题,可以被视为图像检索的一个子问题,其目标是给定一个监控行人图像检索其他设备下的该行人图像。传统的方法依赖手工特征,不能适应数据量很大的复杂环境。近年来随着深度学习的发展,大量基于深度学习的行人重识别方法被提出。
[0003]按照网络训练损失分类,行人重识别的方法可以分为表征学习和度量学习两类。表征学习和度量学习拥有各自的优缺点,目前学术界和工业界逐渐开始联合两种学习损失。联合的方式也比较直接,在传统度量学习方法的基础上,在特征层后面再添加一个全连接层进行ID分类学习。网络同时优化表征学习损失和度量学习损失,来共同优化特征层。
[0004]按照网络输出特征类型,行人重识别方法可以分为基于全局特征与局部特征的方法。融合全局特征和局部特征是目前一种提高网络性能非常常用的手段，目前融合全局特征和局部特征常用的思路是对于全局模块和局部模块分别提取特征,之后再将全局特征和局部特征拼接在一起作为最终的特征。Spindle net就提取了全局特征和n个不同尺度的局部特征,然后融合成最终的图像特征用于进行最后的相似度度量。AlignedReID给出了另外一种融合方法,即分别计算两幅图像全局特征距离和局部特征距离,然后加权求和作为最终两幅图像在特征空间的距离。
[0005]按照网络输入数据,行人重识别方法可以分为基于单帧图像与视频序列的方法。基于视频序列的方法可以解决单帧图像信息不足的缺点,并且可以融入运动信息加强鲁棒性,然而由于每次要处理多张图像,因此计算效率较低。当然基于视频序列的方法大部分都是单帧图像方法的扩展延伸,因此发展单帧图像的方法对于发展视频序列的方法也是有益的.
[0006]现实中，行人重识别的识别要求和识别性能受限于各种实际因素，首先，行人重识别获取到的是监控视频场景下的全景图像，对行人重识别的前提是利用检测网络检测出监控画面中包含的行人目标，再进行行人之间的相似度匹配。目前已有的检测网络和重识别网络的运行效率的累计总和不足以支持视频场景下的实时行人重识别操作；其次，行人重识别的识别性能受限于自身因素及环境因素。从自身因素考虑，高分辨率的摄像头或者复杂情境下拍摄到的图像都会增加延长检测时间，而低分辨率的摄像头、远距离拍摄的行人目标或是摄像头的抖动则会降低检测精度；另一方面，光照、遮挡带来的像素值渐变性特点也会对检测精度带来影响。从环境因素考虑，运动行人的相似着装、相似背景或者严重遮挡等情况，大大减弱了识别物体特征间的差异性，是重识别的识别能力进一步受限。
[0007]目前的一些行人重识别方法依旧存在无法针对视频监控进行实时处理的问题，若无法完成实时处理，行人重识别在应用至实际场景中就容易使得未处理的监控视频被积
压，从而最终使得存储或是重识别结果出现问题(例如延迟、内存溢出等)。因此这些方法也就难以应用至实际场景中。若通过多个识别装置对监控视频进行处理则无疑会大幅度地提升硬件成本。另外，实际场景中的监控视频数量有限，往往无法覆盖特定区域，在这种情况对于特定人员的重识别定位，其难度大大增加。

技术实现思路

[0008]为解决上述问题，本专利技术提出了一种基于多源图像信息的特定人员重识别方法，用于实际场景中监控视频和无人机视频进行实时的行人重识别。
[0009]本专利技术所采用的技术方案是：
[0010]步骤1，在同一场景中设置多个固定摄像头和无人机，无人机上安装有一个云台摄像头，固定摄像头和云台摄像头共同组成摄像头，设置图像缓存队列并对多路摄像头的视频进行采集和存储同步；
[0011]步骤2，采用一阶段(one
‑
stage)目标检测网络对采集到的多路摄像头的视频中的图像进行实时行人检测并将结果存入缓存区；
[0012]步骤3，构建行人重识别网络并读取缓存区中的行人数据进行处理获得重识别的欧氏距离，对重识别得到的欧氏距离进行排序，根据排序的结果进行人员位置框的绘制并显示。
[0013]本专利技术的多源图像信息来源于地面固定的监控摄像头与空中活动的无人机上的摄像头，根据地面监控摄像头与控制无人机视频的结合，定位特定人员的实时位置。
[0014]本专利技术中，特定人员可以是小偷、盗贼等特定职业的人员或者特定人的人员。
[0015]所述步骤1包括如下子步骤：
[0016]步骤1
‑
1，通过rtsp协议分别采集多路固定摄像头的监控视频到pc端解码，同时，无人机通过图传将云台摄像头的图像视频传输到手机端进行编码再后通过制定的tcp协议发送到pc端并解码；pc端为PC计算机。
[0017]步骤1
‑
2，在pc端为每一路摄像头的视频建立一个线程和一个图像缓存队列，每一路摄像头下的视频中的每一帧图像按时序存储在自身的图像缓存队列中，每一路摄像头下的线程对应处理该路摄像头下的图像缓存队列，每间隔处理读取所有图像缓存队列中帧数最小的图像缓存队列作为参考图像缓存队列，用于同步每一个摄像头的视频时间；
[0018]步骤1
‑
3，使用双线性插值法统一每一路摄像头的图像的分辨率大小；
[0019]步骤1
‑
4，由所有线程建立线程池，使得每一路摄像头的视频共同处理在显示界面中的固定位置显示。
[0020]所述步骤2包括如下子骤：
[0021]步骤2
‑
1，选择YOLOv3神经网络作为目标检测网络的基础模型，并在YOLOv3神经网络的基础上加上空间金字塔池化结构(spp结构)形成最终的目标检测网络，使得目标检测网络能够检测到不同尺度的目标，提高检测精度；
[0022]所述的空间金字塔池化结构连接在YOLOv3神经网络的主干网络和头部网络之间。主干网络为Darknet网络，头部网络为分类网络。
[0023]步骤2
‑
2，将目标检测网络加载在coco2017数据集上进行预训练网络的权重，并对步骤1中采集到的多路摄像头的视频中的图像进行调整尺寸、归一化等预处理后输入网络
模型进行预测处理，获得行人类别的预测框，提取出行人类别的预测框作为行人图像并存入缓存区。
[0024]所述步骤3包括如下子步骤：
[0025]步骤3
‑
1，选取轻量级主干网络osnet为行人重识别网络的主干，行人重识别网络的头部分为局部分支和全局分支的两个分支，局部分支和全局分支分别提取获得局部特征和全局特征，局部分支采用PCB的结构，将局部分支输出的特征图自上而下平均分成与人体拓扑结构相吻合的四个部分，例如头部、上躯干、下躯干和脚部，最后将全局分支与局部分支的输出拼接；
[0026]从而行人重识别网络的头部采用局部特征和全局特征的融合处理，能够试神经网络提取到更具鲁棒性的特征，提升重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源图像信息的特定人员重识别方法，其特征在于，方法包括如下步骤：步骤1，在同一场景中设置多个固定摄像头和无人机，无人机上安装有一个云台摄像头，固定摄像头和云台摄像头共同组成摄像头，设置图像缓存队列并对多路摄像头的视频进行采集和存储同步；步骤2，采用一阶段目标检测网络对采集到的多路摄像头的视频中的图像进行实时行人检测并将结果存入缓存区；步骤3，构建行人重识别网络并读取缓存区中的行人数据进行处理获得重识别的欧氏距离，对重识别得到的欧氏距离进行排序，根据排序的结果进行人员位置框的绘制并显示。2.根据权利要求1所述的一种基于多源图像信息的特定人员重识别方法，其特征在于：所述步骤1包括如下子步骤：步骤1
‑
1，通过rtsp协议分别采集多路固定摄像头的监控视频到pc端解码，同时，无人机通过图传将云台摄像头的图像视频传输到手机端进行编码再后通过tcp协议发送到pc端并解码；步骤1
‑
2，在pc端为每一路摄像头的视频建立一个线程和一个图像缓存队列，每一路摄像头下的视频中的每一帧图像按时序存储在自身的图像缓存队列中，每一路摄像头下的线程对应处理该路摄像头下的图像缓存队列，每间隔处理读取所有图像缓存队列中帧数最小的图像缓存队列作为参考图像缓存队列；步骤1
‑
3，使用双线性插值法统一每一路摄像头的图像的分辨率大小；步骤1
‑
4，由所有线程建立线程池，使得每一路摄像头的视频共同处理在显示界面中的固定位置显示。3.根据权利要求1所述的一种基于多源图像信息的特定人员...

【专利技术属性】
技术研发人员：庄杰栋，郑恩辉，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：