基于全局特征和局部特征的跨镜头目标检索系统及方法技术方案

本发明专利技术公开一种基于全局特征和局部特征的跨镜头目标检索系统及方法，从监控视频中获取前景目标图像，对前景目标图像进行预处理，从中提取具有若干特征维度的颜色特征、纹理特征等，降维处理后保存于数据库中形成目标检索系统；利用该目标检索系统检索查询图像时，首先提取查询图像的特征信息，与目标系统中的前景目标图像进行全局特征的相似度计算，得到初次筛选结果，然后提取查询图像的局部特征信息，与通过初次筛选的前景目标图像进行局部特征的相似度计算，以全局特征和局部特征相似度高的前景目标图像作为查询结果图像。本发明专利技术能够提高跨镜头目标检索的识别准确度和识别性能。

【技术实现步骤摘要】
基于全局特征和局部特征的跨镜头目标检索系统及方法
本专利技术涉及一种基于全局特征和局部特征的跨镜头目标检索系统及方法，属于图像处理与模式识别

技术介绍
随着视频监控技术的发展，为实现从海量监控视频中检索目标的高效性，跨摄像头目标检索技术应运而生，该技术的显著特性是能够在很短的时间内从海量监控视频网络中检索查询目标，大大缩短查找原始视频的时间，提高效率和识别准确性。现有跨境头目标检索的方法主要有以下两种：一种是从原始图像中提取出多种具有稳定性(在不同时刻特征一致)和区别性(同一时刻或不同时刻特征不一致)的特征，将多种特征进行串联拼接，构成目标图像的特征向量。该方法的问题是，必须保证目标裁剪精准以保证准确的特征提取，而现有技术尚无法实现图像的精准分割，为保证提取的特征具有稳定性和区别性，需要人工经验和反复试验，效率低，而且，由于摄像头型号、精度不同，现场拍摄条件复杂，无法保证从原始图像中提取出具有稳定性和区别性的特征。第二种是利用度量学习的方法对图像的原始特征进行投影，使投影出的特征满足稳定性和区别性。该方法的问题是：需要采集大量不同摄像头对同一目标的原始图像作为样本，采集工作量大，摄像头种类及型号繁多，实现困难，且，需要匹配的两张目标图像拍摄于不同的摄像机，导致图片之间存在各种差异，导致不同摄像头训练得到的矩阵存在差异，仅使用一个度量矩阵不足以将两个不同模态中的特征投影到同一个空间中进行距离计算。
技术实现思路
鉴于上述原因，本专利技术的目的在于提供一种基于全局特征和局部特征的跨镜头目标检索系统及方法，能够提高跨镜头目标检索的识别准确度和识别性能。为实现上述目的，本专利技术采用以下技术方案：一种基于全局特征和局部特征的跨镜头目标检索系统，其建立方法为：S10：从多个摄像头的监控视频中，获取包含活动目标的前景目标图像；S11：从该包含活动目标的前景目标图像中提取具有多个特征维度的全局特征，该全局特征包括颜色特征和纹理特征；S13：将该前景目标图像的全局特征保存于数据库中。所述步骤S11之后还包括：S12：对所述前景目标图像的全局特征进行降维处理，生成前景目标图像的图像目标向量；将该前景目标图像的图像目标向量保存于数据库中。所述步骤S11中，提取全局特征的方法是：S111：对所述包含活动目标的前景目标图像进行预处理，包括对该前景目标图像进行颜色增强处理，然后进行归一化处理，将归一化处理后的前景目标图像从上到下均匀分成N个水平条区域图像；S112：从预处理后的前景目标图像中提取具有多个特征维度的颜色特征；S113：从预处理后的前景目标图像中提取具有多个特征维度的纹理特征。所述步骤S12中，利用主成分分析法，对所述前景目标图像的全局特征进行降维处理。所述步骤S10中，利用混合高斯模型对监控场景进行建模，从监控视频的每一帧图像中提取出若干前景掩膜图像，将前景掩膜图像与其对应的原始帧图像相重叠，生成彩色前景掩膜图像，利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框，彩色前景掩膜图像中由矩形框确定的区域为所述前景目标图像。基于跨镜头目标检索系统实现目标检索的方法，包括步骤：S20：提取查询图像的特征信息，该特征信息包括具有多个特征维度的颜色特征向量和具有多个特征维度的纹理特征向量；S21：根据该查询图像的特征信息，计算该特征信息与系统中前景目标图像的图像目标向量的全局特征相似度，进行初次筛选，得到初次筛选通过的前景目标图像；S22：从初次筛选通过的前景目标图像的图像目标向量、以及查询图像中，分别提取具有特征点的局部特征信息；S23：根据所述局部特征信息，计算查询图像与前景目标图像的图像目标向量的局部特征相似度；S24：加权该全局特征相似度和局部特征相似度，得到查询图像与前景目标图像的总相似度；S25：对总相似度进行排序，从中确定查询结果图像。所述步骤21中，计算全局特征相似度的方法是：S211：定义任意两幅图像关于一种特征向量的相似度计算公式：公式(4)中，定义两个n维特征向量xi和xj，cov(xi，xj)为二者的协方差，σ为方差向量，i、j为特征向量的序号。S212：利用公式(4)分别计算查询图像与系统中任一前景目标图像，于每种特征向量上的特征相似度；S213：利用RankSVM算法，计算查询图像与任一前景目标图像的整体特征相似度；S214：利用设定的初筛阈值，对前景目标图像进行初次筛选。所述步骤S212中，计算以下五种特征相似度：查询图像的RGB颜色直方图与任一前景目标图像的RGB颜色直方图的特征相似度、查询图像的HSV颜色直方图与任一前景目标图像的HSV颜色直方图的特征相似度、查询图像的Lab颜色直方图与任一前景目标图像的Lab颜色直方图的特征相似度、查询图像的颜色相关直方图与任一前景目标图像的颜色相关直方图的特征相似度、查询图像的纹理特征与任一前景目标图像的纹理特征相似度。所述步骤213中，RankSVM算法的计算公式如下：公式(5)中，q表示查询图像，g表示任一前景目标图像，qi表示查询图像的某种特征向量，gi表示前景目标图像的相应的特征向量；wi为同种特征相似度对应的权值，由RankSVM算法训练得出。所述步骤23中，计算局部特征相似度的方法是：如公式(6)，计算查询图像的局部特征与前景目标图像的图像目标向量的局部特征的相似度，式(6)中，X、Y分别表示查询图像的局部特征向量与前景目标图像的局部特征向量，M表示查询图像含有特征点的个数，表示查询图像中的第i个关键点，PY表示前景目标图像中特征点的集合，h(：)表示是否找到匹配点，公式如下：式(7)中，pX表示查询图像中某个特征点，PY表示前景目标图像中特征点的集合，ratio为设定的比率阈值，d1为pX在PY中的最近邻距离，d2为pX在PY中的次近邻距离，sgn(：)为符号函数。本专利技术的优点是：1、对前景目标图像进行预处理，将图像统一到同一种光照强度，然后提取特征，提高了跨镜头目标检索系统的识别性能；2、对前景目标图像的全局特征进行降维处理后保存于数据库，节省了数据库空间，减少了目标检索遍历次数，提高了检索速度；3、通过查询图像与前景目标图像的全局特征相似度计算进行初筛，能够有效提高跨境头目标检索的准确率，并保证目标检索的实时性；4、通过查询图像与初筛通过的前景目标图像的局部特征相似度计算进行二次筛选，能够有效提高跨境头目标检索的准确率。附图说明图1是本专利技术的建立跨境头目标检索系统的方法流程图。图2是利用图1所示目标检索系统进行目标检索的方法流程示意图。图3是多个特征向量相级联得到图像特征向量的过程示意图。具体实施方式以下结合附图和实施例对本专利技术作进一步详细的说明。图1是本专利技术的建立跨境头目标检索系统的方法流程图，如图所示，本专利技术公开的基于全局特征和局部特征的跨镜头目标检索系统，其建立方法为：S10：从多个摄像头的监控视频中，获取包含活动目标的前景目标图像；利用混合高斯模型对监控场景进行建模，从监控视频的每一帧图像中提取出一幅背景图像和若干前景掩膜图像，该前景掩膜图像的描述为：其中，pmask(x，y)为前景掩膜图像在(x，y)点的像素值，pf(x，y)为视频帧在(x，y)处的像素点。该前景掩膜图像为黑白图像，其中本文档来自技高网...

【技术保护点】
基于全局特征和局部特征的跨镜头目标检索系统，其特征在于，其建立方法为：S10：从多个摄像头的监控视频中，获取包含活动目标的前景目标图像；S11：从该包含活动目标的前景目标图像中提取具有多个特征维度的全局特征，该全局特征包括颜色特征和纹理特征；S13：将该前景目标图像的全局特征保存于数据库中。

【技术特征摘要】
1.基于全局特征和局部特征的跨镜头目标检索系统，其特征在于，其建立方法为：S10：从多个摄像头的监控视频中，获取包含活动目标的前景目标图像；S11：从该包含活动目标的前景目标图像中提取具有多个特征维度的全局特征，该全局特征包括颜色特征和纹理特征；S13：将该前景目标图像的全局特征保存于数据库中。2.根据权利要求1所述的基于全局特征和局部特征的跨镜头目标检索系统，其特征在于，所述步骤S11之后还包括：S12：对所述前景目标图像的全局特征进行降维处理，生成前景目标图像的图像目标向量；将该前景目标图像的图像目标向量保存于数据库中。3.根据权利要求1或2所述的基于全局特征和局部特征的跨镜头目标检索系统，其特征在于，所述步骤S11中，提取全局特征的方法是：S111：对所述包含活动目标的前景目标图像进行预处理，包括对该前景目标图像进行颜色增强处理，然后进行归一化处理，将归一化处理后的前景目标图像从上到下均匀分成N个水平条区域图像；S112：从预处理后的前景目标图像中提取具有多个特征维度的颜色特征；S113：从预处理后的前景目标图像中提取具有多个特征维度的纹理特征。4.根据权利要求2所述的基于全局特征和局部特征的跨镜头目标检索系统，其特征在于，所述步骤S12中，利用主成分分析法，对所述前景目标图像的全局特征进行降维处理。5.根据权利要求1所述的基于全局特征和局部特征的跨镜头目标检索系统，其特征在于，所述步骤S10中，利用混合高斯模型对监控场景进行建模，从监控视频的每一帧图像中提取出若干前景掩膜图像，将前景掩膜图像与其对应的原始帧图像相重叠，生成彩色前景掩膜图像，利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框，彩色前景掩膜图像中由矩形框确定的区域为所述前景目标图像。6.基于权利要求1-5中任意一项权利要求所述的跨镜头目标检索系统实现目标检索的方法，其特征在于，包括步骤：S20：提取查询图像的特征信息，该特征信息包括具有多个特征维度的颜色特征向量和具有多个特征维度的纹理特征向量；S21：根据该查询图像的特征信息，计算该特征信息与系统中前景目标图像的图像目标向量的全局特征相似度，进行初次筛选，得到初次筛选通过的前景目标图像；S22：从初次筛选通过的前景目标图像的图像目标向量、以及查询图像中，分别提取具有特征点的局部特征信息；S23：根据所述局部特征信息，计算查询图像与前景目标图像的图像目标向量的局部特征相似度；S24：加权该全局特征相似度和局部特征相似度，得到查询图像与前景目标图像的总相似度；S25：对总相似度进行排序，从中确定查询结果图像。7.根据权利要求6所述的基于全局特征和局部特征的跨镜头目标检索方法，其特征在于，所述...

【专利技术属性】
技术研发人员：付景林，侯玉成，赵德胜，王芊，刘雪峰，丁明锋，张新中，鞠秀芳，王允升，赵志诚，杨永强，李鹏，
申请(专利权)人：北京大唐高鸿数据网络技术有限公司，
类型：发明
国别省市：北京,11