一种基于语义区域表达的行人重识别方法技术

本发明专利技术公开了一种基于语义区域表达的行人重识别方法，包括：给定一幅图像，将图像中行人不同部件的位置检测出来，得到包含不同部件区域的集合，根据行人所具备的高层语义信息，使用尺度不变局部模式描述符以及颜色直方图描述符，提取每一个部件区域内的特征并将其进行级联，再使用主成分分析对原始特征进行降维，获取部件区域特征的集合；根据部件区域特征的集合、结合图像的全局特征和局部特征获得对行人更完备的特征描述符；利用三元组损失训练度量函数，训练得到的度量矩阵可以将原始的特征向量映射到新的特征空间中，提高样本间的可分性；根据学习得到的度量矩阵计算行人图像特征之间的相似性，从而实现对行人的重识别。本发明专利技术不仅避免了图像背景的干扰，还实现了对应区域之间相似性的比较，有效提高特征的鲁棒性和可靠性。

【技术实现步骤摘要】
一种基于语义区域表达的行人重识别方法
本专利技术涉及图像处理、计算机视觉
，尤其涉及一种基于语义区域表达的行人重识别方法。
技术介绍
随着智慧城市和公共安全需求的日益增长，智能视频监控系统得到了广泛的关注和研究，并已应用到安防、工业生产等诸多领域，在日常生活中扮演着重要的角色。在智能视频监控领域中主要关注的对象就是行人，最基本的任务就是在大范围的视频监控网络中对目标进行长期且稳定的跟踪。但是出于隐私以及维护成本等方面的考虑，摄像头监控网络很难覆盖整个区域，从而出现监控盲区，当目标经过监控盲区时，就无法对目标进行连续的跟踪，因此就会出现跟踪目标在一个摄像头的监控视野中消失，之后在其他摄像头中出现的情况。而把在一个监控摄像视野中丢失的目标在其他监控视野中重新找回的过程就是行人重识别技术。该技术通过解决非重叠摄像头视域的目标交接问题，从而将不同视域中的轨迹连接起来，实现在整个监控网络下对行人目标长期且稳定的跟踪。此外，行人重识别可以实现行人的检索功能，从历史录像中快速查找目标行人，代替人力排查的方式，高效快速的筛选出最有可能包含目标嫌疑人的视频图像。因此该技术具有广阔的应用前景和研究价值。相比于其他已经取得高精度的生物识别系统，例如人脸识别来说，行人重识别的研究面临光照变化、视角变化、背景干扰、遮挡、图像质量低等诸多因素的干扰。例如，1)监控视频的画面较为模糊，另外也很难保证人脸是正对摄像机拍摄的，所以无法在监控视频中使用人脸识别技术，只能利用人体的外观信息来进行识别；2)由于视角、光照等因素的影响，同一个行人在不同场景下的外表会存在较大的差异，而不同行人的外表则有可能比较相似；3)遮挡与背景干扰等因素会导致目标身体的一部分不可见，仅靠可见部分难以对目标进行区分。这些因素都对行人重识别技术带来了很大的挑战，因此如何提取到可靠的特征表示，使其对这些因素具有较好的鲁棒性是解决该问题的一个关键步骤。结合图像中有用的语义区域表达特征，本专利技术提出了一种有效的特征提取方式，用于提高行人重识别算法的性能。Liao等人将颜色直方图特征、尺寸不变纹理特征结合起来，用于提高特征的鲁棒性。Su等人利用高层的属性信息不随视角变化的特性来描述行人，以提高算法的准确度。Zhao等人在目标匹配过程中引入了显著性信息，Cheng等人提出了一个多流的卷积神经网络模型，同时学习目标的全局和局部信息。Wu等人将卷积神经网络的全连接层特征与传统的颜色特征相结合，以提高全连接层特征的辨析力。专利技术人在实现本专利技术的过程中，发现现有技术主要存在以下缺点和不足：现有技术的方法往往根据图像的全局特征进行目标相似性的比对，但未考虑全局特征中会包含背景信息等诸多干扰因素；现有方法通常计算图像对之间相同位置的相似性，再进行相似性的加和，没有考虑两幅图像中行人不对齐的问题。
技术实现思路
本专利技术提供了一种基于语义区域表达的行人重识别方法，本专利技术通过深入挖掘图像中具有语义信息的区域，设计了一种鲁棒的基于语义区域表达的行人重识别算法，用于提高算法检索的精度，详见下文描述：一种基于语义区域表达的行人重识别方法，所述方法包括以下步骤：给定一幅图像，将图像中行人不同部件的位置检测出来，得到包含不同部件区域的集合：根据行人所具备的高层语义信息，使用尺度不变局部模式描述符以及颜色直方图描述符，提取每一个部件区域内的特征并将其进行级联，再使用主成分分析对原始特征进行降维，获取部件区域特征的集合；根据部件区域特征的集合、结合图像的全局特征和局部特征获得对行人更完备的特征描述符；利用三元组损失训练度量函数，训练得到的度量矩阵可以将原始的特征向量映射到新的特征空间中，提高样本间的可分性；根据学习得到的度量矩阵计算行人图像特征之间的相似性，从而实现对行人的重识别。进一步地，所述部件区域特征的集合具体为：FP＝{fP，1，...，fP，i，...，fP，M}其中，FP表示的是部件区域特征的集合，fP，i表示的是第i个分割子区域的特征。进一步地，所述特征描述符具体为：F＝{FP，FG，FL}其中，FP为部件区域特征；FG为全局特征；FL为局部区域特征。所述相似度具体为：其中，Fa，Fb分别表示在不同监控视野下的图像特征描述符，<·，·>表示的是内积运算，表示的是图像特征间的马氏距离，表示的是图像特征间的双线性距离，WM和WB是度量矩阵。本专利技术提供的技术方案的有益效果是：1、本专利技术根据行人身体所具备的语义信息，分别提取图像前景中不同部件内的特征，不仅避免了图像背景的干扰，同时还实现了对应区域之间相似性的比较，从而有效提高特征的鲁棒性和可靠性。2、本专利技术除了利用更关注局部细节的部件区域信息，还利用了能够在较大尺度上描述图像的全局和局部区域特征。三种特征从不同尺度层次上描述图片，将其结合从而可以得到对图像描述更加全面的特征描述符。3、本专利技术利用三元组损失进行度量学习，提高了样本特征在新的特征空间中的可分度，有利于行人重识别算法性能的提高。附图说明图1为一种基于语义区域表达的行人重识别方法的流程图；图2为本专利技术与其他算法的对比结果示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1本专利技术实施例提出了一种基于语义区域表达的行人重识别方法，参见图1，该方法包括以下步骤：101：根据行人所具备的高层语义信息，提取图像前景中不同身体部件的特征，并结合了图像的全局特征和局部特征获得对行人更完备的特征描述；102：利用三元组损失训练度量函数，使相同行人的特征在新的映射空间中距离尽量小，不同新人的特征之间距离尽量大。本方法主要包括：语义区域提取，语义区域内的图像特征提取，图像的全局和局部区域特征提取，图像样本间相似度的计算，利用三元损失进行度量学习的训练五个部分。综上所述，本专利技术实施例通过上述步骤深入挖掘图像中具有语义信息的区域，提高了算法检索的精度。实施例2下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：一、语义区域内的图像特征提取行人重识别算法首先利用行人检测算法将监控视频中的行人检测出来，再根据图像间的相似性寻找正确匹配的目标。由于行人检测算法得到的矩形框中除了行人之外，还包含一定的背景信息，如果利用图像的全局特征进行匹配，该特征会包含很多背景信息的干扰，从而对匹配的精度带来较大的影响。此外由于视角和行人姿势变换等因素的存在，图像之间行人的位置是不对齐的，有可能出现一幅图像的某一区域属于行人的上半身，而在另一幅图像的相同区域属于另一个行人的下半身，从而出现错误的比较。因此，本专利技术实施例根据行人的语义信息，提取图像中行人不同身体部件区域内的特征，在避免图像中背景信息干扰的同时，还实现了图像间对应区域相似性的比较，从而有效提高特征的鲁棒性。给定一幅图像，首先对其中行人进行部件分割，将图像中行人不同部件的位置检测出来，从而可以得到包含不同部件区域的集合：RP＝{rP，1，...，rP，i，...，rP，M}其中，RP表示的是部件区域的集合，rP，i表示的是任一一个部件区域，每一种类型的部件区域表示为一个r，下标P表示的是部件区域，M表示的是共有M个部件区域，例如：当M等于4时，部件区域的集本文档来自技高网...

【技术保护点】
1.一种基于语义区域表达的行人重识别方法，其特征在于，所述方法包括以下步骤：给定一幅图像，将图像中行人不同部件的位置检测出来，得到包含不同部件区域的集合：根据行人所具备的高层语义信息，使用尺度不变局部模式描述符以及颜色直方图描述符，提取每一个部件区域内的特征并将其进行级联，再使用主成分分析对原始特征进行降维，获取部件区域特征的集合；根据部件区域特征的集合、结合图像的全局特征和局部特征获得对行人更完备的特征描述符；利用三元组损失训练度量函数，训练得到的度量矩阵可以将原始的特征向量映射到新的特征空间中，提高样本间的可分性；根据学习得到的度量矩阵计算行人图像特征之间的相似性，从而实现对行人的重识别。

【技术特征摘要】
1.一种基于语义区域表达的行人重识别方法，其特征在于，所述方法包括以下步骤：给定一幅图像，将图像中行人不同部件的位置检测出来，得到包含不同部件区域的集合：根据行人所具备的高层语义信息，使用尺度不变局部模式描述符以及颜色直方图描述符，提取每一个部件区域内的特征并将其进行级联，再使用主成分分析对原始特征进行降维，获取部件区域特征的集合；根据部件区域特征的集合、结合图像的全局特征和局部特征获得对行人更完备的特征描述符；利用三元组损失训练度量函数，训练得到的度量矩阵可以将原始的特征向量映射到新的特征空间中，提高样本间的可分性；根据学习得到的度量矩阵计算行人图像特征之间的相似性，从而实现对行人的重识别。2.根据权利要求1所述的一种基于语义区域表达的行人重识...

【专利技术属性】
技术研发人员：雷建军，牛力杰，郑泽勋，彭勃，罗晓维，郭琰，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12