一种多模态行人再辨识技术制造技术

本申请公开了一种多模态行人再辨识技术，包括以下步骤：步骤1、从第一摄像机和第二摄像机各自拍摄的第一图像和第二图像中分别截取包含目标的前景图像，其中，第二图像对应于已知目标；步骤2、从所截取的前景图像中分别提取颜色特征和纹理特征，并将颜色特征和纹理特征级联，形成图像特征；步骤3、将所述图像特征输入到Hash投影模型，计算第一图像和第二图像中的目标的相似度；步骤4、如果所计算的相似度大于预定阈值，则将第一图像的目标判定为第二图像所对应的已知目标。

【技术实现步骤摘要】
【专利摘要】本申请公开了一种多模态行人再辨识技术，包括以下步骤：步骤1、从第一摄像机和第二摄像机各自拍摄的第一图像和第二图像中分别截取包含目标的前景图像，其中，第二图像对应于已知目标；步骤2、从所截取的前景图像中分别提取颜色特征和纹理特征，并将颜色特征和纹理特征级联，形成图像特征；步骤3、将所述图像特征输入到Hash投影模型，计算第一图像和第二图像中的目标的相似度；步骤4、如果所计算的相似度大于预定阈值，则将第一图像的目标判定为第二图像所对应的已知目标。【专利说明】一种多模态行人再辨识技术
本专利技术属于图像模式识别领域，尤其涉及基于锚节点和多模态Hash投影的行人再辨识技术。
技术介绍
随着计算机视觉技术的出现以及计算机计算能力的迅速增长，新型监控视频系统得到了迅猛的发展。同时随着视频监控应用的多样化，在监控大范围场景时，单个摄像机因为视场有限而难以满足监控要求，因此，使用多个摄像机监控大范围场景成为视频监控的重要发展趋势。当多个摄像机的视场之间存在重叠，可以使用水平摄像机校准并结合目标的时空信息。但是当多个摄像机的视场之间不存在重叠，即行人运动在摄像机视场中存在“时间盲区域”和“空间盲区域”时，为保证行人跟踪的连续性，需要对不同视场中的目标进行身份一致性判定。在大范围视频监控系统中，不同摄像机视场下不同时间内行人身份的一致性判定或者同一摄像机视场不同 时间内行人身份的一致性判定成为需要解决的重要问题。我们将上述问题称为监控视频中的行人再辨识问题。当前行人再辨识技术将行人的衣着外观作为判定依据，并假定行人在监控过程中衣着没有发生变化，再辨识技术通过外观相似性匹配进行行人身份的识别。目前，行人再辨识主要有以下几类技术方案:技术方案(I)该方案试图从原始图像中提取出比较稳定(具有稳定性)同时又具有区分性的特征，稳定性是指同一个人在不同时刻的该特征应该是一样的(稳定的)，区分性是指不同的人(在不同时刻或同一时刻)的该特征应该是不一样的。在这种技术方案中，从原始图像出发，设计出符合上述要求的特征是关键的问题。其中典型的例子是Symmetry DrivenAccumulation of Local Feature【参考文献I】(局部特征对称累积方法)，此方法将行人在图像中的身体检测出来，然后将身体从垂直方向分成头部、躯干和下肢，水平方向分为左右半身。去除头部之后，整个身体分成了左躯干，右躯干，左腿，右腿四个部分。然后针对每一部分我们提取“HSV颜色直方图”、“最大稳定颜色区域(MSCR)”和“重复出现图像块”作为图像特征。最终将所有块的上述3种图像特征向量进行串联拼接，构成整个身体的特征向量。这种特征提取方法结合了空间信息。技术方案(I)的缺点第一:为了保证所提取特征具有稳定性和区分性，特征的设计需要人工经验和反复的尝试。第二:在实际的行人再辨识问题中，不同的摄像机的参数配置不同，摄像机的视场的光照条件不同，同一个人在不同的视场下的拍摄角度不同，以及可能受到的遮挡干扰也不相同。在这种复杂的拍摄条件下，很难设计出一种上述具有稳定性且区分性的特征。技术方案(2)该技术方案不再将重点放在图像原始特征的设计上，而是借助度量学习的方法对图像原始特征进行投影，使投影出来的特征满足稳定性和区分性。假设两张图片的原始特征分别表示为X e #和y e Rd，两个原始特征的直接距离(欧氏距离)为【权利要求】1.一种多模态目标再辨识方法，包括以下步骤: 步骤1、从第一摄像机和第二摄像机各自拍摄的第一图像和第二图像中分别截取包含目标的前景图像，其中，第二图像对应于已知目标； 步骤2、从所截取的前景图像中分别提取颜色特征和纹理特征，并将颜色特征和纹理特征级联，形成图像特征； 步骤3、将所述图像特征输入到Hash投影模型，计算第一图像和第二图像中的目标的相似度； 步骤4、如果所计算的相似度大于预定阈值，则将第一图像的目标判定为第二图像所对应的已知目标。2.根据权利要求1所述的目标再辨识方法，其中，所述包含目标的前景图像由目标的外接矩形框限定。3.根据权利要求2所述的目标再辨识方法，其中，所述颜色特征包括与RGB、HSV和YCbCr这9个通道对应的9个颜色直方图，其表示所述前景图像中的每个像素在每个通道下的数值分布， 其中，每个通道下的数值范围被量化为8值，从而形成9个8维颜色直方图，作为所述颜色特征， 其中，使用局部二值模式，对前景图像进行计算，得到59维的纹理直方图，作为所述纹理特征。4.根据权利要求3所述的目标再辨识方法，其中，在所述步骤2之后，还包括: 步骤21、使用锚节点投影，对所述颜色特征和所述纹理特征进行降维，其公式如下: 5.根据权利要求4所述的目标再辨识方法，其中，所述步骤3包括: 步骤31、通过以下公式，计算第一和第二摄像机各自的目标的相似度s U，y): 6.根据权利要求4所述的目标再辨识方法，其中，所述步骤3包括: 步骤31、通过以下公式，计算第一和第二摄像机各自的目标的相似度s U，y): 7.根据权利要求5或6所述的目标再辨识方法，其中，所述第二摄像机是一个或多个第二摄像机，所述第二图像是所述第二摄像机各自拍摄的多个第二图像，所述多个第二图像中的每个对应于不同的目标， 其中，在步骤3中，计算第一图像和第二图像中的目标的相似度包括:分别计算第一图像中的目标和每个第二图像中的目标的相似度，得到多个相似度， 所述步骤4包括: 步骤41、如果所述多个相似度中最大的相似度大于所述预定阈值，则将所述最大的相似度对应的第二图像所对应的已知目标确定为第一图像所对应的目标。8.根据权利要求6所述的目标再辨识方法，其中，所述Hash投影模型是通过如下步骤训练得到的: 步骤51、通过以下公式，训练得到{巧#}=: 【文档编号】G06K9/62GK103942563SQ201410125981【公开日】2014年7月23日 申请日期:2014年3月31日 优先权日:2014年3月31日 【专利技术者】赵志诚, 刘凯, 苏菲, 赵衍运, 庄伯金 申请人:北京邮电大学本文档来自技高网...

【技术保护点】
一种多模态目标再辨识方法，包括以下步骤：步骤1、从第一摄像机和第二摄像机各自拍摄的第一图像和第二图像中分别截取包含目标的前景图像，其中，第二图像对应于已知目标；步骤2、从所截取的前景图像中分别提取颜色特征和纹理特征，并将颜色特征和纹理特征级联，形成图像特征；步骤3、将所述图像特征输入到Hash投影模型，计算第一图像和第二图像中的目标的相似度；步骤4、如果所计算的相似度大于预定阈值，则将第一图像的目标判定为第二图像所对应的已知目标。

【技术特征摘要】

【专利技术属性】
技术研发人员：赵志诚，刘凯，苏菲，赵衍运，庄伯金，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11