基于协同尺度学习的行人重识别方法技术

本发明专利技术公开了一种基于协同尺度学习的行人重识别方法，属于监控视频检索技术领域。本发明专利技术首先根据已标注训练样本集L中图像的颜色和纹理特征，进行尺度学习得到相应马氏距离中的协方差矩阵Mc和Mt；随机选择查询对象使用Mc和Mt进行马氏距离度量，得到相应排序结果，从中取得正样本和负样本生成新的已标注训练样本集L，更新Mc和Mt，直到未标注训练样本集U为空，得到最终的标注样本集L*，并融合颜色和纹理特征得到Mf，就可以使用基于Mf的马氏距离函数进行行人重识别。本发明专利技术在半监督框架下研究基于尺度学习的行人重识别技术，通过未标注样本辅助标注样本进行尺度学习，符合实际视频侦查应用标注训练样本难以获取的要求，能有效提升少标注样本下的重识别性能。

【技术实现步骤摘要】
基于协同尺度学习的行人重识别方法
本专利技术属于监控视频检索
，尤其涉及一种基于协同尺度学习的行人重识别方法。
技术介绍
在实际视频侦查中，侦查员主要根据特定行人对象在多摄像头下的活动画面和轨迹来快速排查、追踪和锁定嫌疑目标。传统基于人工浏览的视频侦查模式需要耗费大量的人力和时间、效率低下，极易贻误破案时机。行人重识别是一种针对特定行人对象的监控视频检索技术，即在照射区域无重叠的多摄像头下匹配同一行人对象。便于视频侦查员快速、准确地发现嫌疑目标活动画面和轨迹，对公安部门提高破案率、维护人民群众生命财产安全具有重要意义。行人重识别技术主要包含两个步骤：特征提取和距离度量。在距离度量研究中，传统方法一般采用标准的距离函数度量行人间的相似性，如欧式距离、巴氏距离等。近年来，研究者研究基于尺度学习的行人重识别方法。通过训练样本学习一个合适距离函数，以便进行更准确的相似性度量。由于考虑了样本的特性，该方法常常比标准距离函数更加准确。例如文献1找到一个超平面，使得邻域内的同类点之间紧缩，不同类的点的间隔尽可能大（参见：KilianQ.Weinberger,JohnBlitzer,andLawrenceK.Saul,“Distancemetriclearningforlargemarginnearestneighborclassification”,JournalofMachineLearningResearch(JMLR),Vol.10,PP.207–244,2009.）。为了保证学习得到的距离尺度的鲁棒性，现有基于尺度学习的方法一般需要大量的训练样本，例如使用一半数据作为训练样本、另一半作为测试样本。但是实际视频侦查应用的时效性要求很高，一旦案件发生，侦查人员往往需要在最短的时间内调回大量的视频监控数据进行嫌疑目标的分析研判。而人工标注的效率非常低下，标注训练样本难以充分获取，导致现有方法性能急剧下降。换个角度看，在实际视频侦查工作中，未标注样本数量远多于已标注样本，并且容易获取。通过未标注样本辅助已标注样本进行距离学习，可以在保证学习性能的前提下尽量减少对于训练样本数量的依赖。
技术实现思路
针对现有技术存在的不足，本专利技术提供了一种基于协同尺度学习的行人重识别方法，该方法在少量标注训练样本条件下，可以提升多摄像头下同一行人匹配的准确性。本专利技术提出了一种基于协同尺度学习的行人重识别方法，其特征在于：设给定长度为l的已标注训练样本集已标注行人训练样本xi,a和xi,b分别是第i个标注行人在摄像头a和b下的图像，构成行人图像对，yi是第i个标注行人的标识，i的取值为1,2,…,l；长度为u的未标注行人训练样本集图像xj是来源于摄像头a或b的第j个未标注行人训练样本，j的取值为1,2,…,u；包括执行以下步骤，步骤一，针对已标注训练样本集L，根据已标注训练样本集L中图像的颜色特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵Mc；根据已标注训练样本集L中图像的纹理特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵Mt；步骤二，从未标注训练样本集U中随机选择m个摄像头a下的未标注行人训练样本x'j,a作为查询对象、n个摄像头b下的未标注行人训练样本x'j,b作为待查对象；针对每个查询对象x'j,a，使用Mc进行马氏距离度量，按计算结果从高到低得到各待查对象的排序结果在使用Mt进行马氏距离度量，按计算结果从高到低得到各待查对象的排序结果其中，m和n为预设参数；步骤三，针对每个查询对象x'j,a，选取和中前P个结果中相同的结果得到查询对象x'j,a的正样本，取和中后N个结果中相同的结果得到查询对象x'j,a的负样本，将所得正、负样本及查询对象x'j,a加入当前的已标注训练样本集L中并从未标注训练样本集U中去掉，生成新的已标注训练样本集L，返回步骤一更新Mc和Mt，直到未标注训练样本集U为空，得到最终的已标注训练样本集L，记为标注样本集L*；其中，P和N为预设参数；步骤四，对标注样本集L*中图像融合颜色特征和纹理特征并进行尺度学习，得到相应马氏距离中的协方差矩阵Mf，最后基于Mf进行测试。而且，所述马氏距离的函数定义如下，给定两个图像的特征向量Oa和Ob，两者的距离D(Oa,Ob)定义为，D(Oa,Ob)＝(Oa-Ob)TM(Oa-Ob)(1)其中，M是一个半定矩阵，(Oa-Ob)T是(Oa-Ob)的转置。而且，通过极小化同一行人距离与不同行人距离的差值，求解M，求解时使用经典的随机梯度下降进行算法进行尺度学习得到结果。与现有基于尺度学习的行人重识别技术相比，本专利技术具有以下优点：1）本专利技术在半监督框架下研究基于尺度学习的行人重识别技术，通过未标注样本辅助标注样本进行尺度学习，符合实际视频侦查应用标注训练样本难以获取的要求；2）提出一种新的半监督尺度学习方法，通过引入协同训练方法进行尺度学习，能有效提升少标注样本下的重识别性能。附图说明图1为本专利技术实施例的流程图。具体实施方式本专利技术技术方案可采用计算机软件实现自动运行流程。以下结合附图和实施例详细说明本专利技术技术方案。实施例采用MATLAB7作为仿真实验平台，在常用的行人检索数据集VIPeR上进行测试。VIPeR数据集有两个摄像头下的632个行人图像对，两个摄像头之间存在明显的视角、光照等差异。如图1，实施例技术方案的流程如下：给定长度为l的标注行人样本对集合即已标注训练样本集，已标注行人训练样本xi,a和xi,b分别是第i个标注行人在摄像头a和b下的图像，构成行人图像对，yi是该行人的标识，i的取值为1,2,…,l。长度为u的未标注行人训练样本集图像xj是来源于摄像头a或b的第j个未标注行人训练样本，j的取值为1,2,…,u。u为偶数。VIPeR数据集中两摄像头下共有632个行人图像对，随机选其中316对提供训练样本，316对提供测试样本。训练样本中已标注样本集为L，其长度l为50；未标注样本集为U，因为未标注行人训练样本并非以行人图像对为单位计算长度，而是以图像为单位，其长度u为266×2。测试样本集T中的316×2张图像的配对，是本流程的求取目标。步骤一：针对已标注训练样本集L，通过学习其颜色和纹理特征得到基于颜色特征的投影矩阵Mc、基于纹理特征的投影矩阵Mt。实施例针对已标注训练样本集L，提取已标注训练样本集L中每张图像的颜色特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵Mc。同理，提取已标注训练样本集L中每张图像的纹理特征，并通过尺度学习得到相应马氏距离中的协方差矩阵，记为投影矩阵Mt。以下提供实施例中本步骤的具体实现说明：a.颜色及纹理特征提取行人图像由8×16像素的窗口以8×8的步长进行分块，提取各块上的颜色特征和纹理特征。颜色特征和纹理特征的提取方式，可由本领域技术人员自行设定，例如：颜色特征可使用RGB颜色特征，每种特征表示成24维。最后将得到的每个块的RGB颜色特征进行连接，就得到了整幅图的颜色特征。纹理特征可使用LBP（局部二值模式），表示为59维。纹理特征使用现有的LBP方法，对于块中的每个像素，将其环形邻域内的8个点进行顺时针比较，若中心像素值比该邻点大，则将邻点赋值为1，否则赋值为0，这样本文档来自技高网...

【技术保护点】
一种基于协同尺度学习的行人重识别方法，其特征在于：设给定长度为l的已标注训练样本集已标注行人训练样本xi,a和xi,b分别是第i个标注行人在摄像头a和b下的图像，构成行人图像对，yi是第i个标注行人的标识，i的取值为1,2,…,l；长度为u的未标注行人训练样本集图像xj是来源于摄像头a或b的第j个未标注行人训练样本，j的取值为1,2,…,u；包括执行以下步骤，步骤一，针对已标注训练样本集L，根据已标注训练样本集L中图像的颜色特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵Mc；根据已标注训练样本集L中图像的纹理特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵Mt；步骤二，从未标注训练样本集U中随机选择m个摄像头a下的未标注行人训练样本x'j,a作为查询对象、n个摄像头b下的未标注行人训练样本x'j,b作为待查对象；针对每个查询对象x'j,a，使用Mc进行马氏距离度量，按计算结果从高到低得到各待查对象的排序结果在使用Mt进行马氏距离度量，按计算结果从高到低得到各待查对象的排序结果其中，m和n为预设参数；步骤三，针对每个查询对象x'j,a，选取和中前P个结果中相同的结果得到查询对象x'j,a的正样本，取和中后N个结果中相同的结果得到查询对象x'j,a的负样本，将所得正、负样本及查询对象x'j,a加入当前的已标注训练样本集L中并从未标注训练样本集U中去掉，生成新的已标注训练样本集L，返回步骤一更新Mc和Mt，直到未标注训练样本集U为空，得到最终的已标注训练样本集L，记为标注样本集L*；其中，P和N为预设参数；步骤四，对标注样本集L*中图像融合颜色特征和纹理特征并进行尺度学习，得到相应马氏距离中的协方差矩阵Mf，最后基于Mf进行测试。...

【技术特征摘要】
1.一种基于协同尺度学习的行人重识别方法，其特征在于：设给定长度为l的已标注训练样本集已标注行人训练样本xi,a和xi,b分别是第i个标注行人在摄像头a和b下的图像，构成行人图像对，yi是第i个标注行人的标识，i的取值为1,2,…,l；长度为u的未标注行人训练样本集图像xj是来源于摄像头a或b的第j个未标注行人训练样本，j的取值为1,2,…,u；包括执行以下步骤，步骤一，针对已标注训练样本集L，根据已标注训练样本集L中图像的颜色特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵Mc；根据已标注训练样本集L中图像的纹理特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵Mt；步骤二，从未标注训练样本集U中随机选择m个摄像头a下的未标注行人训练样本x'j,a作为查询对象、n个摄像头b下的未标注行人训练样本x'j,b作为待查对象；针对每个查询对象x'j,a，使用Mc对每个待查对象进行马氏距离度量，按计算结果从高到低得到各待查对象的排序结果再使用Mt对每个待查对象进行马氏距离度量，按计算结果从高到低得到各待查对象的排序结果其中，m和n为预设参数；步骤三，...

【专利技术属性】
技术研发人员：胡瑞敏，冷清明，梁超，叶茫，王正，焦翠娜，王亦民，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42