System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于风格注入与跨视角难样本挖掘的行人重识别方法技术_技高网

基于风格注入与跨视角难样本挖掘的行人重识别方法技术

技术编号:40039482 阅读:6 留言:0更新日期:2024-01-16 19:29
本发明专利技术涉及基于风格注入与跨视角难样本挖掘的行人重识别方法,属图像检索领域。包括:获取用于行人重识别模型训练数据集;将数据样本输入特征提取网络,对特征提取网络进行预训练,实现特征提取网络对行人特征提取的判别能力;利用预训练后的特征提取网络对特征进行分组,实现单视角下样本的特征提取;利用特征提取网络提取到的单视角样本特征送入风格注入模块,为当前视角下的样本生成其它视角的特征,并将不同风格相同身份的样本进行拉近,实现跨视角身份一致性特征学习;挖掘跨视角的难样本,并将挖掘出的跨视角难样本进行拉近,实现跨视角下的行人身份匹配。本发明专利技术能实现远距离场景下的行人检索,实现跨城区场景中同一身份行人搜索任务。

【技术实现步骤摘要】

本专利技术涉及基于风格注入与跨视角难样本挖掘的行人重识别方法,属于图像检索。


技术介绍

1、行人重识别是匹配互不重叠摄像头下的行人是否为同一身份的技术。在现有行人重识别方法中,所涉及到的问题大都是近距离跨相机视角的行人匹配问题。由于近距离内跨相机视角下出现相同身份行人的概率较高,这为降低标签噪声起到了积极作用。然而,现实中可能需要跨城区匹配行人的身份,这就涉及到远距离跨摄像头行人身份匹配的问题。在这种场景下,相机间极有可能不会出现相同身份的行人。如果将已有的行人重识别方法直接部署到该场景下,将会因预测到的伪标签全为标签噪声而失去原有性能。针对这一问题,提出了一种基于风格注入与跨视角难样本挖掘的行人重识别方法。


技术实现思路

1、为了解决现有方法的不足,本专利技术针对跨城区行人重识别面临的挑战,在非成对样本监督下,提出了基于风格注入与跨视角难样本挖掘的行人重识别方法,本专利技术克服了已有方法对行人判别性特征提取的不准确性,解决了行人身份信息和相机风格信息混叠对性能的影响,能有效识别跨相机同一身份的行人,比现有方法性能更好。

2、本专利技术的技术方案是:基于风格注入与跨视角难样本挖掘的行人重识别方法,所述方法的具体步骤如下:

3、步骤1:获取用于行人重识别模型训练数据集;

4、步骤2:将数据样本输入特征提取网络中,对特征提取网络进行预训练,实现特征提取网络对行人特征提取的判别能力;

5、步骤3:利用预训练后的特征提取网络对特征进行分组,实现单视角下样本的特征提取,得到单视角的特征,表示为;

6、步骤4:利用特征提取网络提取到的单视角样本特征送入风格注入模块,为当前视角下的样本生成其它视角的特征,即生成风格注入后的特征,并将不同风格相同身份的样本进行拉近,即对风格注入后的特征进行分布对齐,实现跨视角身份一致性特征学习;

7、步骤5:挖掘跨视角的难样本,并将挖掘出的跨视角难样本进行拉近,实现跨视角下的行人身份匹配。

8、进一步地,所述步骤1中数据样本图像大小均为256×128大小,首先对采集的数据样本图像进行预处理,预处理的方法具体为,水平翻转、填充、随机裁剪和随机擦除。

9、进一步地,具体操作如下:

10、给定输入图像,其中,分别表示高、宽、通道数;首先将图片分为n 个大小为16×16的局部块p,,表示n个局部特征;每个局部块的维度为768,此外,增加一个额外的随机初始化的分类头和风格头,将输出的分类头视为类别特征,风格头视为风格特征;接着,将局部块、分类头和风格头一起送入线性映射层,将图片映射为向量的形式,线性映射层的输出为<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>z</mi><mn>0</mn></msub><mi>=</mi><mi>[</mi><msub><mi>x</mi><mi>class</mi></msub><mi>;</mi><msub><mi>x</mi><mi>style</mi></msub><mi>;</mi><mi>f</mi><mi>(</mi><msubsup><mi>x</mi><mi>p</mi><mn>1</mn></msubsup><mi>);</mi><mi>f</mi><mi>(</mi><msubsup><mi>x</mi><mi>p</mi><mn>2</mn></msubsup><mi>);</mi><mi>⋯</mi><mi>;</mi><mi>f</mi><mi>(</mi><msubsup><mi>x</mi><mi>p</mi><mi>n</mi></msubsup><mi>)]</mi><mo>+</mo><msub><mi>p</mi><mi>pos</mi></msub></mstyle>,其中,表示位置嵌入,表示将每个局部块进行线性映射为d维向量,表示类别特征,表示风格特征;继而将送入特征提取网络进行特征提取和关系挖掘;特征提取网络的输出表示为:<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>z</mi><mi>l</mi></msub><mi>=</mi><mi>[</mi><msub><mi>x</mi><mi>class</mi></msub><mi>;</mi><msub><mi>x</mi><mi>style</mi></msub><mi>;</mi><msubsup><mi>x</mi><mi>p</mi><mn>1</mn></msubsup><mi>;</mi><msubsup><mi>x</mi><mi>p</mi><mn>2</mn></msubsup><mi>;</mi><mi>⋯</mi><mi>;</mi><msubsup><mi>x</mi><mi>p</mi><mi>n</mi></msubsup><mi>]</m本文档来自技高网...

【技术保护点】

1.基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于:所述方法的具体步骤如下:

2.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤1中数据样本图像大小均为256×128大小,首先对采集的数据样本图像进行预处理,预处理的方法具体为:水平翻转、填充、随机裁剪和随机擦除。

3.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤2中,具体操作如下:

4.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤2中,将数据样本输入特征提取网络进行预训练,通过有监督的训练使得特征提取网络具备特征提取能力与分类能力,此过程实现如下:

5.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤3中,单视角下样本的特征提取具体操作如下:

6.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤4具体操作如下:

7.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤4中,风格注入模块将不同视角下的风格特征注入到当前样本中,首先获得第层网络的输出,此过程实现如下:

8.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤4中,对风格注入后的特征进行分布对齐,风格注入后的特征用表示,具体操作如下;

9.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤5中,利用特征提取网络得到的特征进行跨相机的难样本挖掘,具体操作如下:

...

【技术特征摘要】

1.基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于:所述方法的具体步骤如下:

2.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤1中数据样本图像大小均为256×128大小,首先对采集的数据样本图像进行预处理,预处理的方法具体为:水平翻转、填充、随机裁剪和随机擦除。

3.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤2中,具体操作如下:

4.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重识别方法,其特征在于,所述步骤2中,将数据样本输入特征提取网络进行预训练,通过有监督的训练使得特征提取网络具备特征提取能力与分类能力,此过程实现如下:

5.根据权利要求1所述的基于风格注入与跨视角难样本挖掘的行人重...

【专利技术属性】
技术研发人员:毛彦嵋林旭陶大鹏李华锋杨延华杨二昆
申请(专利权)人:云南联合视觉科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1