一种基于自学习模型的自适应特征融合行人重识别方法技术

本发明专利技术公开了一种基于自学习模型的自适应特征融合行人重识别方法，属于行人重识别领域。本发明专利技术提供一种基于自学习模型的自适应特征融合行人重识别方法，针对AST数据集中每个视频行为轨迹所对应的全局特征和局部特征权重分配不同从而导致神经网络模型训练过程存在不稳定性的可能情况出发，提出了固定权重配比的假设。通过自学习模型下的自适应特征融合方法得到了规定定义域[0,1.0]内存在的最优权重，即在这个具体的权重占比下，局部与全局特征融合对于最终的行人重识别任务是最有益的。本发明专利技术解决不同条件下行人姿态、肢体分布规律的情况，避免了仅靠全局特征无法有效分辨不同行人地情况。行人地情况。行人地情况。

【技术实现步骤摘要】
一种基于自学习模型的自适应特征融合行人重识别方法


[0001]本专利技术属于行人重识别领域，尤其是一种基于自学习模型的自适应特征融合行人重识别方法。

技术介绍

[0002]行人重识别的难度在行人换装和时间跨度长、空间变换大的背景条件下提高了很多。由于跨时空数据集本身存在的数据可能存在中远距离等不同人物躯干分布的因素，行人躯体在图像和视频帧轨迹上分布并没有均匀性和规律性，所以通过卷积等常规的特征提取手段无法提取整体图像的全局特征进而通过距离计算等度量手段来获取精准和高效的行人识别方法模型。另外，目标人物的外貌特征和行为特征存在较为复杂的变化，如肢体的行为动作可能导致的躯干空间分布不同，时间不同导致的行人衣服颜色装扮不同等不可抗因素导致的纯图像特征来判断行人ID的局限性，因此具体找到较为关键的能够鉴别人物ID的因素是最为重要的。
[0003]从基于视频的行人重识别的角度出发，在基于跨时空换装数据集上的当前优秀算法的应用并不理想，所以设计特征融合策略来提高当前算法模型的性能是必要的，而特征融合方法显然是一个比较有效的方式——通过将全局特征和局部特征相结合应用于基于视频的行人重识别中的视频轨迹，能够在一定程度上提高了算法的整体性能。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术的缺点，提供一种基于自学习模型的自适应特征融合行人重识别方法。
[0005]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]一种基于自学习模型的自适应特征融合行人重识别方法，包括以下步骤：
[0007](1)构建自适应的权重学习模型AFP；
[0008](2)将原始视频输入至自适应的权重学习模型AFP内，对原始视频进行局部检测和分割，得到局部图像帧组成的局部部分视频；利用TCL
‑
Net分别对原始视频与局部图像帧组成的局部部分视频进行特征提取，得到原始视频特征和局部部分视频特征；
[0009](3)通过初始化带入两个可学习性质的参数，将原始视频特征和局部部分视频特征与分别引入的参数相乘后相加，获得新的输出和特征，通过交叉熵损失和困难三元损失共同计算最终的损失函数；
[0010](4)进行训练和测试，两个可学习性质的参数跟随迭代次数进行更新并带入优化器，使得损失函数向着值最小的方向优化，最终输出优化后的两个参数。
[0011]进一步的，步骤(4)中，在训练过程中，从每个视频序列中随机采样时序关系上以前后顺序的四帧作为输入，每个图像帧的大小调整为256
×
128的大小，随后对这4张图像帧进行数据增广处理，使用的数据增广手段包括水平随机翻转、随机裁剪和随机擦除。
[0012]进一步的，步骤(4)中，在模型参数方面，初始学习率设置为0.0003，每40个时期衰
减系数为0.1；优化器以32的小批量大小一起用于150个epoch的训练。
[0013]进一步的，困难三元损失函数的边际值设置为0.3，初始学习率设置为0.0025，学习率衰减轮数为40轮。
[0014]进一步的，在步骤(4)训练开始阶段，采用基于残差网络Resnet
‑
50实现的深度学习预训练模型作为初始模型参数。
[0015]进一步的，步骤(4)中，在测试阶段时，任意一个视频特征的提取使用的均为所述视频tracklet文件夹下的所有图像帧来获取。
[0016]进一步的，步骤(4)中，对于全局特征和局部特征的两个分支，每个分支设置一个自适应学习权重，即所述两个可学习性质的参数，初始值均设置为1.0。
[0017]进一步的，步骤(4)中，所述两个可学习性质的参数通过固定的参数占比加入，在训练过程中进行动态调整。
[0018]与现有技术相比，本专利技术具有以下有益效果：
[0019]本专利技术提供一种基于自学习模型的自适应特征融合行人重识别方法，针对AST数据集中每个视频行为轨迹所对应的全局特征和局部特征权重分配不同从而导致神经网络模型训练过程存在不稳定性的可能情况出发，提出了基于极大值思想的固定权重配比的设置方法。通过自学习模型下的自适应特征融合方法得到了规定定义域[0,1.0]内存在的最优权重，即在这个最优权重占比下，局部与全局特征融合对于最终的行人重识别任务是最有益的。对于局部与全局特征的加权加和，现有方式都是通过特殊的数值变换方式得到具体的数值来进行加权计算，或者通过大量的实验对比不同权重下的性能指标，而本专利技术提到的自学习模型下的自适应权重设置省去了大量的实验，选用神经网络模型去自学习获得最优权重，省时省力，同时也能较为精确的获得规定定义域内的答案。同时基于局部特征与全局特征融合的模型也能较好地解决不同条件下行人姿态、肢体分布规律的情况，避免了仅靠全局特征无法有效分辨不同行人地情况。
附图说明
[0020]图1为自适应特征融合模型AFP的总体网络结构图；
[0021]图2为基于最优权重参数下的二次曲线。
具体实施方式
[0022]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0023]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于
清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0024]下面结合附图对本专利技术做进一步详细描述：
[0025]基于学习模型的自适应权重参数
[0026]本专利技术建立一个权重参数学习模型AFP(Adaptive Feature Processing)，让模型自学习一个性能更好的固定权值参数，使得模型自学习出两个权重参数，从而使经过特征融合改进后的算法模型性能表现更好。
[0027]对于模型图中的局部检测与分割模块，本模型采用姿态点检测方法来实现局部部分图像的检索识别与分割。对于任意视频轨迹中的任意一个图像帧而言，通过openpose检测出原始图像帧中所对应的人物骨干架构，以图像中人物头部范围上的眼睛部分为基准点α，以肩颈部分的检测点为基准点β，以二者在纵向坐标上的差值H作为截取方形区域的1/2边长，并以此长度和基准线作为截取方形的参考区域和参考方位，原始图像帧对应的人物头部部分的截取方形区域也由此确定，即以眼睛方位点α为基准参考点，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自学习模型的自适应特征融合行人重识别方法，其特征在于，包括以下步骤：(1)构建自适应的权重学习模型AFP；(2)将原始视频输入至自适应的权重学习模型AFP内，对原始视频进行局部检测和分割，得到局部图像帧组成的局部部分视频；利用TCL
‑
Net分别对原始视频与局部图像帧组成的局部部分视频进行特征提取，得到原始视频特征和局部部分视频特征；(3)通过初始化带入两个可学习性质的参数，将原始视频特征和局部部分视频特征分别与引入的参数相乘后相加，获得新的输出和特征，通过交叉熵损失和困难三元损失共同计算最终的损失函数；(4)进行训练和测试，两个可学习性质的参数跟随迭代次数进行更新并带入优化器，使得损失函数向着值最小的方向优化，最终输出优化后的两个参数。2.根据权利要求1所述的基于自学习模型的自适应特征融合行人重识别方法，其特征在于，步骤(4)中，在训练过程中，从每个视频序列中随机采样时序关系上以前后顺序的四帧作为输入，每个图像帧的大小调整为256
×
128的大小，随后对这4张图像帧进行数据增广处理，使用的数据增广手段包括水平随机翻转、随机裁剪和随机擦除。3.根据权利要求1所述的基于自学习模型的自适应特征融合行人重识别方法，其特征在于，步骤(4)中...

【专利技术属性】
技术研发人员：魏平，王宇昕，张锐杰，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：