【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体为一种多尺度跨平台行人重识别方法。
技术介绍
1、行人重识别旨在从不同摄像机视角下匹配具有相同身份的行人图像。因为深度卷积神经网络和vision transformer在图像分类任务中的出色表现，促进了研究人员收集和发布更复杂和符合真实复杂场景的行人重识别数据集。常用的行人重识别数据集，例如market1501、dukemtmc-reid、msmt17和cuhk03等，都是由静态摄像机在校园内或者现实生活场景下捕获的图像组成。但是这种地面固定摄像头具有一些缺陷，例如，摄像头视野范围有限，分辨率有限，灵活性较差，无法捕获一些没有布署地面固定相机处的视频序列，它并不涵盖所有可能需要重新识别人员的用例。
2、随着无人机的快速发展，无人机因其机动性强，视野范围广并且可配备高清摄像头和其他的传感器摄像头，对目标检测、人体行为识别、对象计数、手势识别等方面做出了重大贡献，也成为了传统监控情况的必要补充策略。因此有研究人员提出了基于无人机拍摄序列下的行人重识别数据集。例如prai-1581、drhit01、uav-human等，但无人机续航时间有限，需要专业人员操控以及价格昂贵等缺点，使其无法在现实生活中大面积部署，跨无人机相机下的行人重识别落地成为困难。
3、在现有的大量行人重识别研究中，考虑的是经典设置，即行人被静态监控摄像机或无人机动态摄像头捕获。然而现有数据集中的上述限制清楚地表明，对人类行为分析只使用单一平台设备是不够的。随着分析跨平台设备拍摄的图像和视频的需求不断增长，对于使用
技术实现思路
1、本专利技术所要解决的技术问题在于：解决现有的行人重识别，都是基于单一平台设备获取数据的基础上进行研究问题。
2、为解决上述技术问题，本专利技术提供如下技术方案：
3、一种多尺度跨平台行人重识别方法，包括以下步骤：
4、s100，获取行人图片数据集，将所述行人图片数据集划分为训练集和测试集；所述训练集中的图片包括动态平台设备捕获的图像和静态平台设备捕获的图像；
5、s200，采用colorjitter函数，数据增强所述行人图片数据集中图像的亮度、对比度、饱和度和色调，缓和所述动态平台设备和所述静态平台设备捕获的图像的风格差异；
6、s300，建立初始跨平台行人重识别网络，包括vit模型和多尺度交叉注意力模块，其中，所述vit模型包括图像处理模块和分类模块；
7、s400，将所述训练集中的图片分批输入所述图像处理模块中，获取多尺度图像特征；将所述多尺度图像特征输入至所述多尺度交叉注意力模块中，获取多尺度融合特征；并将所述多尺度融合特征输入至所述分类模块中进行分类，输出分类结果；
8、s500，通过总损失函数计算所述分类结果的损失，并利用梯度下降算法更新，以及通过反向传播优化所述初始跨平台行人重识别网络，直至所述初始跨平台行人重识别网络收敛，获取优化跨平台行人重识别网络；
9、s600，将所述测试集输入至所述优化跨平台行人重识别网络中，获取优化跨平台行人重识别网络的识别精度；
10、s700，当所述识别精度满足要求时，则所以优化跨平台行人重识别网络作为最终的跨平台行人重识别网络进行跨平台行人重识别，若所述识别精度不满足要求时，则重复步骤s400至步骤s600，直至满足精度要求。
11、优点：将vit模型作为主干网络，用于提取行人的全局信息，多尺度交叉注意力模块，用于在单个平台中存在被捕获的图像中人物出现遮挡或者截断等情况，通过不同尺度特征融合实现特征增强，提高特征的鲁棒性。再通过损失函数计算，同一身份不同平台捕获图像特征中心的拉近的相似性损失，不断迭代更新反向传播优化网络，提高分类的准确性。
12、在本专利技术的一实施例中，所述将所述训练集中的图片分批包括：从所述训练集中抽取n’个身份，对于每个身份，选取所述动态平台设备捕获的图像和所述静态平台设备捕获的图像各m张图片，共n’*2*m张形成一批。
13、在本专利技术的一实施例中，所述测试集划分为图库图像数据集和查询图像数据集，所述图库图像数据集中的图像为所述动态平台设备捕获的图像，所述查询图像数据集为所述静态平台设备捕获的图像。
14、在本专利技术的一实施例中，所述获取多尺度图像特征，通过以下步骤：
15、s411，使用一个大小为p×p，步长为s的卷积核对输入图像i进行卷积操作，获取由n个维度为d的序列组成的初始嵌入向量；
16、s412，同时使用另一个大小为np×np，步长为ns的卷积核对所述输入图像i进行卷积操作，获取由m个维度为d的序列组成的缩放嵌入向量；其中，n为倍数；
17、s413，将所述初始嵌入向量和所述缩放嵌入向量，通过线性变换进行线性对齐，获取所述多尺度图像特征。
18、在本专利技术的一实施例中，所述获取多尺度融合特征，通过以下步骤：
19、s421，将所述多尺度图像特征和初始嵌入向量同时送入所述多尺度交叉注意力模块，获取所述多尺度交叉注意力模块的查询序列、键序列和相关值序列；
20、s422，获取所述查询序列中的查询元素的位置与所述键序列中每个键元素位置的重要性，获取注意力头分布；
21、s423，将每个注意力头分布与所述相关值序列相乘，获取加权相关值；
22、s424，利用sigmoid函数将所述初始嵌入向量映射到一个概率分布，获取初始特征概率值；
23、s425，根据所述初始特征概率值和所述注意力头分布，获取局部特征，将所述局部特征再与初始嵌入向量融合，获取所述多尺度融合特征。
24、在本专利技术的一实施例中，所述输出分类结果包括以下步骤：
25、s431，通过所述多尺度融合特征形成增强序列并生成一个与所述增强序列长度相等的可学习的cls标记；并将所述cls标记与所述增强序列组合，以及通过可学习的位置编码将位置空间信息整合到组合中，获取输入序列；
26、s432，将所述输入序列输入到包含有l层transformer的编码层，获取输出序列；
27、s433，将所述输出序列输入至分类器中，获取分类结果。
28、在本专利技术的一实施例中，对同一身份不同平台捕获图像特征中心的拉近采用相似性增强损失函数，以及根据所述相似性增强损失函数结合交叉熵损失函数和三元组损失函数，获取所述总损失函数。
29、在本专利技术的一实施例中，所述多尺度融合特征，通过以下公式获取：
30、
31、式中，为多尺度融合特征，atten为初始特征概率值，为加权相关值，为初始嵌入向量。
32、在本专利技术的一实施例中，所述输出序列通过以下公式获取：
33、z′l＝msa(ln(zl-1))+zl-1；
3本文档来自技高网...
【技术保护点】
1.一种多尺度跨平台行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多尺度跨平台行人重识别方法，其特征在于，所述将所述训练集中的图片分批包括：从所述训练集中抽取N’个身份，对于每个身份，选取所述动态平台设备捕获的图像和所述静态平台设备捕获的图像各m张图片，共N’*2*m张形成一批。
3.根据权利要求1所述的多尺度跨平台行人重识别方法，其特征在于，所述测试集划分为图库图像数据集和查询图像数据集，所述图库图像数据集中的图像为所述动态平台设备捕获的图像，所述查询图像数据集为所述静态平台设备捕获的图像。
4.根据权利要求1所述的多尺度跨平台行人重识别方法，其特征在于，所述获取多尺度图像特征，通过以下步骤：
5.根据权利要求1所述的多尺度跨平台行人重识别方法，其特征在于，所述获取多尺度融合特征，通过以下步骤：
6.根据权利要求1所述的多尺度跨平台行人重识别方法，其特征在于，所述输出分类结果包括以下步骤：
7.根据权利要求1所述的多尺度跨平台行人重识别方法，其特征在于，对同一身份不同平台捕获图像特征中
8.根据权利要求5所述的多尺度跨平台行人重识别方法，其特征在于，所述多尺度融合特征，通过以下公式获取：
9.根据权利要求6所述的多尺度跨平台行人重识别方法，其特征在于，所述输出序列通过以下公式获取：
10.根据权利要求7所述的多尺度跨平台行人重识别方法，其特征在于，所述相似性增强损失函数，通过以下公式获取：
...【技术特征摘要】
1.一种多尺度跨平台行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多尺度跨平台行人重识别方法，其特征在于，所述将所述训练集中的图片分批包括：从所述训练集中抽取n’个身份，对于每个身份，选取所述动态平台设备捕获的图像和所述静态平台设备捕获的图像各m张图片，共n’*2*m张形成一批。
3.根据权利要求1所述的多尺度跨平台行人重识别方法，其特征在于，所述测试集划分为图库图像数据集和查询图像数据集，所述图库图像数据集中的图像为所述动态平台设备捕获的图像，所述查询图像数据集为所述静态平台设备捕获的图像。
4.根据权利要求1所述的多尺度跨平台行人重识别方法，其特征在于，所述获取多尺度图像特征，通过以下步骤：
5.根据权利要求1所述的多尺度跨平台行人重识别方法，其特...
【专利技术属性】
技术研发人员：郑爱华，张琼尹，王梓，李成龙，汤进，章程，王伟，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。