【技术实现步骤摘要】
本专利技术属于行人识别，具体涉及一种基于前景分割的跨模态行人重识别方法。
技术介绍
1、跨模态行人重识别，又称可见光-红外行人重识别，是一项在可见光图像与红外图像间进行行人识别与检索的技术。该技术作为视频智能监控系统的核心关键技术之一，目前在安防监控和疑犯追踪等领域被迫切需要。近年来，随着新型摄像头(可在弱光环境下自动切换到红外模式，拍摄红外图像)逐渐代替可见光摄像头并普及起来，跨模态行人重识别得到了学术界和工业界的广泛关注并取得显著的发展。深度学习模型在对人体图片提特征的时候，不仅需要消除角度、人体姿态的干扰，还要消除图片模态信息带来的干扰。
2、目前，跨模态行人重识别的研究可以分为基于单流(双流)网络的方法、基于度量学习的方法与基于对抗性训练方案的方法。
技术实现思路
1、针对现有技术中存在的问题，本专利技术提供一种基于前景分割的跨模态行人重识别方法，其目的在于：从跨模态行人图像中学习更有效的特征从而实现高精度的行人重识别。
2、一种基于前景分割的跨模态行人重识别方法，包括步骤：
3、s1、使用前景分割模块对可见光摄像头的图像(包括cam1、cam2、cam4、cam5)进行解析和分割，并对分割结果进行简单筛选；
4、s2、将分割后的数据集与原始数据集进行归一化处理；
5、s3、将数据集中的可见光图像、可见光分割图像、红外图像一起输入到中间模态生成器生成各自图像的中间模态；
6、s4、将生成的可见光的中间模
7、s5、加载训练好的模型，对query与gallery中的图片提取特征计算相似度，对于每个query在gallery中找出前n个与其相似的图片。
8、所述s1的具体过程为：使用基于media pipe库的神经网络结构，提取图像中的有效前景。该模块分为掩膜提取和掩膜融合两部分，首先利用掩膜提取网络生成二值掩膜图像，然后将原始图像与其掩膜融合。
9、所述s2的具体过程为：将分割后的图片处理成sysu数据集一样的文件夹格式，使分割后的图片与sysu数据集有相同的身份标识。
10、所述s3的具体过程为：使用现有的非线性中间模态生成器将可见光、红外图像、可见光的前景分割图像投影到统一的中间模态图像(ummi)空间中，以生成可见光的中间模态图像、红外的中间模态图像、可见光分割图像的中间模态图像。
11、所述s4的具体过程为：将中间模态图像与原来的图像一起输送到resnet50双流网络中，在resnet50双流网络的两个分支中，第一层参数是不一样的，后四层参数共享，在后四层(blocks)中只在第二个和第三个block中加入non_local模块；其中第一个卷积层参数不共享用于构造模态特定特征提取网络，以提取模态特定特征；第三，四，五个卷积层参数共享，用于构造模态共享特征嵌入网络，以提取模态共享特征。
12、所述s5的具体过程为：测试时使用rank-1和平均精度均值两个行人重识别任务中常用的评价指标作为对比的依据。其中，rank-1是指被查询图像中行人与识别结果中第1位图像中行人是同一行人的概率。map的值则是一个求和平均数，代表了整体的识别水平，计算为：
13、
14、式中，表示将每一个类别的平均精度求和，c表示总类别数。
15、与其他跨模态行人重识别方法相比，本专利技术方法通过前景分割的方式删除掉了行人图像中差异较大的背景部分，提高了同一行人特征的相似性。并联合中间模态生成器很大程度上缓和了模态间的差异，以显式方式进一步增强特征的区分度和丰富度。
16、本专利技术的优点是：使用前景分割方法提取前景后，能够降低同一行人在不同摄像头和不同模态拍摄的图像之间的背景差异，缓解baseline中同一行人背景差异导致的特征相似度下降问题。并且，随着背景被消除，同一摄像头下，不同行人之间背景相似性被消除，其特征相似度下降，也对识别效果的提升起到了促进作用。后续再使用中间模态生成器可以有效地将原始图像和分割图像投影到统一的中间模态图像空间中，以生成中间模态图像。生成的中间模态图像和原始图像被馈送到主干网络以减少模态差异。在两个具有公开的sysu-mm01，regdb数据集上，本专利技术方法均优于目前已有的一部分算法。
本文档来自技高网...【技术保护点】
1.一种基于前景分割的跨模态行人重识别方法，包括步骤：
2.根据权利要求1所述的一种基于前景分割的跨模态行人重识别方法，其特征在于，所述S1的具体过程为：
3.根据权利要求1所述的一种基于前景分割的跨模态行人重识别方法，其特征在于，所述S2的具体过程为：将分割后的图片处理成SYSU数据集一样的文件夹格式，使分割后的图片与SYSU数据集有相同的身份标识。
4.根据权利要求1所述的一种基于前景分割的跨模态行人重识别方法，其特征在于，所述S3的具体过程为：
5.根据权利要求1所述的一种基于前景分割的跨模态行人重识别方法，其特征在于，所述S4的具体过程为：
6.根据权利要求1所述的一种基于前景分割的跨模态行人重识别方法，其特征在于，所述S5的具体过程为：
【技术特征摘要】
1.一种基于前景分割的跨模态行人重识别方法，包括步骤：
2.根据权利要求1所述的一种基于前景分割的跨模态行人重识别方法，其特征在于，所述s1的具体过程为：
3.根据权利要求1所述的一种基于前景分割的跨模态行人重识别方法，其特征在于，所述s2的具体过程为：将分割后的图片处理成sysu数据集一样的文件夹格式，使分割后的图片与sysu数据...
【专利技术属性】
技术研发人员：李绍荣，闵青青，杨昕梅，邬云舒，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。