一种基于渐进式神经网络的跨模态行人再识别方法技术

本发明专利技术公开了一基于渐进式神经网络的跨模态行人再识别方法，其步骤包括：1、准备红外‑可见光的行人数据集，并做预处理；2、构建双路卷积神经网络分别提取红外图像和可见光图像特征；3、基于渐进式神经网络架构搜索的方法，使用HyperNet辅助，搜索最优特征嵌入网络架构；4、使用测试集进行测试。本发明专利技术能通过渐进式神经网络架构搜索的方法，更好的生成跨模态的特征空间，从而提高红外与可见光的行人再识别的准确度。

【技术实现步骤摘要】
一种基于渐进式神经网络的跨模态行人再识别方法
本专利技术属于计算机视觉
，具体涉及一种基于渐进式神经网络架构搜索的红外与可见光跨模态行人再识别方法。
技术介绍
近年来，随着视频监控系统在的普及,行人再识别技术引起了学术界和工业界的广泛关注,是计算机视觉领域的一个研究热点。现有的行人再识别技术仅利用一般可见光图像进行识别，然而单一的可见光行人再识别只能解决充足光照条件下的行人识别任务，在夜间或者是光照不足的情况下，识别效果并不尽人意。与传统的行人再识别有所不同，红外与可见光跨模态行人再识别技术可以利用行人的可见光(红外)图像去搜索跨设备下该行人的红外(可见光)图像。如今的摄像机大多都将红外和可见光功能配在了一起，其中的红外摄像机在白天和夜晚都能够获取行人的红外图像，这为红外-可见光跨模态行人重识别的研究提供了有利的条件。然而，由于跨模态信息之间的匹配问题，导致红外与可见光跨模态行人再识别的识别效果较差。
技术实现思路
本专利技术为克服上述现有技术中存在的问题，提出一种基于渐进式神经网络的跨模态行人再识别方法，以期能实现红外与可见光跨模态行人图像特征的有效融合，从而更好地构建跨模态特征空间，进而提高红外与可见光行人再识别的准确度。本专利技术为解决技术问题采用如下技术方案：本专利技术一种基于渐进式神经网络的跨模态行人再识别方法的特点包括如下步骤：步骤1、获取红外行人图像和可见光行人图像，并构建红外与可见光行人再识别数据集，对数据集内所有图像进行相同的预处理，得到预处理后的行人再识别数据集后划分为训练集、测试集和验证集；步骤2、使用两个结构相同的预训练模型来构建双路卷积神经网络，并作为特征提取模块，分别用于提取预处理后的行人再识别数据集中红外行人图像特征和可见光行人图像特征，从而作为所述特征提取模块的输出；步骤3、构建特征嵌入模块的初始网络结构，并使用渐进式神经网络架构搜索的方法，搜索特征嵌入模块的最佳网络结构；步骤3.1、构建所述特征嵌入模块的初始网络结构是由相同且独立的红外分支网络和可见光分支网络以及两个分支网络间的融合连接模型构成；所述红外分支网络中的第i层记为xi，所述可见光分支网络中的第j层为yj，所述第i层xi和第j层yj作为候选的连接层，并是卷积层、激活函数层、池化层、全连接层中的任意一种，其中，i＝1,2,...,t，j＝1,2,...,t，t是分支网络的最大层数；步骤3.2、构建基于张量编码的动态超网络，用于为所述特征嵌入模块生成初期权重；步骤3.3、采用基于序列模型优化的方法训练融合连接模型；步骤3.3.1、初始化融合连接模型：a、所述融合连接模型的损失函数采用三元组损失函数；b、设定搜索迭代最大次数为Es，最大融合连接数为Lm，训练次数为Et；定义当前连接数为L，并初始化L＝2；步骤3.3.2、执行当前连接数为L的连接操作：所述连接操作是从将所述红外分支网络中每一层分别与所述可见光分支网络的每一层相连，从而得到t×t种连接结构所构成的特征嵌入模块的网络结构；步骤3.3.3、使用所述训练集训练每一种连接结构所构成的特征嵌入模块的网络结构，共训练Et次，再使用验证集每一种网络结构的准确度，选取准确度最大的网络结构作为当前连接数为L的最优网络结构；步骤3.3.4、将L+1赋值给L后，判断L>Lm是否成立，若成立，则表示获得所述特征嵌入模块的最佳网络结构，否则，执行步骤3.3.5；步骤3.3.5、遍历所述红外分支网络和所述可见光分支网络中其余未连接的所有层，并依次选择一层与所述最优网络结构相连，从而得到当前连接数为L的所有网络结构；步骤3.3.6、返回步骤3.3.3执行；步骤4、由所述特征提取模块和所述特征嵌入模块的最佳网络结构构成红外与可见光行人再识别网络，并用测试集进行红外可见光跨模态行人再识别。与已有技术相比，本专利技术有益效果体现在：1.本专利技术利用神经网络架构搜索的方法，避免了依照经验手工设计跨模态特征嵌入模块的网络结构，实现了红外与可见光特征融合的高效率，取得了红外可见光跨模态行人再识别的较好识别效果。2.本专利技术基于序列模型优化的方法，减小了神经网络架构搜索所需的搜索空间，降低了网络架构搜索的计算量，避免了传统神经网络架构搜索所需的昂贵硬件配置和漫长的训练时间。3.本专利技术采用超网络HyperNet为特征嵌入模块生成初期权重，减少了学习权重的数量，使得最优融合架构搜索更加精准。附图说明图1为本专利技术红外与可见光跨模态行人再识别网络的结构图；图2为本专利技术红外与可见光行人特征融合的神经网络架构搜索流程图；图3为本专利技术特征嵌入模块结构图。具体实施方式本实施例中，一种基于渐进式神经网络的跨模态行人再识别方法，是先将红外可见光行人数据集进行预处理，然后将红外行人图像和可见光行人图像分别输入到两个相同的Resnet-50网络中逐层提取特征，最后使用渐进式神经网络架构的方法搜索最佳的特征嵌入网络结构，具体的说，如图1所示，是按如下步骤进行：步骤1、获取红外行人图像和可见光行人图像，并构建红外与可见光行人再识别数据集，对数据集内所有图像进行相同的预处理，得到预处理后的行人再识别数据集后划分为训练集、测试集和验证集；在本实施例中，采用红外可见光行人数据集SYSU-MM01训练和评估模型，该数据集包括来自6个摄像机的491个有效行人ID的RGB和IR图像，给出了总共287,628张RGB图像和15,792张IR图像，选取包含296个行人ID的16,679张RGB图像和8,924张IR图像进行训练；选取96个行人ID的3803张IR图像和301张RGB图像用于测试；其余99个行人ID的图像用作验证集；步骤2、使用两个结构相同的预训练模型来构建双路卷积神经网络，并作为特征提取模块，分别用于提取预处理后的行人再识别数据集中红外行人图像特征和可见光行人图像特征，从而作为特征提取模块的输出；本实施例中，选择的预训练模型为Resnet-50，包括5个下采样块和1个平均池化层，两个分支网络间实行参数共享；步骤3、构建特征嵌入模块的初始网络结构，并使用渐进式神经网络架构搜索的方法，搜索特征嵌入模块的最佳网络结构；步骤3.1、构建特征嵌入模块的初始网络结构是由相同且独立的红外分支网络和可见光分支网络以及两个分支网络间的融合连接模型构成；特征嵌入模块的初始网络结构，红外分支与可见光分支间的融合连接由神经网络架构搜索确定，融合操作为加权加法融合；如图3所示，红外分支网络中的第i层记为xi，可见光分支网络中的第j层为yj，第i层xi和第j层yj作为候选的连接层，并是卷积层、激活函数层、池化层、全连接层中的任意一种，其中，i＝1,2,...,t，j＝1,2,...,t，t是分支网络的最大层数；步骤3.2、构建基于张量编码的动态超网络本文档来自技高网...

【技术保护点】
1.一种基于渐进式神经网络的跨模态行人再识别方法，其特征包括如下步骤：/n步骤1、获取红外行人图像和可见光行人图像，并构建红外与可见光行人再识别数据集，对数据集内所有图像进行相同的预处理，得到预处理后的行人再识别数据集后划分为训练集、测试集和验证集；/n步骤2、使用两个结构相同的预训练模型来构建双路卷积神经网络，并作为特征提取模块，分别用于提取预处理后的行人再识别数据集中红外行人图像特征和可见光行人图像特征，从而作为所述特征提取模块的输出；/n步骤3、构建特征嵌入模块的初始网络结构，并使用渐进式神经网络架构搜索的方法，搜索特征嵌入模块的最佳网络结构；/n步骤3.1、构建所述特征嵌入模块的初始网络结构是由相同且独立的红外分支网络和可见光分支网络以及两个分支网络间的融合连接模型构成；/n所述红外分支网络中的第i层记为x

【技术特征摘要】
1.一种基于渐进式神经网络的跨模态行人再识别方法，其特征包括如下步骤：
步骤1、获取红外行人图像和可见光行人图像，并构建红外与可见光行人再识别数据集，对数据集内所有图像进行相同的预处理，得到预处理后的行人再识别数据集后划分为训练集、测试集和验证集；
步骤2、使用两个结构相同的预训练模型来构建双路卷积神经网络，并作为特征提取模块，分别用于提取预处理后的行人再识别数据集中红外行人图像特征和可见光行人图像特征，从而作为所述特征提取模块的输出；
步骤3、构建特征嵌入模块的初始网络结构，并使用渐进式神经网络架构搜索的方法，搜索特征嵌入模块的最佳网络结构；
步骤3.1、构建所述特征嵌入模块的初始网络结构是由相同且独立的红外分支网络和可见光分支网络以及两个分支网络间的融合连接模型构成；
所述红外分支网络中的第i层记为xi，所述可见光分支网络中的第j层为yj，所述第i层xi和第j层yj作为候选的连接层，并是卷积层、激活函数层、池化层、全连接层中的任意一种，其中，i＝1,2,...,t，j＝1,2,...,t，t是分支网络的最大层数；
步骤3.2、构建基于张量编码的动态超网络，用于为所述特征嵌入模块生成初期权重；
步骤3.3、采用基于序列模型优化的方法训练融合连接模型；<...

【专利技术属性】
技术研发人员：孙锐，赵争晖，梁启丽，张旭东，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34