一种基于深度特征正交分解的可见光-近红外行人再识别方法技术

本发明专利技术公开了一种基于深度特征正交分解的可见光‑近红外行人再识别方法，包括：获取训练图像集并提取图像特征，得到全局特征和模态特征；根据全局特征和模态特征进行柱坐标系的特征分解，得到行人身份特征和视角特征；对行人身份特征、视角特征和模态特征计算特征损失函数并根据特征损失函数优化训练模型；基于训练模型对输入图像进行识别。通过使用本发明专利技术，可解决现实应用场景中常见的识别率下降的问题，提高行人再识别方法模型的抗干扰和自适应的能力。本发明专利技术作为一种基于训练模型对输入图像进行识别方法，可广泛应用于计算机视觉领域。

【技术实现步骤摘要】
一种基于深度特征正交分解的可见光-近红外行人再识别方法
本专利技术涉及计算机视觉领域，尤其涉及一种基于深度特征正交分解的可见光-近红外行人再识别方法。
技术介绍
近年来，社会对于公共安全领域越来越重视，计算机视觉技术为社会安防提供了大量的技术支持，而其中的行人再识别技术有效的提高目标地点的安防，但是当前的行人再识别算法更多的是基于理想监控环境，应用到真实监控场景下回存在识别率下降等问题，由于光照的剧烈昼夜变化，会对行人的外观特征产生强烈的干扰，从而导致模型的性能下降，这对于行人再识别模型的应用造成了限制。
技术实现思路
为了解决上述技术问题，本专利技术的目的是提供一种基于深度特征正交分解的可见光-近红外行人再识别方法，具备抗干扰和自适应的能力，能够在复杂的环境下提高行人再识别的能力。本专利技术所采用技术方案是：一种基于深度特征正交分解的可见光-近红外行人再识别方法，包括以下步骤：获取训练图像集并提取图像特征，得到全局特征和模态特征；根据全局特征和模态特征进行柱坐标系的特征分解，得到行人身份特征和视角特征；对行人身份特征、视角特征和模态特征计算特征损失函数并根据特征损失函数优化训练模型；基于训练模型对输入图像进行识别。进一步，所述双支路网络包括特征提取网络和模态提取网络。进一步，所述获取训练图像集并提取图像特征，得到全局特征和模态特征这一步骤，其具体包括：获取图像集并通过双支路网络对图像集中的输入图像进行特征提取，得到卷积特征；对卷积特征进行池化操作，得到固定大小的一维特征向量；通过一维特征向量对特征进行表达，得到全局特征和模态特征。进一步，以ResNet预训练的模型作为双支路网络的主体框架，所述双支路网络的支路网络结构一致，参数独立。进一步，所述根据全局特征和模态特征进行柱坐标系的特征分解，得到行人身份特征和视角特征这一步骤，其具体包括：将全局特征和模态特征经过自适应层变换，得到变换后的全局特征和模态特征；将变换后的全局特征减去变换后的模态特征，得到差向量；对差向量求二范数和归一化，得到视角特征和行人身份特征。进一步，所述根据全局特征和模态特征进行柱坐标系的特征分解，得到行人身份特征和视角特征这一步骤，其具体包括：对行人身份特征计算余弦交叉熵损失函数；对视角特征计算回归损失函数；对模态特征计算交叉熵损失函数；对行人身份特征、视角特征和模态特征计算正则化损失函数；将行人身份特征的余弦交叉熵损失函数、视角特征的回归损失函数、模态特征的交叉熵损失函数和正则化损失函数之和的最小值作为目标优化训练模型。进一步，所述对行人身份特征计算余弦交叉熵损失函数，其表达式如下：所述N表示输入图像数量，所述x表示需要计算损失的图片特征，所述y表示对应的真值标签，所述θ表示图片特征x与分类器权重归一化相乘后的角度特征，所述s和m是可以手动优化调节的超参数，所述i和j代表输入图像中的第i和j张图片。进一步，所述对视角特征计算回归损失函数这一步骤，其表达式如下：所述xi表示当前需要计算损失的图片特征，所述yi表示对应的真值标签。进一步，所述对模态特征计算交叉熵损失函数这一步骤，其表达式如下：进一步，所述对行人身份特征、视角特征和模态特征计算正则化损失函数，其表达式如下：Lo＝(f-f3)Tf3所述f-f3表示为差向量分量，所述f3表示为模态特征分量，(·)T代表了对于括号内向量的转置操作。本专利技术方法的有益效果是：本专利技术通过特征分解将行人身份特征从其他干扰特征中解耦出来，得到与干扰因素无关、鲁棒性较高的行人身份特征，解决现实应用场景中常见的识别率下降的问题，提高行人再识别方法模型的抗干扰和自适应的能力。附图说明图1是本专利技术一种基于深度特征正交分解的可见光-近红外行人再识别方法的步骤流程图。具体实施方式下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。传统的行人再识别方法是一个单域下的图像检索任务，而本专利技术近红外光的行人再识别是一个跨域检索任务，通过将输入图片的全局特征解耦成为三个互不冗余的特征子向量，使网络更加直接的对身份信息进行指导训练，从而提高行人特征表达力和行人匹配精确度。如图1所示，本专利技术提供了一种基于深度特征正交分解的可见光-近红外行人再识别方法，该方法包括以下步骤：S101、获取训练图像集并提取图像特征，得到全局特征和模态特征。具体地，所述训练图像集中每种模态的图片数量比设置为1:1，对于输入照片的视角不设限制。S102、根据全局特征和模态特征进行柱坐标系的特征分解，得到行人身份特征和视角特征；具体地，使用两个参数不共享的“全连接层-激活层”的自适应结构对得到的两种特征进行一个自适应变换，在经过自适应层之后，我们将两种特征执行向量化的逐元素相减，得到新构造的差向量，对差向量求取其二范数，并将其作为输入图片的视角特征，其次对差向量进行归一化操作，并将其作为输入图片的行人身份特征。至此得到了输入图片中的三种特征：行人身份特征、视角特征和模态特征。S103、对行人身份特征、视角特征和模态特征计算特征损失函数并根据特征损失函数优化训练模型。具体地，对三种特征计算特征损失函数，以余弦交叉熵损失函数、回归损失函数、以及标准交叉熵之和达到最小化为目标去优化训练模型。S104、基于训练模型对输入图像进行识别。进一步作为本方法的优选实施例，所述双支路网络包括特征提取网络和模态提取网络。进一步作为本方法的优选实施例，所述获取训练图像集并提取图像特征，得到全局特征和模态特征这一步骤，其具体包括：获取图像集并通过双支路网络对图像集中的输入图像进行特征提取，得到卷积特征；对卷积特征进行池化操作，得到固定大小的一维特征向量；通过一维特征向量对特征进行表达，得到全局特征和模态特征。具体地，双支路网络中每个支路对于输入的图片进行特征提取，遵循ResNet50的网络结构前向传播特征，每个支路将最后一层得到的卷积特征进行池化操作，得到固定大小的一维特征向量，利用一维特征向量对全局特征和模态特征进行表达。进一步作为本方法的优选实施例，以ResNet预训练的模型作为双支路网络的主体框架，所述双支路网络的支路网络结构一致，参数独立。进一步作为本方法的优选实施例，所述根据全局特征和模态特征进行柱坐标系的特征分解，得到行人身份特征和视角特征这一步骤，其具体包括：将全局特征和模态特征经过自适应层变换，得到变换后的全局特征和模态特征；将变换后的全局特征减去变换后的模态特征，得到差向量；...

【技术保护点】
1.一种基于深度特征正交分解的可见光-近红外行人再识别方法，其特征在于，包括以下步骤：/n获取训练图像集并提取图像特征，得到全局特征和模态特征；/n根据全局特征和模态特征进行柱坐标系的特征分解，得到行人身份特征和视角特征；/n对行人身份特征、视角特征和模态特征计算特征损失函数并根据特征损失函数优化训练模型；/n基于训练模型对输入图像进行识别。/n

【技术特征摘要】
1.一种基于深度特征正交分解的可见光-近红外行人再识别方法，其特征在于，包括以下步骤：
获取训练图像集并提取图像特征，得到全局特征和模态特征；
根据全局特征和模态特征进行柱坐标系的特征分解，得到行人身份特征和视角特征；
对行人身份特征、视角特征和模态特征计算特征损失函数并根据特征损失函数优化训练模型；
基于训练模型对输入图像进行识别。


2.根据权利要求1所述一种基于深度特征正交分解的可见光-近红外行人再识别方法，其特征在于，所述双支路网络包括特征提取网络和模态提取网络。


3.根据权利要求2所述一种基于深度特征正交分解的可见光-近红外行人再识别方法，其特征在于，所述获取训练图像集并提取图像特征，得到全局特征和模态特征这一步骤，其具体包括：
获取训练图像集并通过双支路网络对图像集中的输入图像进行特征提取，得到卷积特征；
对卷积特征进行池化操作，得到固定大小的一维特征向量；
通过一维特征向量对特征进行表达，得到全局特征和模态特征。


4.根据权利要求3所述一种基于深度特征正交分解的可见光-近红外行人再识别方法，其特征在于，以ResNet预训练的模型作为双支路网络的主体框架，所述双支路网络的支路网络结构一致，参数独立。


5.根据权利要求4所述一种基于深度特征正交分解的可见光-近红外行人再识别方法，其特征在于，所述根据全局特征和模态特征进行柱坐标系的特征分解，得到行人身份特征和视角特征这一步骤，其具体包括：
将全局特征和模态特征经过自适应层变换，得到变换后的全局特征和模态特征；
将变换后的全局特征减去变换后的模态特征，得到差向量；
对差向量求二范数和归一化，得到视角特征和行人身份特征。


6.根据权利要求5所述一种基于深度特征正交分解的可见光-近红...

【专利技术属性】
技术研发人员：赖剑煌，张权，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44