一种外观相似目标的跨相机重识别融合方法及系统技术方案

本发明专利技术提供了一种外观相似目标的跨相机重识别融合方法，采用深度卷积神经网络提取图片全局特征图，并根据目标检测结果在全局特征图上提取目标的外观向量；对相机进行编码，生成包含观测视角信息的视角向量；根据目标在图像坐标系下对应的检测框位置生成目标的位置向量。将三个向量融合并经过变换后生成目标表示向量。通过优化三元组损失函数对网络进行训练，学习用于重识别的表示向量，在训练过程中采用离线挖掘和在线挖掘相结合的方法生成和更新三元组数据集。最后采用带约束的层次聚类算法对不同的相机中目标对应的表示向量进行聚类，实现跨相机目标重识别。同时提供了一种外观相似目标的跨相机重识别融合系统。本发明专利技术提高了重识别的准确性。

A Fusion Method and System for Cross-Camera Recognition of Similar Objects

The invention provides a fusion method for cross-camera recognition of similar-looking objects, which extracts the global feature map of the image by using depth convolution neural network, and extracts the appearance vector of the target on the global feature map according to the result of the target detection; encodes the camera to generate the view vector containing the information of the observation angle; generates the view vector according to the corresponding detection frame position of the target in the image coordinate system. The target position vector. Three vectors are fused and transformed to generate target representation vectors. By optimizing the triple loss function, the network is trained to learn the representation vectors for re-recognition. In the training process, the triple data sets are generated and updated by combining offline mining with online mining. Finally, the hierarchical clustering algorithm with constraints is used to cluster the corresponding representation vectors of the targets in different cameras to achieve cross-camera target recognition. At the same time, a fusion system for cross-camera recognition of similar objects is provided. The invention improves the accuracy of re-identification.

【技术实现步骤摘要】
一种外观相似目标的跨相机重识别融合方法及系统
本专利技术涉及模式识别
中的一种重识别技术，具体地，涉及一种外观相似目标的跨相机重识别融合方法及系统。
技术介绍
目标重识别是指：对于某个或者某些给定的目标，确定在其他时间或视角里是否存在具有同一身份的目标。重识别最早的提出是在目标的多相机追踪领域，也是多相机追踪的关键技术之一。具体来说，当同一个目标出现在多个相机的视角下时，需要确定多个观测者所观测到的目标身份的唯一性。在时序上，目标在不同时刻的身份的同一性也需要重识别技术来维护。目标重识别尤其是行人重识别近年来得到了格外的关注和研究，不仅由于其具有广泛的应用领域，如监控，调度，安防等，还由于其涉及的技术目前还相对不够成熟，有待进一步深入研究。近年来，重识别技术还被应用在生物识别和图像检索等领域，如人脸验证等。由于应用场景的复杂性，同一个目标可能出现在不同光照条件下，也会因采集设备、采集角度的不同而产生较大的差异。除此之外，在密集场景下遮挡严重，导致目标信息不完整。在实际应用中，同类或具有相同身份的目标往往会表现出较大的变化和差异，而不同类或具有不同身份的目标可能在某些特征上相似而难以区分。这些现象都给目标重识别造成了巨大的困难。重识别的关键在于提取具有强表征能力的目标表示和度量目标表示之间相似度或距离的指标。目标表示应当具有很强的判别性，即能够表现目标的独有特征，从而区分不同的目标，度量指标应该能够准确的刻画目标间的相似度或距离，从而实现可靠的验证和相似度排序。目前主流的重识别方法主要利用目标的外观信息(包括颜色、纹理、形状等)，能够在很大程度上表达目标的特点。但是，目标的外观常常会受很多外在因素的影响，因而这种方法存在很大的不稳定性。另外，对于有些目标(如同类型的车辆)，个体之间的外观比较相似、差异很小，这常常会使得外观信息在区分它们时失效，从而很难或者根本无法通过外观模型实现重识别。目前对这类具有相似外观的目标的重识别研究较少，属于空白领域。
技术实现思路
本专利技术针对目前已有的重识别方法在相似目标识别方面存在的局限与不足，提出了一种外观相似目标的跨相机重识别融合方法及系统，该方法及系统是一种将视角信息和位置约束关系与外观信息相融合的目标表示学习方法及系统：在学习目标特征表示向量时，不仅仅利用了目标的外观信息，同时将目标的位置和视角信息融入外观信息之中，并一同送入神经网络进行学习，使得网络不仅学习目标间外观的相似性，还学习了位置和视角的关联性，通过相似性和关联性两个方面学习更具有判别性的目标表示向量。采用随机梯度下降法训练网络，使得学习中具有相同身份目标的表示向量间的距离小于具有不同身份目标的表示向量间的距离，即类内距离小于类间距离。在训练过程中采用离线挖掘和在线挖掘相结合的方法生成和更新三元组数据集，提高了训练效率和收敛速度，避免模型陷入局部最优。在获得目标表示向量的基础上，采用基于距离的层次聚类对来自多个相机的目标表示向量进行聚类，被聚成一类的目标认为具有相同身份，从而实现跨相机的重识别。层次聚类的依据是向量间的距离，它将距离较近的向量聚成一类，为了避免将来自同一相机的目标聚类成同一身份，本专利技术对层次聚类中向量间距离的计算方法做了改进，使得来自相同相机的表示向量间的距离为无穷大，保证了同一个相机视角下的目标不可能被聚成一类，提高了重识别的准确性。本专利技术是通过以下技术方案实现的。根据本专利技术的一个方面，提供了一种外观相似目标的跨相机重识别融合方法，包括如下步骤：采用多个相机从不同的固定角度同步采集场景图像，获取目标在不同姿态下的观测信息；采用基于深度卷积网络的目标检测器对各个图像中的目标进行检测，输出目标检结果；采用深度卷积神经网络提取各个图像的全局特征图，并根据目标检测结果在全局特征图上提取目标对应位置的局部特征图，得到目标的外观向量；对相机进行编码，生成包含观测视角信息的视角向量；根据目标在图像坐标系下对应的目标检测框位置生成目标的位置向量；将外观向量、视角向量和位置向量进行向量融合，并经过变换后生成目标表示向量；采用三元组数据集对深度卷积神经网络进行训练，学习用于重识别的目标表示向量；其中，在训练过程中，采用离线挖掘和在线挖掘相结合的方法生成和更新三元组数据集；采用约束层次聚类方法对各个图像中目标对应的学习后的目标表示向量进行聚类，实现跨相机目标重识别。优选地，所述视角向量，对每个观测视角赋予一固定维度的向量，向量采用随机初始化生成，并在训练过程中通过梯度下降法不断优化。优选地，所述位置向量，通过目标检测框左上角和右下角的横纵坐标分别根据图像的宽度和高度归一化，并按照顺序排列生成。优选地，将目标检测框左上角顶点(x1，y1)和右下角顶点(x2，y2)的x，y方向坐标分别除以图像的宽度w和高度h，得到归一化的顶点坐标(x’i，y’i)：x’i＝xi/wy’i＝yi/h式中i＝1，2，使得坐标值位于0～1之间，得到归一化的左上角和右下角顶点坐标(x’1，y’1)，(x’2，y’2)，然后按顺序排列，得到位置向量b＝[x’1，y’1，x’2，y’2]。优选地，所述向量融合方法为：先对视角向量、位置向量以及外观向量进行拼接，拼接顺序不限；拼接后的向量经过全连接型网络并经过归一化输出最终的目标表示向量。优选地，所述采用离线挖掘和在线挖掘相结合的方法为：采用同一时刻多个相机采集到的目标构成三元组；对给定某个相机下观测到的目标，其他相机观测到的与该目标具有相同身份的目标为正样本，与该目标具有不同身份的目标为负样本；先采用离线挖掘方法生成所有三元组作为初始数据集，对深度卷积神经网络进行初步训练后，采用在线挖掘方法，即不断评估并去除数据集中的易分样本，缩小训练范围，完成数据集的生成和更新。优选地，所述易分样本为三元组损失函数为0的样本。优选地，所述约束层次聚类方法是基于目标表示向量间距离和类簇间距离的计算方法，其中：目标表示向量间距离为：设为编号为c的相机中第i个目标对应的目标表示向量，则目标表示向量间的距离类簇间距离为：两个类簇中距离最远的目标表示向量间的距离。根据本专利技术的另一个方面，提供了一种外观相似目标的跨相机重识别融合系统，包括：-图像采集模块：包括多个相机，从不同的固定角度同步采集场景图像，相机间视野范围相互覆盖；-目标检测模块：采用基于深度卷积网络的目标检测器对各个相机采集的图像中的目标进行检测，输出目标检测框；-检测框归一化模块：将目标检测框左上角和右下角的横坐标与纵坐标分别除以图像的宽度和高度，得到归一化检测框，所述归一化检测框的顶点横坐标与纵坐标均为0～1之间的无量纲小数；-外观向量生成模块：采用深度卷积网络获得各个相机采集的整张图像特征图，再在整张图像特征图上根据归一化检测框坐标提取局部特征图；-位置向量生成模块：根据目标在图像坐标系下对应的目标检测框位置生成目标的位置向量；-视角向量生成模块：对相机进行编码，生成包含观测视角信息的视角向量；-向量融合模块：对外观向量、位置向量和视角向量进行拼接，拼接后的向量经过全连接型网络并经过归一化输出最终的目标表示向量；-三元组生成模块：采用离线挖掘和在线挖掘相结合的方法生成和更新三元组数据集；-网络训练模块：采用三元组数据集对深度卷积神经网本文档来自技高网...

【技术保护点】
1.一种外观相似目标的跨相机重识别融合方法，其特征在于，包括：采用多个相机从不同的固定角度同步采集场景图像，获取目标在不同姿态下的观测信息；采用基于深度卷积网络的目标检测器对各个图像中的目标进行检测，输出目标检测结果；采用深度卷积神经网络提取各个图像的全局特征图，并根据目标检测结果在全局特征图上提取目标对应位置的局部特征图，得到目标的外观向量；对相机进行编码，生成包含观测视角信息的视角向量；根据目标在图像坐标系下对应的目标检测框位置生成目标的位置向量；将外观向量、视角向量和位置向量进行向量融合，并经过变换后生成目标表示向量；采用三元组数据集对深度卷积神经网络进行训练，学习用于重识别的目标表示向量；其中，在训练过程中，采用离线挖掘和在线挖掘相结合的方法生成和更新三元组数据集；采用约束层次聚类方法对各个图像中目标对应的学习后的目标表示向量进行聚类，实现跨相机目标重识别。

【技术特征摘要】
1.一种外观相似目标的跨相机重识别融合方法，其特征在于，包括：采用多个相机从不同的固定角度同步采集场景图像，获取目标在不同姿态下的观测信息；采用基于深度卷积网络的目标检测器对各个图像中的目标进行检测，输出目标检测结果；采用深度卷积神经网络提取各个图像的全局特征图，并根据目标检测结果在全局特征图上提取目标对应位置的局部特征图，得到目标的外观向量；对相机进行编码，生成包含观测视角信息的视角向量；根据目标在图像坐标系下对应的目标检测框位置生成目标的位置向量；将外观向量、视角向量和位置向量进行向量融合，并经过变换后生成目标表示向量；采用三元组数据集对深度卷积神经网络进行训练，学习用于重识别的目标表示向量；其中，在训练过程中，采用离线挖掘和在线挖掘相结合的方法生成和更新三元组数据集；采用约束层次聚类方法对各个图像中目标对应的学习后的目标表示向量进行聚类，实现跨相机目标重识别。2.根据权利要求1所述的外观相似目标的跨相机重识别融合方法，其特征在于，所述视角向量，对每个观测视角赋予一固定维度的向量，向量采用随机初始化生成，并在训练过程中通过梯度下降法不断优化。3.根据权利要求1所述的外观相似目标的跨相机重识别融合方法，其特征在于，所述位置向量，通过目标检测框左上角和右下角的横纵坐标分别根据图像的宽度和高度归一化，并按照顺序排列生成。4.根据权利要求3所述的外观相似目标的跨相机重识别融合方法，其特征在于，将目标检测框左上角顶点(x1，y1)和右下角顶点(x2，y2)的x，y方向坐标分别除以图像的宽度w和高度h，得到归一化的顶点坐标(x’i，y’i)：x’i＝xi/wy’i＝yi/h式中i＝1，2，使得坐标值位于0～1之间，得到归一化的左上角和右下角顶点坐标(x’1，y’1)，(x’2，y’2)，然后按顺序排列，得到位置向量b＝[x’1，y’1，x’2，y’2]。5.根据权利要求1所述的外观相似目标的跨相机重识别融合方法，其特征在于，所述向量融合方法为：先对视角向量、位置向量以及外观向量进行拼接，拼接顺序不限；拼接后的向量经过全连接型网络并经过归一化输出最终的目标表示向量。6.根据权利要求1所述的外观相似目标的跨相机重识别融合方法，其特征在于，所述采用离线挖掘和在线挖掘相结合的方法为：采用同一时刻多个相机采集到的目标构成三元组；对给定某个相机下观测到的目标，其他相机观测到的与该目标具有相同身份的目标为正样本，与该目标具有不同身份的目标为负样本；先采用离线挖掘方法生成所有三元组作为初始...

【专利技术属性】
技术研发人员：赵辉，陶卫，吕娜，何旺贵，许凌志，符钦伟，刘沅秩，郑超，冯宇，冯哲明，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31