基于贝叶斯优化技术的行人重识别方法、装置和系统制造方法及图纸

本发明专利技术提出了一种基于贝叶斯优化技术的行人重识别方法、装置和计算机系统，所述方法包括应用深度目标检测算法对视频中的行人图像数据集进行检测，得到待提取特征的所有行人图像数据；对检测到的所有行人图像数据进行深度特征提取，得到视频中行人的所有特征值数据，从而建立检索特征数据库；输入待查询图片并对该图片进行深度特征提取，得到待检索图像特征值，将所述待检索图像特征值与所述检索特征数据库中的所有特征值进行欧式距离计算并排序，输出排序结果。通过本发明专利技术的方案通过对现有技术的改进，提高了现有模型精度，这样既保证推理速度，又提高了检索精度。

Pedestrian recognition method, device and system based on Bayesian Optimization

The invention proposes a pedestrian recognition method, device and computer system based on Bayesian optimization technology. The method includes detecting pedestrian image data set in video by using depth target detection algorithm, obtaining all pedestrian image data of features to be extracted, extracting depth feature of all pedestrian image data detected, and obtaining all pedestrian image data in video There is eigenvalue data, so as to establish a retrieval feature database; input the image to be queried and extract the depth feature of the image to get the image eigenvalue to be retrieved, calculate and sort the eigenvalue of the image to be retrieved and all the eigenvalues in the retrieval feature database by Euclidean distance, and output the sorting result. Through the improvement of the prior art, the accuracy of the prior model is improved, so as to ensure the reasoning speed and improve the retrieval accuracy.

【技术实现步骤摘要】
基于贝叶斯优化技术的行人重识别方法、装置和系统
本专利技术涉及视频监控
，特别涉及一种基于贝叶斯优化技术的行人重识别方法、装置和计算机系统。
技术介绍
行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题。跨镜追踪技术ReID，简而言之，就是在不同的摄像设备(如监控摄像头，手机摄像头等)下将多人(最多可能到几千人)的场景拍摄下来，将不同的场景下出现的同一个人识别出来。ReID与人脸识别的主要不同是人脸是用来认证一个人的身份，而行人ReID是将同一个人在不同的摄像设备下对应起来，而不需要知道那个人的真实身份。给定一个监控行人图像，检索不同位置不同监控设备下的该行人图像。该技术是视频安全监控领域的核心技术，具有行人识别、检索和跟踪等重要应用。该任务的主要挑战在于人体遮挡严重、姿态和光线变化大等。近年来，随着行人重识别研究的深入，利用深度神经网络(DCNN)的方法取得了较好的效果。这些方法主要分成两类：第一种直接提取人体全身模型；第二种对人体局部特征进行分别处理再集成成局部模型。第一种方式模型参数量小，推理速度快，但是检索精度一般；第二种方式在行人重识别领域中取得目前最先进的性能，但是模型参数量巨大，使得特征推理和检索时的计算复杂度和时间大大提升。由于现实应用的安全监控场景中存在大量视频数据，第二种方式由于计算复杂度高、相应的硬件成本高，很难满足现实中实时处理需求。
技术实现思路
为解决上述技术问题，本专利技术提出了一种基于贝叶斯优化技术的行人重识别方法、装置和计算机系统，通过本专利技术的方案通过对现有技术的改进，提高了现有模型精度，这样既保证推理速度，又提高了检索精度。根据本专利技术的一个实施例，本专利技术提供了一种基于贝叶斯优化技术的行人重识别方法，所述方法包括，步骤S1、应用深度目标检测算法对视频中的行人图像数据集进行检测，得到待提取特征的行人图像数据；步骤S2、对检测到的行人图像数据进行深度特征提取，得到视频中行人的所有特征值数据，从而建立检索特征数据库；步骤S3、输入待查询图片并对该图片进行深度特征提取，得到待检索图像特征值，将所述待检索图像特征值与所述检索特征数据库中的所有特征值进行欧式距离计算并排序，输出排序结果。优选的，所述步骤S1具体包括，步骤S11、通过行人相关监控视频采集行人检测原始数据源，其中，所述监控视频以至少5fps保存为图片；步骤S12、利用深度目标检测算法对原始数据源图片中的每一帧图像进行检测，得到待提取特征的所有行人图像数据。优选的，所述深度目标检测算法包括Faster-RCNN算法，或者，SSD目标检测算法。优选的，所述步骤S2具体包括，步骤S21、构建前向传播的深度卷积神经网络，用如下公式表示：其中，I指的是输入的图片数据；f0指的是基础深度CNN网络，其包含卷积层和池化层；f1指的是瓶颈网络层，由单个卷积层、批归一化层、非线性激励函数层和Dropout层组成；FC指的是最后具有C个类别的分类层，s指的是最后输出的C维分类概率的特征向量，C为数据集中不同人的个数；步骤S22、基于深度卷积神经网络、联合损失函数以及贝叶斯优化技术获取最佳网络模型；步骤S23、加载所述最佳网络模型，去除网络层FC的权重参数，将检测到的行人图像数据输入到该网络模型中进行运算，得到视频中行人的所有特征值数据，从而建立检索特征数据库。优选的，所述步骤S22具体包括，步骤S221、构建如下联合损失函数，式中θ为三元损失函数作用的网络层参数，y为数据真实标签，为三元损失函数，为交叉熵分类损失函数，λ为两种损失函数的比例权重。其中，三元损失函数用如下公式表示：式中，为三元损失函数作用的网络层，a为基准图片数量，b为和基准图片为同一个人的图片数量，n为和基准图片不是同一个人的图片数量，Da，n为基准图片和相同类别图片提取出的特征向量之间的距离；Da，b为基准图片和不同类别图片提取出的特征向量之间的距离，m指的是距离之间的边界值；交叉熵分类损失函数用如下公式表示：其中，PK表示一次批量处理的图片数目，yi是第i个图片的类标,f代表由输入图片得到的特征向量,W是特征向量的权重参数；步骤S222、采用贝叶斯优化训练算法，设定优化参数域，通过迭代方式选取出最优超参数，对选取的最优超参数进行大轮数的常规训练，得到验证集，并根据联合损失函数公式评估出Loss函数值，重复训练，得到最佳网络模型。优选的，步骤S3、输入待查询图片并对该图片进行深度特征提取，得到待检索图像特征值，将所述待检索图像特征值与所述检索特征数据库中的所有特征值进行欧式距离计算并排序，输出排序结果，具体为，采用与步骤S2相同的特征提取方式提取出待查询图片的深度特征值，计算待检索图像的特征值与检索特征数据库中的所有深度特征值做欧氏距离，得到一系列的距离值，根据距离值的大小，按照从小到大的顺序进行排序，最后获得行人重识别结果。优选的，所述基础深度CNN网络采用Resnet50网络、Densnet201网络或Inception网络中的一种。优选的，所述距离之间的边界值m取0.3。优选的，所述大轮数为300次。根据本专利技术的一个实施例，本专利技术还提供了一种基于贝叶斯优化技术的行人重识别装置，所述装置包括，检测模块，用于应用深度目标检测算法对视频中的行人图像数据集进行检测；提取模块，用于对检测到的行人图像数据进行深度特征提取，得到视频中行人的所有特征值数据，从而建立检索特征数据库；处理模块，用于输入待查询图片并对该图片进行深度特征提取，得到待检索图像特征值，将所述待检索图像特征值与所述检索特征数据库中的所有特征值进行欧式距离计算并排序，输出排序结果。根据本专利技术的又一实施例，本专利技术提供了一种基于贝叶斯优化技术的行人重识别系统，所系统包括，存储器，存储可执行指令；一个或多个处理器与存储器通信以执行可执行指令从而完成以下操作：应用深度目标检测算法对视频中的行人图像数据集进行检测，得到待提取特征的所有行人图像数据；对检测到的所有行人图像数据进行深度特征提取，得到视频中行人的所有特征值数据，从而建立检索特征数据库；输入待查询图片并对该图片进行深度特征提取，得到待检索图像特征值，将所述待检索图像特征值与所述检索特征数据库中的所有特征值进行欧式距离计算并排序，输出排序结果。采用本专利技术的技术方案，有如下技术效果：1.在Market1501，CUHK03和DukeMTMC三个大规模公开数据集上进行测试，本专利技术提出的模型在CUHK03数据集上取得最好的效果，平均准确度达到85.3％，为业界领先，并且计算量和显存消耗量均显著低于业界先进算法，特别适合于人工智能场景化落地2.本专利技术提出的方法在推理内存和模型精度上综合考虑取得了最优效果。本文档来自技高网...

【技术保护点】
1.一种基于贝叶斯优化技术的行人重识别方法，其特征在于，所述方法包括，/n步骤S1、应用深度目标检测算法对视频中的行人图像数据集进行检测，得到待提取特征的所有行人图像数据；/n步骤S2、对检测到的所有行人图像数据进行深度特征提取，得到视频中行人的所有特征值数据，从而建立检索特征数据库；/n步骤S3、输入待查询图片并对该图片进行深度特征提取，得到待检索图像特征值，将所述待检索图像特征值与所述检索特征数据库中的所有特征值进行欧式距离计算并排序，输出排序结果。/n

【技术特征摘要】
1.一种基于贝叶斯优化技术的行人重识别方法，其特征在于，所述方法包括，
步骤S1、应用深度目标检测算法对视频中的行人图像数据集进行检测，得到待提取特征的所有行人图像数据；
步骤S2、对检测到的所有行人图像数据进行深度特征提取，得到视频中行人的所有特征值数据，从而建立检索特征数据库；
步骤S3、输入待查询图片并对该图片进行深度特征提取，得到待检索图像特征值，将所述待检索图像特征值与所述检索特征数据库中的所有特征值进行欧式距离计算并排序，输出排序结果。


2.根据权利要求1所述的基于贝叶斯优化技术的行人重识别方法，其特征在于，所述步骤S1具体包括，
步骤S11、通过行人相关监控视频采集行人检测原始数据源，其中，所述监控视频以至少5fps保存为图片；
步骤S12、利用深度目标检测算法对原始数据源图片中的每一帧图像进行检测，得到待提取特征的所有行人图像数据。


3.根据权利要求2所述的基于贝叶斯优化技术的行人重识别方法，其特征在于，所述目标检测算法可以是任何一种基于深度学习的目标检测算法,包括Faster-RCNN算法，或者，SSD目标检测算法。


4.根据权利要求1所述的基于贝叶斯优化技术的行人重识别方法，其特征在于，所述步骤S2具体包括，
步骤S21、构建前向传播的深度卷积神经网络，用如下公式表示：



其中，I指的是输入的图片数据；f0指的是基础深度CNN网络，其包含卷积层和池化层；f1指的是瓶颈网络层，由单个卷积层、批归一化层、非线性激励函数层和Dropout层组成；FC指的是最后具有C个类别的分类层，s指的是最后输出的C维分类概率向量，C为数据集中不同人的个数；
步骤S22、基于深度卷积神经网络、联合损失函数以及贝叶斯优化技术获取最佳网络模型；
步骤S23、加载所述最佳网络模型，去除网络层FC的权重参数，将检测到的行人图像数据输入到该网络模型中进行运算，得到视频中行人的所有特征值数据，从而建立检索特征数据库。


5.根据权利要求4所述的基于贝叶斯优化技术的行人重识别方法，其特征在于，所述步骤S22具体包括，
步骤S221、构建如下联合损失函数，



式中θ为三元损失函数作用的网络层参数，y为数据真实标签，为三元损失函数，为交叉熵分类损失函数，λ为两种损失函数的比例权重。
其中，三元损失函数使用瓶颈网络层输出的特征t，作用于基础网络f0和瓶颈网络层f1，用如下公式表示：



式中，θ为三元损失函数作用的网络层参数，a为基准图片，b为和基准图片为同一个人的图片，n为和基准图片不是同一个人的图片，Da，n为基准图片和相同类别图片提取出的特征向量之间的距离；Da，b为基准图片和不同类别图片提取出的特...

【专利技术属性】
技术研发人员：李震，邵汉阳，樊治国，
申请(专利权)人：上海高重信息科技有限公司，
类型：发明
国别省市：上海;31