一种基于人工特征与深度特征融合的行人重识别方法技术

本发明专利技术涉及视觉追踪与目标检测领域，具体提供了一种基于人工特征与深度特征融合的行人重识别方法。与现有技术相比，本发明专利技术的基于人工特征与深度特征融合的行人重识别方法，分为以下步骤，S101、行人检测：选用半监督的学习方法；S102、特征提取与特征融合：选用人工特征和深度特征融合的方法对图像进行特征表示；S103、特征距离度量：选用标准特征度量方法‑欧式距离度量特征之间的距离，判读是否为同一个人；S104、离线建模和S105、在线检索。利用人工特征和深度特征的融合，获得有效的具有区分性的行人特征；通过距离学习方法，有效区分特征的重要性，提高度量准确度；采用离线训练模型和在线图像检索的方式，有效避免长时间的训练过程，效果大幅度提高，具有良好的推广价值。

A pedestrian recognition method based on the fusion of artificial feature and depth feature

【技术实现步骤摘要】
一种基于人工特征与深度特征融合的行人重识别方法
本专利技术涉及视觉追踪与目标检测领域，具体提供一种基于人工特征与深度特征融合的行人重识别方法。
技术介绍
行人重识别技术是帮助建立智慧城市、智能安防，解放人力检索的重要技术手段，也是解决多摄像头监控视频中的特定行人检测问题。例如在公共安全领域，行人重识别可以帮助快速筛查可疑人员，在新零售领域意义重大，可以获取顾客的行动轨迹，帮助建立顾客行为数据库，提供定制化服务等应用。在传统的监控中，完成上述行为需要耗费大量的人力、物力和时间。人脸是有效的区分行人的重要特征，而在监控视频中，由于摄像头放置角度问题，视频质量问题以及其他影响因素，并不能直截了当的获取人脸特征信息，需要根据行人着装等外貌特征进行判断。其次，视频质量会受到摄像头安放角度、光照条件等因素影响，同一行人在不同的视频中特征差别较大，给识别带来困难，因此，寻找更为有效的特征表示成为行人重识别技术的关键问题之一。行人重识别的另一个关键问题是距离度量方式，由于多个视频中样本分布的差异性，需要设计合理的度量方法计算目标行人与候选目标的匹配度。
技术实现思路
本专利技术是针对上述现有技术的不足，提供一种实用性强的基于人工特征与深度特征融合的行人重识别方法。本专利技术解决其技术问题所采用的技术方案是：一种基于人工特征与深度特征融合的行人重识别方法,分为以下步骤,S101、行人检测：选用半监督的学习方法，用深度学习目标的方法定位行人的位置信息得到坐标值，学习位置区域的图像特征信息，简化数据标记；S102、特征提取与特征融合：选用人工特征和深度特征融合的方法对图像进行特征表示，人工特征选用Dense-SIFT特征，深度特征选用卷积神经网络；S103、特征距离度量：选用标准特征度量方法-欧式距离度量特征之间的距离，判读是否为同一个人。S104、离线建模：利用步骤S103中提取的特征训练离线模型；S105、在线检索：对视频帧图像进行候选目标行人检索，对其进行行人检测和特征提取，选择距离最短的特征作为选定目标。进一步的，在步骤S101中，训练行人检测模型，对视频逐帧进行检测，选取不同时段内作为背景帧图像，提取背景帧后，采用基于LBP纹理的减背景方法，对背景进行建模，背景建模后，逐帧图像与背景图像进行匹配，分离背景与前景图像，分离图像背景以及前景行人信息。进一步的，进行分离背景与前景图像时，统计一个区域内的纹理构建纹理直方图，对图像进行表示，当获取新的视频图像后，计算其纹理直方图与背景图比较，设置阈值，判断前景信息，逐一比较当前帧的像素点LBP纹理直方图与背景图对应位置像素的纹理直方图，若大于阈值则为前景。进一步的，在步骤S102中，人工特征选用Dense-SIFT特征，所述特征多用于特征匹配技术，Dense-SIFT特征可以完成不同摄像头中同一个目标的特征匹配，用于在同一行人不同的监控视频中，避免出现较大的差别。作为优选，深度特征采用分类损失函数和三元组损失函数的混合损失函数训练卷积神经网络，进行特征学习，得到图像帧的高层语义特征。进一步的，特征融合后选用标准特征度量方法-欧式距离来度量特征之间的距离，计算特征间的欧式距离会赋予所有特征相同的权重。进一步的，权重的选择为人工特征和深度特征对分类操作的贡献度，将所述的贡献度作为距离度量是的权重。进一步的，在步骤S105中，不同特征对于分类的贡献度不同，将其对于分类的精度作为特征的权重添加到欧式距离度量方法中，标准方法中对每一类特征权重相同，度量待检测图像的特征与训练图像的特征距离，选择距离最短的特征作为选定的目标。本专利技术的一种基于人工特征与深度特征融合的行人重识别方法和现有技术相比，具有以下突出的有益效果：(1)采用人工特征和深度特征的融合，利用数据集的标签信息以及图像对相似性信息，使得在数据集较小的情况下也可以获得有效的具有区分性的行人特征。(2)通过距离学习方法，获得一个新的距离度量空间，这样可以有效区分特征的重要性，提高度量准确度。(3)为提高行人重识别的检索效率，采用离线训练模型和在线图像检索的方式，这样可以有效避免长时间的训练过程，效果大幅度提高。综上所述，本专利提出的一种基于人工特征与深度特征融合的行人重识别方法，在建立智能安防、新零售行业、人机交互、图像聚类等方便具有重要的研究价值。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图1是一种基于人工特征与深度特征融合的行人重识别方法的流程示意图。具体实施方式为了使本
的人员更好的理解本专利技术的方案，下面结合具体的实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本专利技术保护的范围。下面给出一个最佳实施例：如图1所述，本实施例中的基于人工特征与深度特征融合的行人重识别方法，分为以下步骤,S101、行人检测：选用半监督的学习方法，用深度学习目标的方法定位行人的位置信息得到坐标值，学习位置区域的图像特征信息，简化数据标记；S102、特征提取与特征融合：选用人工特征和深度特征融合的方法对图像进行特征表示，人工特征选用Dense-SIFT特征，深度特征选用卷积神经网络；S103、特征距离度量：选用标准特征度量方法-欧式距离度量特征之间的距离，判读是否为同一个人。S104、离线建模：利用步骤S103中提取的特征训练离线模型；S105、在线检索：对视频帧图像进行候选目标行人检索，对其进行行人检测和特征提取，选择距离最短的特征作为选定目标。行人重识别技术面临的挑战之一是数据集缺失,但是在传统的监督学习方法需要大量的标注数据,需要耗费大量的人力、物力和时间，因此可以用于训练的数据集少且规模不大。在步骤S101中选用半监督的学习方法，用深度学习目标检测的方法定位行人的位置信息得到坐标值，学习位置区域的图像特征信息，简化数据标记。由于监控视频中摄像头位置固定，因此背景静止不变，会收到光照变化因素影响。所以，首先训练行人检测模型，对视频逐帧进行检测，选取不同时段内不包含人和其他车辆等移动物体的帧作为背景帧图像。提取背景帧后，采用基于LBP纹理的减背景方法，对背景进行建模。背景建模后，逐帧图像与背景图像进行匹配，分离背景与前景图像，分离图像背景以及前景行人信息。方法如下，统计一个区域内的纹理构建纹理直方图，对图像进行表示。当获取新的视频图像后，计算其纹理直方图与背景图比较，设置阈值，判断前景信息，逐一比较当前帧的像素点LBP纹理直本文档来自技高网...

【技术保护点】
1.一种基于人工特征与深度特征融合的行人重识别方法,其特征在于,分为以下步骤,/nS101、行人检测：选用半监督的学习方法，用深度学习目标的方法定位行人的位置信息得到坐标值，学习位置区域的图像特征信息，简化数据标记；/nS102、特征提取与特征融合：选用人工特征和深度特征融合的方法对图像进行特征表示，人工特征选用Dense-SIFT特征，深度特征选用卷积神经网络；/nS103、特征距离度量：选用标准特征度量方法-欧式距离度量特征之间的距离，判读是否为同一个人；/nS104、离线建模：利用步骤S103中提取的特征训练离线模型；/nS105、在线检索：对视频帧图像进行候选目标行人检索，对其进行行人检测和特征提取，选择距离最短的特征作为选定目标。/n

【技术特征摘要】
1.一种基于人工特征与深度特征融合的行人重识别方法,其特征在于,分为以下步骤,
S101、行人检测：选用半监督的学习方法，用深度学习目标的方法定位行人的位置信息得到坐标值，学习位置区域的图像特征信息，简化数据标记；
S102、特征提取与特征融合：选用人工特征和深度特征融合的方法对图像进行特征表示，人工特征选用Dense-SIFT特征，深度特征选用卷积神经网络；
S103、特征距离度量：选用标准特征度量方法-欧式距离度量特征之间的距离，判读是否为同一个人；
S104、离线建模：利用步骤S103中提取的特征训练离线模型；
S105、在线检索：对视频帧图像进行候选目标行人检索，对其进行行人检测和特征提取，选择距离最短的特征作为选定目标。


2.根据权利要求1所述的一种基于人工特征与深度特征融合的行人重识别方法，其特征在于，在步骤S101中，训练行人检测模型，对视频逐帧进行检测，选取不同时段内作为背景帧图像，提取背景帧后，采用基于LBP纹理的减背景方法，对背景进行建模，背景建模后，逐帧图像与背景图像进行匹配，分离背景与前景图像，分离图像背景以及前景行人信息。


3.根据权利要求2所述的一种基于人工特征与深度特征融合的行人重识别方法，其特征在于，进行分离背景与前景图像时，统计一个区域内的纹理构建纹理直方图，对图像进行表示，当获取新的视频图像后，计算其纹理直方图与背景图比较，设置阈值，判断前景信息，逐一比较当前帧的像素点LBP纹理直方图...

【专利技术属性】
技术研发人员：李雪，李锐，金长新，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东;37