面向监控视频的行人属性预测方法技术

本发明专利技术属于智能监控领域，为实现在存在人员流动的监控环境下，通过输入行人的属性特征来检索所有出现在视频中符合特征要求的行人，从而提高监控人员的检索效率。本发明专利技术采用的技术方案是，面向监控视频的行人属性预测方法，使用等间隔采样等方法对监控视频数据进行采样，得到一系列监控视频帧，之后采用行人检测的方法来检测视频中存在的行人，并截取出行人图像；将得到的行人图像数据送入行人精细化识别网络，生成一系列行人的属性信息，最终将这些行人图像及其属性与原视频帧进行整合，构造检索系统，最终实现通过输入行人的属性特征快速检索到符合检索条件的行人图像和视频帧。本发明专利技术主要应用于智能监控场合。

【技术实现步骤摘要】
面向监控视频的行人属性预测方法
本专利技术属于智能监控领域，具体讲,涉及面向监控视频的行人属性预测方法。
技术介绍
近年来，城市中的监控摄像头已经得到了广泛的普及，不论是在室内还是在室外，处处都可以看见监控摄像在为人们的安全保驾护航。监控摄像头数量的增长能够对犯罪分子起到威慑作用，降低犯罪率。监控视频的检索对安防具有重要意义，通过回放监控视频可以为警察侦破案件提供信息，是还原案件的主要手段。工作人员通过对监控视频进行检索，可以直观的了解到事件发生的经过，同时根据已知信息定位目标。可以说，监控视频的检索已经成为还原犯罪事件，搜寻犯罪分子最主要的手段，对于社会的长治久安具有重大意义。但是，随着监控摄像头的普及，所产生的监控视频数据也随其发展而大量增长，这导致了对监控视频的处理变得困难，人们往往需要大量的时间和精力才能在监控视频中搜索到想要的信息。如何有效地处理海量的监控视频，保留有用信息，去除冗余信息，使人们能够快速的从监控视频中得到想要的信息，变得十分重要。采用计算机视觉技术对监控视频进行分析处理是解决这一问题的主流方法。其目的是使得监控视频的处理更加智能化，自动化。监控视频下的行人检索系统目的就是代替传统的基于人工的检索方式，减少所需的人力和时间。其方法的主要思想是利用物体检测模型对视频帧所包含的内容进行属性分类，从而使得人们能够利用生成的标签信息来检索到相应的视频帧。利用基于文本的监控视频检索系统，可以大大提高检索效率，为海量监控视频检索提供高效率方法。同时，能够避免人工检索中因为疲劳等原因所造成的信息遗漏，并且节省人力资源，提高工作效率。监控视频检索就是要从大量的监控视频数据中找到所需要的视频帧或者视频片段。现有的监控视频检索大多是基于图像或视频片段的搜索，这种方法的核心思想是先对待查询视频进行结构化分析，例如提取关键帧，镜头分割，再分别对查询图像和待检索视频的关键帧、镜头等进行特征提取，最后通过计算两者之间的相似度进行检索。另一类视频的检索方式是通过文本关键词来进行检索，其通过对视频图像进行分类，生成标签，建立索引。在监控视频检索领域，基于文本的检索方法不是很多，原因在于对视频的文本描述需要跨越语义鸿沟，这是多媒体分析领域的难点问题。但是，随着近年来图像检测与图像分类方法的兴起，使得这类方式的实现成为可能。近些年，基于深度学习的图像检测方法开始兴起，卷积神经网络被广泛应用于物体的检测与分类以及图像的其他应用领域。这些应用都使用了大量的带有标签的数据来训练模型，比如人脸检测，交通信号识别，细粒度分类。2015年，RossB.Girshick及其团队基于卷积神经网络提出了快速区域卷积神经网络faster-RCNN模型，该模型能够快速准确的识别图像中存在的各类物体，在PASCALVOC2007数据集上的平均准确率mAP达到了73％。这使得图像的自动标注成为可能，也为监控视频检索中自动生成视频帧的文本信息提供了基础。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种面向监控视频的行人属性预测方法，主要应用在存在人员流动的监控环境下，可以通过输入行人的属性特征来检索所有出现在视频中符合特征要求的行人，从而提高监控人员的检索效率。本专利技术采用的技术方案是，面向监控视频的行人属性预测方法，使用等间隔采样等方法对监控视频数据进行采样，得到一系列监控视频帧，之后采用行人检测的方法来检测视频中存在的行人，并截取出行人图像；将得到的行人图像数据送入行人精细化识别网络，生成一系列行人的属性信息，最终将这些行人图像及其属性与原视频帧进行整合，构造检索系统，最终实现通过输入行人的属性特征快速检索到符合检索条件的行人图像和视频帧。行人精细化识别网络包含两个子网络，分别是精细化类别识别网络和精细化颜色识别网络，两个子网络分别训练，都采用faster-RCNN模型来实现，行人的属性根据用户指定设置，首先构建训练数据，通过人工标注行人图像中行人的性别和头部，上衣，下衣，包的位置及其属性得到训练数据，之后分别训练精细化类别识别网络和精细化颜色识别网络；精细化类别识别网络是将头的位置及其头发长短，上衣位置及其类别，下衣位置及其类别，包的位置及其类别等一起作为类别标签送入faster-RCNN网络进行训练，最终训练得到的网络能够检测出行人身体各部分和包的位置，及其个部分所属的种类，精细化颜色识别网络是将上衣位置及其颜色，下衣位置及其颜色，包的位置及其颜色一起作为类别标签送入faster-RCNN网络进行训练，最终训练得到的网络能够检测出行人身体各部分和包的位置，及其个部分所属的颜色。行人的属性包括头发长度，上衣类别，上衣颜色，下衣类别，下衣颜色，包的种类，包的颜色内容；更进一步具体来说，其中头发长度包含长发和短发类别，上衣包含衬衫、T恤衫、外套、羽绒服和其他种类上衣类别，下衣包含长裤、短裤、长裙、短裙和其他种类下衣类别，包的种类包括单肩包、双肩包、拉杆箱、钱包和其他种类包类别，颜色包含黑、白、红、黄、蓝、绿、紫、棕、灰、橙多色类别。faster-RCNN网络进行训练具体步骤是，首先对图像提取CNN特征，得到整张图片的特征图，之后将特征图送入区域建议网络得到行人各部分的候选区域，将得到的区域建议作用到特征图上，得到各候选区域的CNN特征，之后经过ROI池化层将不同的区域特征映射到相同维度，最后将特征分别送入分类器进行分类和进行边界框的回归，得到最终的精细化类别和精细化颜色分类结果。本专利技术的特点及有益效果是：本专利技术主要是对监控视频中行人的精细化属性进行智能分析，设计适用于监控视频下行人的检索任务，其优势主要体现在：(1)新颖性：设计了基于faster-RCNN的行人精细化识别网络。(2)有效性：通过实验证明了该系统能够根据检索词准确高效的检索出符合条件的行人图像及其所属的视频帧。(3)实用性：可直接应用到各类监控系统中，对于监控人员查找事件关键人物，还原事件具有现实意义。附图说明：图1是精细化识别网络原理图。图2是利用行人精细化识别构造的检索系统。具体实施方式本专利技术属于属于智能监控领域，针对监控场景下行人的外观特点，首先利用深度学习的方法对行人进行检测，再对行人进行精细化的识别，得到行人的精细化属性。根据行人图像及其属性标签可以构建智能化检索系统，目的是使得监控人员能够根据行人的属性信息快速检索到行人图像，提高检索的效率和检索精度。本专利技术提供一种面向监控视频的行人属性预测方法，主要应用在存在人员流动的监控环境下。将一整段监控视频数据送入检索系统，首先进行监控视频帧的提取。然后，利用行人检测技术检测到行人后，将行人区域送入基于区域卷积神经网络RCNN等物体检测模型的行人精细化识别网络，生成一系列行人的属性标签(如上衣颜色，头发长度)。最终将这些标签与行人所在的视频帧联系起来，可以通过输入行人的属性特征来检索所有出现在视频中符合特征要求的行人，从而提高监控人员的检索效率。本专利技术所提供的主要方法为：使用等间隔采样等方法对监控视频数据进行采样，得到一系列监控视频帧，之后采用行人检测的方法来检测视频中存在的行人，并截取出行人图像。将得到的行人图像数据送入行人精细化识别网络，生成一系列行人的属性信息(如上衣颜色)，最终将这些行人图像及其属性与本文档来自技高网...

【技术保护点】
一种面向监控视频的行人属性预测方法，其特征是，使用等间隔采样等方法对监控视频数据进行采样，得到一系列监控视频帧，之后采用行人检测的方法来检测视频中存在的行人，并截取出行人图像；将得到的行人图像数据送入行人精细化识别网络，生成一系列行人的属性信息，最终将这些行人图像及其属性与原视频帧进行整合，构造检索系统，最终实现通过输入行人的属性特征快速检索到符合检索条件的行人图像和视频帧。

【技术特征摘要】
1.一种面向监控视频的行人属性预测方法，其特征是，使用等间隔采样等方法对监控视频数据进行采样，得到一系列监控视频帧，之后采用行人检测的方法来检测视频中存在的行人，并截取出行人图像；将得到的行人图像数据送入行人精细化识别网络，生成一系列行人的属性信息，最终将这些行人图像及其属性与原视频帧进行整合，构造检索系统，最终实现通过输入行人的属性特征快速检索到符合检索条件的行人图像和视频帧。2.如权利要求1所述的面向监控视频的行人属性预测方法，其特征是，行人精细化识别网络包含两个子网络，分别是精细化类别识别网络和精细化颜色识别网络，两个子网络分别训练，都采用快速区域卷积神经faster-RCNN网络来实现，行人的属性根据用户指定设置，首先构建训练数据，通过人工标注行人图像中行人的性别和头部，上衣，下衣，包的位置及其属性得到训练数据，之后分别训练精细化类别识别网络和精细化颜色识别网络；精细化类别识别网络是将头的位置及其头发长短，上衣位置及其类别，下衣位置及其类别，包的位置及其类别等一起作为类别标签送入faster-RCNN网络进行训练，最终训练得到的网络能够检测出行人身体各部分和包的位置，及其个部分所属的种类，精细化颜色识别网...

【专利技术属性】
技术研发人员：郑伟雄，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12