一种基于深度网络的多策略全局人群分析方法技术

本发明专利技术提供一种基于深度网络多策略的全局人群分析方法。首先，监控区域建模，包括全局地图示意图绘制，建立图层在摄像头监控区域对全局图对应方向和范围建立图层，等待人群密度数据的导入。其次，对每个摄像头的监控场景，通过透视变换，得到呈现的监控图像的空间视角映射图，即摄像头侧视视角到地面的俯瞰视角映射。通过VGG16迁移学习法获取图像特征，将输入图像的预分块，通过步幅映射到特征层，将各个块的图像特征经过SWITCH判断，选择通过R1密度估计网络或是R2行人检测网络对图像进行密度估计或是行人检测操作。每块的行人检测或密度估计结果整合成密度图，并将估计的密度图经过透视变换在映射到图层上，方便对全局的人群情况进行精确监管。

A multi strategy global population analysis method based on deep network

The invention provides a global population analysis method based on deep network multi strategy. First of all, the monitoring area modeling, including global map sketch drawing, the establishment of a layer in the camera monitoring area corresponding to the direction and scope of the global map layer, waiting for the introduction of population density data. Secondly, for the monitoring scene of each camera, through perspective transformation, the spatial perspective map of the monitoring image is obtained, that is, the camera side view angle to the ground overlooking perspective map. The VGG16 migration learning method is used to obtain image features. The input image is pre-divided and mapped to feature layer by step. The image features of each block are judged by SWITCH. The R1 density estimation network or R2 pedestrian detection network is selected to estimate the image density or pedestrian detection operation. Each pedestrian detection or density estimation result is integrated into a density map, and the estimated density map is mapped to the map layer through perspective transformation, which is convenient for accurate monitoring of the global population situation.

【技术实现步骤摘要】
一种基于深度网络的多策略全局人群分析方法
本专利技术涉及一种人群计数和密度估计方法，尤其涉及一种基于深度网络的多策略全局人群分析方法，属于机器视觉人工智能

技术介绍
随着指数级的人口增长，都市化程度加深，大规模集会活动的人数和频率急剧增加，如法定假日的景区旅游，运动会，政治集会，公开展览等。为更好的管理，确保环境安全和人身安全，分析人群是十分必要的，行人检测和人群计数是目前的研究重点。目前检测和计数方法主要有：1、基于个体统计的方法通过摄像机的俯视图，检测人头，有效抗遮挡；人的身躯检测，通过各个人体部位的做检测；头肩模型，根据头肩的“Ω”形状检测。基本方法有HOG提取特征SVM用于特征分类。其他常用特征还有haar特征，Hough变换，类圆检测，使用的特创新之处一般在特征分析中加入多种特征。在分类中研究重点在于改进SVM，boosting分类器，或者使用各种分类器的组合。这类方法胡研究难点在于光线变化，人群拥挤时个体特征缺失。2、基于人群特征的分析基于人群特征的分析主要是针对个体分析中人群拥挤个体检测不精确的情况，直接提取人权特征，特征提取之后，进行特征回归。回归的方法一般为SVR、高斯回归、最小二乘法、岭回归等。现在的研究集中于通过特征提取，对不同的特征进行特征结合或者特征聚类，在聚类方法上做创新，回归过程的创新主要体现在对不同的特征选用不同的和核函数回归。光线变化，高密度人流或者开阔场景下导致计数不精确，行人检测处理时间较长；摄像头“远小近大”造成的透视是这类方法的研究难点。3、基于卷积神经网络的人数统计方式利用深度网络学习的图像特征，使其相较于传统图像特征有更强的泛化性、代表性，可以利用较多特征表征目标，计算量较大。比如安徽大学一篇硕士论文采用包含三层卷积和一层全连接层，其中每层卷积后都跟随有池化操作而激活函数则选用ReLU函数。在监控场景中，人群稀疏和密集情况是同时存在的，且人群分布呈不均匀趋势，同一监控摄像头下在不同时间呈现不同的分布态势。针对监控视频的这些特点，为更好的刻画监控场景的人群分布，针对同一场景在不同时间不同区域人群的表现形式，实现不同的目标(检测，计数)，本专利技术提供一种基于深度网络的多策略全局人群分析方法。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的不足，提供一种基于深度网络的多策略全局人群分析方法，用以克服复杂场景背景干扰以及行人遮挡等问题，进而实现对场景中人群密度的准确估计。为解决上述技术问题，本专利技术采用如下技术方案，一种基于深度网络的多策略全局人群分析方法，包括以下步骤：步骤S1，数据准备，包括如下子步骤，S11、对于同一场景下人群图片，选取同一摄像头一天的监控视频截取大量包含不同人群的帧；S12、选取单人步行通过监控区域的连续帧，根据人体头部目标中心点、人体高度、道路宽度及长度信息，估计透视模型，生成场景透视图模型；S13、对每帧的人群个体进行标记，采集的方法是在人的头部定点进行点标注，对于稀疏的可辨识行人头部，或完整躯干的图像采用标记框标记；S14、将标记图位置生成密度图；步骤S2，模型设计及训练阶段，包括如下子步骤，S21，训练数据选取，随机选取n张图片及对应的密度图，划分为k块不重叠区域的子图，将人均距离小于a1米或人均面积小于a2平方米的子图标记为密集，其余子图标记为稀疏；S22、构建神经网络模型，包括用于获得子图特征的顶层网络、用于将子图分为密集和稀疏两类的等级密度分类网络、用于预测密集区域人群密度的密度估计子网络R1、用于检测稀疏区域行人位置的行人检测子网络R2；S23、等级密度分类网络训练，根据S21中图像划分区域的范围，通过步幅映射从顶层网络的输出中提取对应子图的特征，将每块子图特征及在S21中定义的对应特征的密集和稀疏两类标签输入到等级密度分类网络中进行训练；S24，将密集子图特征以及密集子图对应的人群密度图输入到密度估计子网络R1中进行训练；S25，将稀疏子图特征特征以及对应的人头和躯干的包围框输入到行人检测子网络R2中进行训练；步骤S3，模型测试阶段，具体实现方式如下；对于一张输入测试图像，将图像分为不重叠的k块子图，经由步幅映射选取顶层网络输出中对应子图的特征，各块特征经训练好的全局密度等级分类网络，将图像中密集和稀疏区域分开，将分块的密集区域输入密度估计子网络R1中提取人群的密度图像，将稀疏区域输入到子网络R2中进行人体检测；然后将密度估计子网络R1的密度图输出结果拼接成原图像的密度图，将行人检测子网络R2中检测的标记框的顶部中心点进行标记，并将标记结果加入到拼接密度图中，场景人数表达为密度图各像素点累加结果；S4，数据分析使用，具体实现方式如下；；根据密度估计得到人群密度估计，采用各场景对应的透视模型投影映射，将各监控的密度图进行变换矫正视角畸变，根据现有的密度等级分类方法，将密度图分为极密集，密集，中等，稀疏，极稀疏五种，创建景区全局地图图层，根据监控相机的覆盖范围，以m米长度的距离作为分割将监控范围划分为若干块，每一块在地图图层的对应区域，分别计算密集等级并以不同色彩表征，将测试结果显示在对应的地图道路图层上，实现全局景区的整体人群密集情况分布图。进一步的，步骤S14中使用真实标记图与高斯核的卷积表示密度图，计算公式xi表示人头标记位置，δ(x-xi)表示人头位置的冲击函数，N表述人数总数，G为高斯核。进一步的，步骤S22中所述顶层网络包括通过迁移学习使用VGG16网络中的前10个固定参数的卷积层。进一步的，步骤S22中所述等级密度分类网络的结构为全局平均池化层、全连接层FC521、全连接层FC3，以及softmax层。进一步的，步骤S22中所述密度估计子网络R1的网络结构为Conv3-512-2，Conv3-512-2，Conv3-512-2，conv3-256-2，conv3-128-2，Conv3-64-2，Conv1-1-1；其中Conv3-512-2表示为卷积核大小为3，滤波器数量为512，空洞卷积结构步长为2。进一步的，步骤S22中所述行人检测子网络R2的网络结构为Max-pool，Conv3-512，Conv3-512，Conv3-512，Conv6-4096，Conv1-4096，Conv1-1000。进一步的，步骤S23中初始参数使用0.01标准差的高斯初始化，并使用随机梯度下降法训练等级密度分类网络。进一步的，步骤S24中所述密度估计网络R1使用真实密度图的欧式距离作为损失函数训练网络，获得网络参数，损失函数的表达式为N表示训练块尺寸，Z(Xi；Θ)表示在网络参数Θ下的网络输出，Xi表示输入图像，表示根据标记得到的密度图。进一步的，步骤S25中行人检测子网络R2通过交叉熵损失和边界损失训练网络，返回区域中检测到的目标，对同一人体头部，躯干标记为1人。本专利技术的优点和有益效果如下，本专利技术通过迁移学习使用VGG16网络中的前10个固定参数的卷积层获得子图特征，利用等级密度分类网络将图像分为密集估计块和行人检测块，提高同一场景下，密集和稀疏情况的行人计数和密度估计的鲁棒性。此外通过密度图在真实世界的投影，多摄像头图层拼接的方法，实现较大区域的联动监控。附图说明图1为本专利技术实施例流程图。图2为本专利技术本文档来自技高网...

【技术保护点】
1.一种基于深度网络的多策略全局人群分析方法，其特征在于，包括如下步骤：步骤S1，数据准备，包括如下子步骤，S11、对于同一场景下人群图片，选取同一摄像头一天的监控视频截取大量包含不同人群的帧；S12、选取单人步行通过监控区域的连续帧，根据人体头部目标中心点、人体高度、道路宽度及长度信息，估计透视模型，生成场景透视图模型；S13、对每帧的人群个体进行标记，采集的方法是在人的头部定点进行点标注，对于稀疏的可辨识行人头部，或完整躯干的图像采用标记框标记；S14、将标记图位置生成密度图；步骤S2，模型设计及训练阶段，包括如下子步骤，S21，训练数据选取，随机选取n张图片及对应的密度图，划分为k块不重叠区域的子图，将人均距离小于a1米或人均面积小于a2平方米的子图标记为密集，其余子图标记为稀疏；S22、构建神经网络模型，包括用于获得子图特征的顶层网络、用于将子图分为密集和稀疏两类的等级密度分类网络、用于预测密集区域人群密度的密度估计子网络R1、用于检测稀疏区域行人位置的行人检测子网络R2；S23、等级密度分类网络训练，根据S21中图像划分区域的范围，通过步幅映射从顶层网络的输出中提取对应子图的特征，将每块子图特征及在S21中定义的对应特征的密集和稀疏两类标签输入到等级密度分类网络中进行训练；S24，将密集子图特征以及密集子图对应的人群密度图输入到密度估计子网络R1中进行训练；S25，将稀疏子图特征特征以及对应的人头和躯干的包围框输入到行人检测子网络R2中进行训练；步骤S3，模型测试阶段，具体实现方式如下；对于一张输入测试图像，将图像分为不重叠的k块子图，经由步幅映射选取顶层网络输出中对应子图的特征，各块特征经训练好的全局密度等级分类网络，将图像中密集和稀疏区域分开，将分块的密集区域输入密度估计子网络R1中提取人群的密度图像，将稀疏区域输入到子网络R2中进行人体检测；然后将密度估计子网络R1的密度图输出结果拼接成原图像的密度图，将行人检测子网络R2中检测的标记框的顶部中心点进行标记，并将标记结果加入到拼接密度图中，场景人数表达为密度图各像素点累加结果；S4，数据分析使用，具体实现方式如下；；根据密度估计得到人群密度估计，采用各场景对应的透视模型投影映射，将各监控的密度图进行变换矫正视角畸变，根据现有的密度等级分类方法，将密度图分为极密集，密集，中等，稀疏，极稀疏五种，创建景区全局地图图层，根据监控相机的覆盖范围，以m米长度的距离作为分割将监控范围划分为若干块，每一块在地图图层的对应区域，分别计算密集等级并以不同色彩表征，将测试结果显示在对应的地图道路图层上，实现全局景区的整体人群密集情况分布图。...

【技术特征摘要】
1.一种基于深度网络的多策略全局人群分析方法，其特征在于，包括如下步骤：步骤S1，数据准备，包括如下子步骤，S11、对于同一场景下人群图片，选取同一摄像头一天的监控视频截取大量包含不同人群的帧；S12、选取单人步行通过监控区域的连续帧，根据人体头部目标中心点、人体高度、道路宽度及长度信息，估计透视模型，生成场景透视图模型；S13、对每帧的人群个体进行标记，采集的方法是在人的头部定点进行点标注，对于稀疏的可辨识行人头部，或完整躯干的图像采用标记框标记；S14、将标记图位置生成密度图；步骤S2，模型设计及训练阶段，包括如下子步骤，S21，训练数据选取，随机选取n张图片及对应的密度图，划分为k块不重叠区域的子图，将人均距离小于a1米或人均面积小于a2平方米的子图标记为密集，其余子图标记为稀疏；S22、构建神经网络模型，包括用于获得子图特征的顶层网络、用于将子图分为密集和稀疏两类的等级密度分类网络、用于预测密集区域人群密度的密度估计子网络R1、用于检测稀疏区域行人位置的行人检测子网络R2；S23、等级密度分类网络训练，根据S21中图像划分区域的范围，通过步幅映射从顶层网络的输出中提取对应子图的特征，将每块子图特征及在S21中定义的对应特征的密集和稀疏两类标签输入到等级密度分类网络中进行训练；S24，将密集子图特征以及密集子图对应的人群密度图输入到密度估计子网络R1中进行训练；S25，将稀疏子图特征特征以及对应的人头和躯干的包围框输入到行人检测子网络R2中进行训练；步骤S3，模型测试阶段，具体实现方式如下；对于一张输入测试图像，将图像分为不重叠的k块子图，经由步幅映射选取顶层网络输出中对应子图的特征，各块特征经训练好的全局密度等级分类网络，将图像中密集和稀疏区域分开，将分块的密集区域输入密度估计子网络R1中提取人群的密度图像，将稀疏区域输入到子网络R2中进行人体检测；然后将密度估计子网络R1的密度图输出结果拼接成原图像的密度图，将行人检测子网络R2中检测的标记框的顶部中心点进行标记，并将标记结果加入到拼接密度图中，场景人数表达为密度图各像素点累加结果；S4，数据分析使用，具体实现方式如下；；根据密度估计得到人群密度估计，采用各场景对应的透视模型投影映射，将各监控的密度图进行变换矫正视角畸变，根据现有的密度等级分类方法，将密度图分为极密集，密集，中等，稀疏，极稀疏五种，创建景区全局地图图层，根据监控相机的覆盖范围，以m米长度的...

【专利技术属性】
技术研发人员：郑宏，赵云峰，姜寿林，张莹，
申请(专利权)人：苏州平江历史街区保护整治有限责任公司，
类型：发明
国别省市：江苏,32