一种面向无人机图像的人群聚集密度分析方法技术

本发明专利技术提供了一种面向无人机图像的人群聚集密度分析方法，能够将密度估计和人群计数分任务并列进行，共享特征信息，提高预测效果；采用基于数据场的人群拥堵点和基于相对密度的拥堵等级可视化方法，全方位地展示人群聚集程度和空间分布状况。无人机图像经过基于多尺度和多任务学习相结合的深度卷积神经网络的人群识别算法处理之后，将得到人群计数的精确结果及人群密度估计结果即概率密度图。人群计数结果可以从数量角度分析人群聚集状态，概率密度图将用于可视化展示过程从空间角度分析人群聚集空间分布。

An analysis method of crowd density for UAV image

【技术实现步骤摘要】
一种面向无人机图像的人群聚集密度分析方法
本专利技术属于计算机应用
，具体涉及一种面向无人机图像的人群聚集密度分析方法。
技术介绍
人群聚集密度分析是在行人聚集场所中识别和发现人群分布情况。广场等行人聚集区域往往存在安全隐患，人群聚集密度分析有利于预防和处理踩踏拥挤等事故的。现有人群聚集分析的主要方法有根据动态视频识别行人、在非俯视图中识别行人以及在空中拍摄的俯视图中识别行人。其中，动态视频识别成本高；非俯视图像涵盖的人群范围小，不能涵盖人群周围环境等整体信息，无法适应无人机图像中大范围的人群分析；在俯视图识别行人的方法中，采用神经网络算法进行人群聚集分析，不存在上述两种方法存在的问题，但是会受到图像大小的限制，对于不同拍摄距离下的人群图像检测效果也不是很理想，并且在可视化的过程中对于标注信息的依赖过大，现有常用的可视化方法是通过自适应高斯核函数生成密度图，这种方法对于标注信息依赖过大，如果不包含标注信息，则无法生成密度图。具体地，在俯视图识别行人的方法中，现有的采用神经网络算法进行人群聚集分析，比如VishwanathA.Sindagi等人设计了一种基于先验和多任务学习相结合的卷积神经网络的人群聚集密度分析方法，用于对俯拍获得的图像进行分析，该方法将人数密集和稀疏的数据集提前分组，然后分开训练模型。该网络中共享特征提取层将训练人数估计模型和密度估计模型分开训练，从而达到多任务的效果，克服了全连接层对于图像大小的限制。但是由于该网络特征提取的尺度是单一的，该网络对于不同大小的图像的识别效果不好。通过密度估计得到的结果以密度图的形式进行可视化展示，可视化效果不好，不够直观。上海科技大学张莹莹等人提出一种基于多列的卷积神经网络结构算法，将人群概率密度图估计的过程分为多个单独的网络结构得到不同的概率密度图，最后进行融合，从而在一定程度上解决了不同距离拍摄的图像识别准确率差异较大的问题。但由于该网络在多个子网络结构间缺乏特征信息的共享，该方法对于近距离的人群识别的MAE与MSE指数仍然高达400，存在较大改进空间，其网络全连接层的操作限制了图像的大小，也为图像预处理增加了难度。该方法通过自适应高斯核函数确定图像中人头像素大小，得到密度图展示，可视化效果有了一定提升，但较多依赖于标注信息，且无法直观展示人群聚集中心点与聚集状态。可见，现有的基于卷积神经网络算法识别俯视图中行人的方法对于不同大小、不同拍摄距离下的人群图像识别效果并不理想，且人群聚集状态的可视化方法也存在不够直观、对标注信息依赖较大等问题。
技术实现思路
有鉴于此，本专利技术提供了一种面向无人机图像的人群聚集密度分析方法，能够将密度估计和人群计数分任务并列进行，共享特征信息，提高预测效果；采用基于数据场的人群拥堵点和基于相对密度的拥堵等级可视化方法，全方位地展示人群聚集程度和空间分布状况。为实现上述目的，本专利技术的一种面向无人机图像的人群聚集密度分析方法，采用卷积神经网络对无人机图像进行人群识别提取，包括人群计数部分以及密度估计部分，其中人群计数部分输出为人群计数结果，密度估计部分输出为人群密度估计结果，其中，在卷积神经网络中构建多尺度共享特征提取部分，所述多尺度共享特征提取部分包括特征共享层以及多个不同尺度的输入卷积层，所述输入卷积层用于接收无人机图像，输出对应尺度的特征图；特征共享层用于将多个输入卷积层输出的特征图进行连接，并最终通过卷积操作输出特征图至人群计数部分以及密度估计部分；其中，输入卷积层的数目和各自的大小根据无人机拍摄高度的范围确定；将人群密度估计结果记为密度概率矩阵，基于密度概率矩阵，采用基于数据场拥堵点的可视化方法或基于视场系数的密度可视化方法对人群聚集程度与分布进行可视化，两种可视化方法单独采用或同时进行；其中，基于数据场拥堵点的可视化方法中，将密度概率矩阵上数值不为0的点视为带有该值权重的单个人，提取密度概率矩阵的每个非0点的坐标和密度值；利用拟核力场势函数对每个点计算该点受其它所有点或者一定范围内的点影响的势能值之和，预设一个势能值阈值，将超过该阈值的点设置为拥堵点；其中，拟核力场的势函数为：其中，x，y为对应点的坐标，m为超参数，σ值取4.0，k表示距离指数；基于视场系数的密度可视化方法中，通过视场系数的相对密度方法实现对人群聚集总体状况分析和拥堵等级划分，所述相对密度为原始概率与视场系数的比值，所述视场系数为密度估计得到的密度概率矩阵中概率最大的值。其中，当拍摄高度高于80米时，输入卷积层尺寸小于3×3；当高度低于40米时，输入卷积层尺寸大于9×9。其中，基于数据场拥堵点的可视化过程中，在拥堵点的基础上通过中心画圆方法，对应HSL色盘得到热力图，将热力图羽化，浮于原图之上，得到对应的密度图。其中，将无人机图像添加标注信息之后用于卷积神经网络训练，卷积层输入无人机图像的图片信息，所述标注信息用于在训练过程中计算损失函数优化模型，所述添加标注信息的步骤如下：步骤11，数据标注：手工标注输入无人机图像，生成具有标注信息的.mat格式文件；其中每个文件中存储一个二维数字矩阵，矩阵的大小与图像大小一致，对于图像中所有存在人头的中心位置像素(a,b)，将矩阵中对应位置的值设置为1，其他不存在人头的位置的值设置为0；步骤12，通过高斯函数处理.mat格式文件保存的图像标注矩阵得到概率形式的标注文件；取二维矩阵中标注为1的所有点，假设坐标为(a,b)，对于该点周围15×15大小矩阵内的其他点，将其坐标(x,y)代入以(a,b)点为中心的二维高斯分布函数，得到基于高斯分布的概率值，然后将15×15矩阵内的所有值进行归一化；其中不同点生成矩阵时若有重叠区域，重叠部分将概率值相加，在图像边缘区域减小选取的矩阵大小，处理完之后概率值保存在.csv格式的文件中；其中使用的二维高斯函数公式如下，其中σ值取4.0：其中，所述人群计数部分包括4个不连续卷积层和全连接阶段；4个不连续卷积层分别有16个9×9的卷积核、32个7×7的卷积核、16个7×7的卷积核和8个7×7的卷积核，每一不连续卷积层后连接着相应的预激活函数PReLU；全连接阶段由三个全连接层组成，每个全连接层后都有一个PReLU的激活函数，首层包含512个小神经单元，其后为256个小神经单元，最后一层是一个网络组合层，包含10个神经单元和sigmoid层，表示输入图像的计数类别；通过最小化是人群计数估计部分的损失函数得到最优的网络参数组合，构建最优网络模型，从而得到人群计数结果，所述是人群计数估计部分的损失函数定义如下：其中，Lc是先验阶段的损失函数，N即为训练的数量，Θ是初始化的网络参数，Xi是其中的第i个的训练实例，FC(Xi，Θ)即为输出类别，yi是真实的分类，M是类别的数量。其中，所述密度估计部分包括4个不连续卷积层、2个连续卷积层和2个反卷积层；4个不连续卷积层分别有20个7×7的卷积核、40个5×5的卷积核、20个5×5的卷积核和10个5×5的卷积核，本文档来自技高网...

【技术保护点】
1.一种基于无人机图像的人群聚集密度分析方法，采用卷积神经网络对无人机图像进行人群识别提取，包括人群计数部分以及密度估计部分，其中人群计数部分输出为人群计数结果，密度估计部分输出为人群密度估计结果，其特征在于，在卷积神经网络中构建多尺度共享特征提取部分，所述多尺度共享特征提取部分包括特征共享层以及多个不同尺度的输入卷积层，所述输入卷积层用于接收无人机图像，输出对应尺度的特征图；特征共享层用于将多个输入卷积层输出的特征图进行连接，并最终通过卷积操作输出特征图至人群计数部分以及密度估计部分；其中，输入卷积层的数目和各自的大小根据无人机拍摄高度的范围确定；/n将人群密度估计结果记为密度概率矩阵，基于密度概率矩阵，采用基于数据场拥堵点的可视化方法或基于视场系数的密度可视化方法对人群聚集程度与分布进行可视化，两种可视化方法单独采用或同时进行；/n其中，基于数据场拥堵点的可视化方法中，将密度概率矩阵上数值不为0的点视为带有该值权重的单个人，提取密度概率矩阵的每个非0点的坐标和密度值；利用拟核力场势函数对每个点计算该点受其它所有点或者一定范围内的点影响的势能值之和，预设一个势能值阈值，将超过该阈值的点设置为拥堵点；其中，拟核力场的势函数为：/n...

【技术特征摘要】
1.一种基于无人机图像的人群聚集密度分析方法，采用卷积神经网络对无人机图像进行人群识别提取，包括人群计数部分以及密度估计部分，其中人群计数部分输出为人群计数结果，密度估计部分输出为人群密度估计结果，其特征在于，在卷积神经网络中构建多尺度共享特征提取部分，所述多尺度共享特征提取部分包括特征共享层以及多个不同尺度的输入卷积层，所述输入卷积层用于接收无人机图像，输出对应尺度的特征图；特征共享层用于将多个输入卷积层输出的特征图进行连接，并最终通过卷积操作输出特征图至人群计数部分以及密度估计部分；其中，输入卷积层的数目和各自的大小根据无人机拍摄高度的范围确定；
将人群密度估计结果记为密度概率矩阵，基于密度概率矩阵，采用基于数据场拥堵点的可视化方法或基于视场系数的密度可视化方法对人群聚集程度与分布进行可视化，两种可视化方法单独采用或同时进行；
其中，基于数据场拥堵点的可视化方法中，将密度概率矩阵上数值不为0的点视为带有该值权重的单个人，提取密度概率矩阵的每个非0点的坐标和密度值；利用拟核力场势函数对每个点计算该点受其它所有点或者一定范围内的点影响的势能值之和，预设一个势能值阈值，将超过该阈值的点设置为拥堵点；其中，拟核力场的势函数为：



其中，x，y为对应点的坐标，m为超参数，σ值取4.0，k表示距离指数；
基于视场系数的密度可视化方法中，通过视场系数的相对密度方法实现对人群聚集总体状况分析和拥堵等级划分，所述相对密度为原始概率与视场系数的比值，所述视场系数为密度估计得到的密度概率矩阵中概率最大的值。


2.如权利要求1所述的基于无人机图像的人群聚集密度分析方法，其特征在于，当拍摄高度高于80米时，输入卷积层尺寸小于3×3；当高度低于40米时，输入卷积层尺寸大于9×9。


3.如权利要求1所述的基于无人机图像的人群聚集密度分析方法，其特征在于，基于数据场拥堵点的可视化过程中，在拥堵点的基础上通过中心画圆方法，对应HSL色盘得到热力图，将热力图羽化，浮于原图之上，得到对应的密度图。


4.如权利要求1所述的基于无人机图像的人群聚集密度分析方法，其特征在于，将无人机图像添加标注信息之后用于卷积神经网络训练，卷积层输入无人机图像的图片信息，所述标注信息用于在训练过程中计算损失函数优化模型，所述添加标注信息的步骤如下：
步骤11，数据标注：
手工标注输入无人机图像，生成具有标注信息的.mat格式文件；其中每个文件中存储一个二维数字矩阵，矩阵的大小与图像大小一致，对于图像中所有存在人头的中心位置像素(a,b)，将矩阵中对应位置的值设置为1，其他不存在人头的位置的值设置为0；
步骤12，通过高斯函数处理.mat格...

【专利技术属性】
技术研发人员：袁汉宁，李晓蕾，王宇，王树良，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11