一种无人机航拍图片的人群密度估计方法技术

本发明专利技术公开了一种无人机航拍图片的人群密度估计方法。包括卷积神经网络模块，为具有跨层连接结构的卷积神经网络，用于对航拍图像中的微小行人目标进行感知，并回归人群密度图，从而得到能够回归人群密度图的原始网络；剪枝模块，用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝，同时压缩网络参数并减少卷积运算，得到便于部署的轻量化网络；估算模块，用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。本发明专利技术可以部署在无人机上准确高效地对地进行人群密度估计。

A Population Density Estimation Method for Unmanned Aerial Vehicle Pictures

The invention discloses a method for estimating the population density of aerial photographs taken by UAVs. Including convolutional neural network module, which is a convolutional neural network with cross-layer connection structure. It is used to sense small pedestrian targets in aerial photographs and regress the crowd density map, so as to get the original network which can regress the crowd density map. The pruning module is used to prune the original network based on the network pruning method of AP clustering algorithm, and compress the network parameters. Reduce the convolution operation and get a lightweight network which is easy to deploy. Estimation module is used to implement the crowd density estimation algorithm of lightweight network in UAV programming. The invention can be deployed on an unmanned aerial vehicle to accurately and efficiently estimate the crowd density.

【技术实现步骤摘要】
一种无人机航拍图片的人群密度估计方法
本专利技术涉及一种计算机视觉与智能监控技术，具体来说是一种基于卷积神经网络与网络剪枝的无人机航拍图像人群密度估计系统。
技术介绍
人群密度过高已成为现代城市面临的重大安全威胁。通过技术手段对人群密度进行管控，对高密度人群进行预警，已成为智能安防领域的研究热点。目前已有方案对监控摄像头拍摄的视频帧进行人群密度估计，借助深度学习中的卷积神经网络模型，取得了较高的准确度。但只利用摄像头进行人群密度估计存在以下几点问题：首先，摄像头位置固定，难免存在监控死角；其次，摄像头为倾斜视角，高密度人群中行人中遮挡严重，密度估计误差往往较大，最后对于临时的大规模集会等情境下，监控摄像头难以临时部署。近年来无人机在计算机视觉和智能监控领域的很多应用中，例如：目标跟踪、车流量统计和轨迹分析等，都取得了较好的效果。在人群管控领域，相比于固定的监控摄像头，无人机具有灵活机动、便于部署、垂直拍摄，不易发生遮挡等优势。因此，无人机航拍图片的人群密度估计具有广阔应用空间。但与监控摄像头相比，无人机平台具有图片中行人目标极小以及无人机上存储空间、运算能力、续航电量十分有限的特点。针对感知航拍图片中的小目标问题，需要在卷积网络结构的设计上进行改进。针对运算能力、存储空间有限的问题，需要通过对模型进行剪枝，减去冗余的卷积核，同时减小网络参数量和卷积操作数目。
技术实现思路
1、专利技术目的。针对现有技术的不足，本专利技术基于卷积神经网络和网络剪枝的无人机航拍图像的人群计数方法，从而提供一种能够部署于无人机平台的人群密度估计系统。2、本专利技术所采用的技术方案。本专利技术公开了一种无人机航拍图片的人群密度估计方法，包括：卷积神经网络模块，为具有跨层连接结构的卷积神经网络，用于对航拍图像中的微小行人目标进行感知，并回归人群密度图，从而得到能够回归人群密度图的原始网络；剪枝模块，用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝，同时压缩网络参数并减少卷积运算，得到便于部署的轻量化网络；估算模块，用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。更进一步具体实施方式中，卷积神经网络模块中密度图回归网络由三个子网络构成，每个子网络包含三列具有不同大小、数量卷积核的卷积网络。为加强对小目标的感知效果，所述的卷积网络还具有跨层连接结构，底层特征图倾向感知图片细节信息，高层特征图倾向感知高层语义信息，将底层特征图与高层特征图进行融合，使底层细节特征得以保留和加强。更进一步具体实施方式中，所述的剪枝模块中，对基于卷积核的AP聚类算法结果对原始网络各层的卷积核进行剪枝，其对每一个卷积层剪枝具体为：判断荣誉模块，通过AP聚类算法判断冗余卷积核；删除冗余模块，删去冗余卷积核及其对应参数，保留聚类中心对应的卷积核；训练收敛模块，将删去卷积核后的整体网络训练至收敛。更进一步具体实施方式中，还包括预处理模块，对无人机航拍数据集(UAV_17)进行预处理；(1)划分训练集与测试集；(2)数据增强：通过左右对称与上下对称的方式进行数据扩张；(3)根据标注的位置信息生成密度图估计网络的监督信号，标注信息为图片中所有人人头的坐标位置(x，y)，监督信号为根据人头坐标位置生成的人群密度图，其中(xi,yi)为坐标位置，σ为高斯函数的参数，在航拍图像中高斯核扩散参数取σ＝2，D为计算得到的真实密度图；(4)由于在网络中存在两个下采样层，网络预测的密度图长度、宽度都是原图像的四分之一；在计算作为监督信号的密度图矩阵时，首先，根据步骤(3)计算出原图像的密度图D(T)；其次，对密度图D(T)进行下采样，得到Ddown；最后，由于密度图上所有点数数值之和与图片中人头数目相等，因此对下采样后的矩阵每一点处的数值乘以系数sum(D(T))/sum(Ddown)，得到D，即：其中sum(A)表示对矩阵A中所有元素求和。更进一步具体实施方式中，所述的卷积神经网络模块：通过具有跨层连接的网络结构对航拍图像人群密度图进行回归：(1)网络结构通过跨层连接，使浅层的包含大量细节特征的特征图保留到高层，与高层语义特征进行融合，融合采用拼接特征图的方式，用Kp表示第p个子网络对应的非线性映射，用Rq代表第q个子网络的输出特征图，F为最后一层密度图回归卷积层对应的非线性映射，O为输出的人群密度图，则有：(2)采用欧式损失作为密度图回归的损失函数，其定义如下：其中，W为整个网络的参数，Xi为输入图片，D为计算出的作为网络回归目标的人头密度图，n是训练数据个数，F(Xi；W)代表网络对输入图片人头密度的估计结果，是整个网络的误差损失；(3)采用梯度下降算法和误差反传算法来优化训练网络，得到原始稠密网络。AP聚类算法与其他聚类算法相比，具有不需人工指定而是通过对数据的分析自动学习cluster数目的特点，避免了人工统一制定剪枝比率可能造成的过度删减或是删减不足的问题。利用基于AP聚类的剪枝算法对原始稠密网络进行压缩，得到轻量化的网络；针对原始稠密网络的每一个卷积层：(1)判断冗余的卷积核；1.1对卷积核进行AP聚类，使卷积核聚类为卷积核组{G1，…，Gp}；1.2对每组卷积核Gm中的卷积核，选取AP算法的聚类中心作为保留的卷积核，其他卷积作为冗余卷积核；(2)删去冗余卷积核及其对应参数，保留聚类中心对应的卷积核；(3)将删去卷积核后的整体网络训练至收敛；按照从后到前的顺序(conv4_1->conv4_2->conv4_3->conv3_1->conv3_2->conv3_3->conv2_1->conv2_2->conv2_3->conv1_1->conv1_2->conv1_3)，对每一个卷积层进行网络剪枝，得到轻量化后的人群密度估计网。更进一步具体实施方式中，估算模块，对压缩后的深度网络的FPGA硬件化设计：(1)建立FPGA的优化计算模型，即建立计算模型将计算性能与分块系数建立联系，并通过优化得到最佳的计算引擎；(2)使用数据重用技术减少外部存储器的访问，建立了计算-访存比和分块系数的联系；(3)计算模型对FPGA的设计空间进行定义，在FPGA平台上找到最优解决方案。3、本专利技术所产生的技术效果。(1)本专利技术针对无人机航拍图片，提出了一种具有跨层连接的卷积神经网络结构，感知航拍图像中小目标效果更好。(2)本专利技术针对无人机平台计算能力、存储空间有限的问题，提出一种基于AP聚类的网络剪枝方法，对原始的稠密网络进行剪枝，得到轻量化的网络。(3)本专利技术针对无人机航程远，数据回传的代价大，回传信号不稳等问题，提出通过FPGA编程的方式将轻量化的深度网络部署在无人机平台上，便于在无人机端系统实时进行密度估计，只返回密度估计的结果，使整个系统保持分布式结构。附图说明图1基于跨层连接的航拍图像人群密度估计卷积网络。图2网络剪枝原理示意图。图3基于AP聚类的网络剪枝流程图。图4整体框架训练阶段流程示意图。图5整体框架实际部署阶段流程示意图。图6无人机平台监控视频帧进行人群密度图估计效果图。图7进行剪枝的卷积层数目与估计准确率性和模型大小的关系图。具体实施方式下面结合附图对本专利技术作进一步详细说明。实施例步骤一、对无人机航本文档来自技高网...

【技术保护点】
1.一种无人机航拍图片的人群密度估计方法，其特征在于包括：卷积神经网络模块，为具有跨层连接结构的卷积神经网络，用于对航拍图像中的微小行人目标进行感知，并回归人群密度图，从而得到能够回归人群密度图的原始网络；剪枝模块，用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝，同时压缩网络参数并减少卷积运算，得到便于部署的轻量化网络；估算模块，用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。

【技术特征摘要】
1.一种无人机航拍图片的人群密度估计方法，其特征在于包括：卷积神经网络模块，为具有跨层连接结构的卷积神经网络，用于对航拍图像中的微小行人目标进行感知，并回归人群密度图，从而得到能够回归人群密度图的原始网络；剪枝模块，用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝，同时压缩网络参数并减少卷积运算，得到便于部署的轻量化网络；估算模块，用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。2.根据权利要求1所述的无人机航拍图片人群密度估计系统，其特征在于：卷积神经网络模块中密度图回归网络由三个子网络构成，每个子网络包含三列具有不同大小、数量卷积核的卷积网络。3.根据权利要求2所述的无人机航拍图片人群密度估计系统，其特征在于：所述的卷积网络还具有跨层连接结构，底层特征图倾向感知图片细节信息，高层特征图倾向感知高层语义信息，将底层特征图与高层特征图进行融合，使底层细节特征得以保留和加强。4.根据权利要求1所述的无人机航拍图片人群密度估计系统，其特征在于：所述的剪枝模块中，对基于卷积核的AP聚类算法结果对原始网络各层的卷积核进行剪枝，其对每一个卷积层剪枝具体为：判断荣誉模块，通过AP聚类算法判断冗余卷积核；删除冗余模块，删去冗余卷积核及其对应参数，保留聚类中心对应的卷积核；训练收敛模块，将删去卷积核后的整体网络训练至收敛。5.根据权利要求1所述的无人机航拍图片人群密度估计系统，其特征在于：还包括预处理模块，对无人机航拍数据集进行预处理；(1)划分训练集与测试集；(2)数据增强：通过左右对称与上下对称的方式进行数据扩张；(3)根据标注的位置信息生成密度图估计网络的监督信号，标注信息为图片中所有人人头的坐标位置(x，y)，监督信号为根据人头坐标位置生成的人群密度图，其中(xi,yi)为坐标位置，σ为高斯函数的参数，在航拍图像中高斯核扩散参数取σ＝2，D为计算得到的真实密度图；(4)由于在网络中存在两个下采样层，网络预测的密度图长度、宽度都是原图像的四分之一；在计算作为监督信号的密度图矩阵时，首先，根据步骤(3)计算出原图像的密度图D(T)；其次，对密度图D(T)进行下采样，得到Ddown；最后，由于密度图上所...

【专利技术属性】
技术研发人员：潘志松，唐斯琪，张艳艳，李云波，赵慧赟，杨海民，周星宇，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：江苏,32