一种基于无人机的人群计数和定位的混合监督方法技术

本发明专利技术公开了一种基于无人机的人群计数和定位的混合监督方法，通过在模型HACL中，分别对特征图4、特征图3和特征图2分别使用不同膨胀率组合的第二特征融合单元、第三特征融合单元和第四特征融合单元，使得目标能够和周围的环境建立联系而不是和全局建立联系，对第一密度图预测分支、第二密度图预测分支、第三密度图预测分支和第四密度图预测分支设计密度图分支损失函数，从而使得模型HACL的第二密度图预测分支输出的预测密度图能够更加精确，对第二密度图预测分支输出的预测密度图分别使用第一密度图注意力单元和第二密度图注意力单元，能够在大视野下突出特征图中小目标所在的区域特征；优点是人群计数精度和定位精度均较高。较高。较高。

【技术实现步骤摘要】
一种基于无人机的人群计数和定位的混合监督方法


[0001]本专利技术涉及一种监督方法，尤其是涉及一种基于无人机的人群计数和定位的混合监督方法。

技术介绍

[0002]近年来，随着无人机的不断发展，无人机开始出现在各个民用领域，例如空中航拍，农业植保，警务安防，电力巡检等。无人机相较于视频监控有着其本身的灵活性以及不需要提前布置等繁琐的操作，能够在一定范围内进行监控。而人群计数与定位是无人机对于生产监控、治安巡查等领域的重要研究方向之一，具有较高的实用价值。
[0003]人群计数和定位就是通过对图像进行处理评估实际场景中的行人的数量以及具体位置。通过获取到行人的计数和定位信息能够方便的对目标所在区域在紧急情况下进行疏导以及预警。目前存在两种主流的人群计数和定位的方法：基于密度图估计的人群计数和定位方法以及基于检测的人群计数和定位方法。基于密度图估计的人群计数和定位方法就是通过深度学习网络获取到目标的特征，然后产生图像中目标的密度图，对密度图求和获取到具体的行人数量，然后通过获取密度图的峰值的个数获取到行人的具体位置。该方法虽然在计数上可以获得比较好的效果，然而密度图只能反映图像中人群的分布情况，所以在定位上是非常不准确的。基于检测的人群计数和定位方法是使用特定的目标检测器，通过定位图像上的每个人或者每个人的头部获得定位结果，然后累加目标个数获得计数结果，但是在无人机视角下很难定位目标的位置因为无人机视角下相比于传统的监控视角具有可视范围大，目标比较小等特点，所以基于检测的人群计数和定位方法也没办法得到一个比较好的计数和定位结果。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种人群计数精度和定位精度均较高的基于无人机的人群计数和定位的混合监督方法。
[0005]本专利技术解决上述技术问题所采用的技术方案为：一种基于无人机的人群计数和定位的混合监督方法，包括以下步骤：
[0006]步骤1、准备数据集，具体过程为：
[0007]S1.1、使用无人机拍摄K张含有行人的图片，每张图片的尺寸大小为1920*1080，并对K张图片按照1
‑
K进行编号，编号为k的图片为第k张图片，k＝1，2，
…
，K，其中，K为大于2000的整数；
[0008]S1.2、对K张图片分别进行预处理，具体处理过程为：
[0009]以第k张图片的左上角作为坐标原点，原点向右方向作为x轴正半轴，原点向下方向作为y轴正半轴，建立直角坐标系，将第k张图片中每个行人的头部的中心点作为该行人的坐标，将第k张图片中第i个行人的坐标记为p
ki
，p
ki
＝(x
ki
，y
ki
)，i＝1，2，...m
k
，m
k
表示第k张图片中行人的总数量，x
ki
表示第k张图片中第i个行人的x轴坐标，y
ki
表示第k张图片中第
i个行人的y轴坐标，第k张图片的坐标点集合记为P
k
，P
k
＝{p
ki
|i＝1，2，...m
k
}；
[0010]S1.3、使用MCNN提出的自适应的密度图生成方案分别对K张图片的坐标点集合进行转换，得到每张图片的密度图，此时得到K张图片的密度图，采用K张图片、K张图片的坐标点集合以及K张图片的密度图构成数据集，数据集中每张图片、每张图片的坐标点集合和每张图片的密度图作为一个样本；
[0011]S1.4、按照训练集样本数:验证集样本数＝3:1，对数据集中的样本进行划分，得到训练集和验证集，如果数据集中样本总数量不能被4整除，则将多余的样本放到验证集中；
[0012]步骤2、构建模型HACL(A Hybrid Framework of Point and Heatmap for Crowd Counting and Localization based on UAV)，所述的模型HACL包括特征提取器EfficientNetV2、特征融合层、密度图分支、分类分支、回归分支、预测点生成模块、匈牙利算法匹配模块、目标置信度生成模块、分类分支损失函数、回归分支损失函数和总损失函数；
[0013]所述的特征提取器EfficientNetV2用于对通道为3，高为h，宽为w的图像进行特征提取生成5个特征图，5个特征图分别为通道为24、高为h/2、宽为w/2的特征图1，通道为48、高为h/4、宽为w/4的特征图2，通道为64、高为h/8，宽为w/8的特征图3，通道为128、高为h/16、宽为w/16的特征图4和通道为256、高为h/32、宽为w/32的特征图5；
[0014]所述的特征融合层包含第一特征融合单元、第一特征拼接单元、第二特征融合单元、第二特征拼接单元、第三特征融合单元和第四特征融合单元；所述的第一特征融合单元包含第一卷积层、第二卷积层、第三卷积层和第一2倍上采样层，所述的第一卷积层的卷积核大小为1、填充为0、步长为1，所述的第一卷积层用于接入所述的特征提取器EfficientNetV2输出的特征图5，并对其进行卷积处理，输出通道为128、高为h/32、宽为w/32的特征图；所述的第二卷积层的卷积核大小为3、填充为1、步长为1，所述的第二卷积层用于接入所述的第一卷积层输出的特征图，并对其进行卷积处理，输出通道为128、高为h/32、宽为w/32的特征图；所述的第三卷积层的卷积核大小为3、填充为1、步长为1，所述的第三卷积层用于接入所述的第二卷积层输出的特征图，并对其进行卷积处理，输出通道为128、高为h/32、宽为w/32的特征图；所述的第一2倍上采样层用于接入所述的第三卷积层输出的特征图，并对其使用最近邻插值进行2倍上采样处理，输出通道为128、高为h/16、宽为w/16的特征图；所述的第一特征拼接单元采用卷积核大小为1、填充为0、步长为1的卷积层实现，所述的第一特征拼接单元用于接入所述的第一2倍上采样层输出的特征图和所述的特征提取器EfficientNetV2输出的特征图4，并先将两张特征图在通道维度进行拼接得到拼接特征图，然后对此时得到的拼接特征图进行卷积处理，输出通道为128、高为h/16、宽为w/16的特征图；所述的第二特征融合单元包含第四卷积层、第五卷积层、第六卷积层、第七卷积层和第二2倍上采样层，所述的第四卷积层的卷积核大小为3、填充为1、步长为1、膨胀率为1，所述的第四卷积层用于接入所述的第一特征拼接单元输出的特征图，并对其进行卷积处理，输出通道为128、高为h/16、宽为w/16的特征图；所述的第五卷积层的卷积核大小为3、填充为2、步长为1、膨胀率为2，所述的第五卷积层用于接入所述的第一特征拼接单元输出的特征图，并对其进行卷积处理，输出通道为128、高为h/16、宽为w/16的特征图；所述的第六卷积层的卷积核大小为1、填充为0、步长为1，所述的第六卷积层用于接入所述的第四卷积层输出的特征图和所述的第五卷积层输出的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机的人群计数和定位的混合监督方法，其特征在于包括以下步骤：步骤1、准备数据集，具体过程为：S1.1、使用无人机拍摄K张含有行人的图片，每张图片的尺寸大小为1920*1080，并对K张图片按照1
‑
K进行编号，编号为k的图片为第k张图片，k＝1，2，
…
，K，其中，K为大于2000的整数；S1.2、对K张图片分别进行预处理，具体处理过程为：以第k张图片的左上角作为坐标原点，原点向右方向作为x轴正半轴，原点向下方向作为y轴正半轴，建立直角坐标系，将第k张图片中每个行人的头部的中心点作为该行人的坐标，将第k张图片中第i个行人的坐标记为p
ki
，p
ki
＝(x
ki
，y
ki
)，i＝1，2，
…
m
k
，m
k
表示第k张图片中行人的总数量，x
ki
表示第k张图片中第i个行人的x轴坐标，y
ki
表示第k张图片中第i个行人的y轴坐标，第k张图片的坐标点集合记为P
k
，P
k
＝{p
ki
|i＝1，2，
…
m
k
}；S1.3、使用MCNN提出的自适应的密度图生成方案分别对K张图片的坐标点集合进行转换，得到每张图片的密度图，此时得到K张图片的密度图，采用K张图片、K张图片的坐标点集合以及K张图片的密度图构成数据集，数据集中每张图片、每张图片的坐标点集合和每张图片的密度图作为一个样本；S1.4、按照训练集样本数:验证集样本数＝3:1，对数据集中的样本进行划分，得到训练集和验证集，如果数据集中样本总数量不能被4整除，则将多余的样本放到验证集中；步骤2、构建模型HACL(A Hybrid Framework of Point and Heatmap for Crowd Counting and Localization based on UAV)，所述的模型HACL包括特征提取器EfficientNetV2、特征融合层、密度图分支、分类分支、回归分支、预测点生成模块、匈牙利算法匹配模块、目标置信度生成模块、分类分支损失函数、回归分支损失函数和总损失函数；所述的特征提取器EfficientNetV2用于对通道为3，高为h，宽为w的图像进行特征提取生成5个特征图，5个特征图分别为通道为24、高为h/2、宽为w/2的特征图1，通道为48、高为h/4、宽为w/4的特征图2，通道为64、高为h/8，宽为w/8的特征图3，通道为128、高为h/16、宽为w/16的特征图4和通道为256、高为h/32、宽为w/32的特征图5；所述的特征融合层包含第一特征融合单元、第一特征拼接单元、第二特征融合单元、第二特征拼接单元、第三特征融合单元和第四特征融合单元；所述的第一特征融合单元包含第一卷积层、第二卷积层、第三卷积层和第一2倍上采样层，所述的第一卷积层的卷积核大小为1、填充为0、步长为1，所述的第一卷积层用于接入所述的特征提取器EfficientNetV2输出的特征图5，并对其进行卷积处理，输出通道为128、高为h/32、宽为w/32的特征图；所述的第二卷积层的卷积核大小为3、填充为1、步长为1，所述的第二卷积层用于接入所述的第一卷积层输出的特征图，并对其进行卷积处理，输出通道为128、高为h/32、宽为w/32的特征图；所述的第三卷积层的卷积核大小为3、填充为1、步长为1，所述的第三卷积层用于接入所述的第二卷积层输出的特征图，并对其进行卷积处理，输出通道为128、高为h/32、宽为w/32的特征图；所述的第一2倍上采样层用于接入所述的第三卷积层输出的特征图，并对其使用最近邻插值进行2倍上采样处理，输出通道为128、高为h/16、宽为w/16的特征图；所述的第一特征拼接单元采用卷积核大小为1、填充为0、步长为1的卷积层实现，所述的第一特征拼接单元用于接入所述的第一2倍上采样层输出的特征图和所述的特征提取器
EfficientNetV2输出的特征图4，并先将两张特征图在通道维度进行拼接得到拼接特征图，然后对此时得到的拼接特征图进行卷积处理，输出通道为128、高为h/16、宽为w/16的特征图；所述的第二特征融合单元包含第四卷积层、第五卷积层、第六卷积层、第七卷积层和第二2倍上采样层，所述的第四卷积层的卷积核大小为3、填充为1、步长为1、膨胀率为1，所述的第四卷积层用于接入所述的第一特征拼接单元输出的特征图，并对其进行卷积处理，输出通道为128、高为h/16、宽为w/16的特征图；所述的第五卷积层的卷积核大小为3、填充为2、步长为1、膨胀率为2，所述的第五卷积层用于接入所述的第一特征拼接单元输出的特征图，并对其进行卷积处理，输出通道为128、高为h/16、宽为w/16的特征图；所述的第六卷积层的卷积核大小为1、填充为0、步长为1，所述的第六卷积层用于接入所述的第四卷积层输出的特征图和所述的第五卷积层输出的特征图，并将所述的第四卷积层输出的特征图和所述的第五卷积层输出的特征图在通道维度先进行拼接得到拼接特征图，然后对此时得到的拼接特征图进行卷积处理，输出为通道为128，高为h/16，宽为w/16的特征图；所述的第七卷积层的卷积核大小为3、填充为1、步长为1，所述的第七卷积层用于接入所述的第六卷积层输出的特征图，并对其进行卷积处理，输出为通道为128，高为h/16，宽为w/16的特征图；所述的第二2倍上采样层用于接入所述的第七卷积层输出的特征图，并对其使用最近邻插值进行2倍上采样处理，输出为通道为128，高为h/8，宽为w/8的特征图；所述的第二特征拼接单元采用卷积核大小为1、填充为0、步长为1的卷积层实现，所述第二特征拼接单元用于接入所述的第二2倍上采样层输出的特征图和所述的特征提取器EfficientNetV2输出的特征图3，并先将所述的第二2倍上采样层输出的特征图和所述的特征提取器EfficientNetV2输出的特征图3在通道维度进行拼接得到拼接特征图，然后对此时得到的拼接特征图进行卷积处理，输出通道为128，高为h/8，宽为w/8的特征图；所述的第三特征融合单元包含第八卷积层、第九卷积层、第十卷积层、第十一卷积层和第十二卷积层，所述的第八卷积层的卷积核大小为3、填充为1、步长为1、膨胀率为1，所述的第八卷积层用于接入所述的第二特征拼接单元输出的特征图，并对其进行卷积处理，输出通道为128，高为h/8，宽为w/8的特征图；所述的第九卷积层的卷积核大小为3、填充为2、步长为1、膨胀率为2，所述的第九卷积层用于接入所述的第二特征拼接单元输出的特征图，并对其进行卷积处理，输出通道为128，高为h/8，宽为w/8的特征图；所述的第十卷积层的卷积核大小为3、填充为5、步长为1、膨胀率为5，所述的第十卷积层用于接入所述的第二特征拼接单元输出的特征图，并对其进行卷积处理，输出通道为128，高为h/8，宽为w/8的特征图；所述的第十一卷积层的卷积核大小为1、填充为0、步长为1，所述的第十一卷积层用于接入所述的第八卷积层输出的特征图、所述的第九卷积层输出的特征图和所述的第十卷积层输出的特征图，并先将所述的第八卷积层输出的特征图、所述的第九卷积层输出的特征图和所述的第十卷积层输出的特征图在通道维度进行拼接得到拼接特征图，然后对此时得到的拼接特征图进行卷积处理，输出通道为128，高为h/8，宽为w/8的特征图；所述的第十二卷积层的卷积核大小为3、填充为1、步长为1，所述的第十二卷积层用于接入所述的第十一卷积层输出的特征图，并对其进行卷积处理，输出为通道为128，高为h/8，宽为w/8的特征图；所述的第四特征融合单元包含第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层和第十八卷积层，所述的第十三卷积层的卷积核大小为1、填充为0、步长为1，所述的第十三卷积层用于接入所述的特征提取器EfficientNetV2输出的特征图2，并对其进行卷积处理，输出通道为128、高为h/
4、宽为w/4的特征图；所述的第十四卷积层的卷积核大小为3、填充为1、步长为1、膨胀率为1，所述的第十四卷积层用于接入所述的第十三卷积层输出的特征图，并对其进行卷积处理，输出为通道为128、高为h/4、宽为w/4的特征图；所述的第十五卷积层的卷积核大小为3、填充为2、步长为1、膨胀率为2，所述的第十五卷积层用于接入所述的第十三卷积层输出的特征图，并对其进行卷积处理，输出为通道为128、高为h/4、宽为w/4的特征图；所述的第十六卷积层的卷积核大小为3、填充为5、步长为1、膨胀率为5，所述的第十六卷积层用于接入所述的第十三卷积层输出的特征图，并对其进行卷积处理，输出为通道为128、高为h/4、宽为w/4的特征图；所述的第十七卷积层的卷积核大小为1、填充为0、步长为1，所述的第十七卷积层用于接入所述的第十四卷积层输出的特征图、所述的第十五卷积层输出的特征图和所述的第十六卷积层输出的特征图，并先将所述的第十四卷积层输出的特征图、所述的第十五卷积层输出的特征图和所述的第十六卷积层输出的特征图在通道维度进行拼接得到拼接特征图，然后对此时得到的拼接特征图进行卷积处理，输出为通道为128、高为h/4、宽为w/4的特征图；所述的第十八卷积层的卷积核大小为3、填充为1、步长为1，所述的第十八卷积层用于接入所述的第十七卷积层输出的特征图，并对其进行卷积处理，输出为通道为128、高为h/4、宽为w/4的特征图；所述密度图分支包含第一密度图预测分支、第二密度图预测分支、第三密度图预测分支、第四密度图预测分支和密度图分支损失函数；所述的第一密度图预测分支包含第十九卷积层、第二十卷积层、第二十一卷积层和第二十二卷积层，所述的第十九卷积层的卷积核大小为3、填充为1、步长为1，所述的第十九卷积层用于接入所述的第十八卷积层输出的特征图，并对其进行卷积处理，输出通道为64、高为h/4、宽为w/4的特征图；所述的第二十卷积层的卷积核大小为3、填充为1、步长为1，所述的第二十卷积层用于接入所述的第十九卷积层输出的特征图，并对其进行卷积处理，输出通道为32、高为h/4、宽为w/4的特征图；所述的第二十一卷积层的卷积核大小为3、填充为1、步长为1，所述的第二十一卷积层用于接入所述的第二十卷积层输出的特征图，并对其进行卷积处理，输出通道为16、高为h/4、宽为w/4的特征图；所述的第二十二卷积层的卷积核大小为3、填充为1、步长为1，所述的第二十二卷积层用于接入所述的第二十一卷积层输出的特征图，并对其进行卷积处理，输出通道为1、高为h/4、宽为w/4的预测密度图；所述的第二密度图预测分支包含第二十三卷积层、第二十四卷积层、第二十五卷积层和第二十六卷积层，所述的第二十三卷积层的卷积核大小为3、填充为1、步长为1，所述的第二十三卷积层用于接入所述的第十二卷积层输出的特征图，并对其进行卷积处理，输出通道为64、高为h/8、宽为w/8的特征图；所述的第二十四卷积层的卷积核大小为3、填充为1、步长为1，所述的第二十四卷积层用于接入所述的第二十三卷积层输出的特征图，并对其进行卷积处理，输出通道为32、高为h/8、宽为w/8的特征图；所述的第二十五卷积层的卷积核大小为3、填充为1、步长为1，所述的第二十五卷积层用于接入所述的第二十四卷积层输出的特征图，并对其进行卷积处理，输出通道为16、高为h/8、宽为w/8的特征图；所述的第二十六卷积层的卷积核大小为3、填充为1、步长为1，所述的第二十六卷积层用于接入第二十五卷积层输出的特征图，并对其进行卷积处理，输出通道为1、高为h/8、宽为w/8的预测密度图；所述的第三密度图预测分支包含第二十七卷积层、第二十八卷积层、第二十九卷积层和第三十卷积层，所述的第二十七卷积层的卷积核大小为3、填充为1、步长为1，所述的第二十七卷积层用于接入所述的第七卷积层输出的特征图，并对其进行
卷积处理，输出通道为64、高为h/16、宽为w/16的特征图；所述的第二十八卷积层的卷积核大小为3、填充为1、步长为1，所述的第二十八卷积层用于接入所述的第二十七卷积层输出的特征图，并对其进行卷积处理，输出通道为32、高为h/16、宽为w/16的特征图；所述的第二十九卷积层的卷积核大小为3、填充为1、步长为1，所述的第二十九卷积层用于接入第二十八卷积层输出的特征图，并对其进行卷积处理，输出通道为16、高为h/16、宽为w/16的特征图；所述的第三十卷积层的卷积核大小为3、填充为1、步长为1，所述的第三十卷积层用于接入所述的第二十九卷积层输出的特征图，并对其进行卷积处理，输出为通道为1、高为h/16、宽为w/16的预测密度图；所述的第四密度图预测分支包含第三十一卷积层、第三十二卷积层、第三十三卷积层和第三十四卷积层，所述的第三十一卷积层的卷积核大小为3、填充为1、步长为1，所述的第三十一卷积层用于接入所述的第三卷积层输出的特征图，并对其进行卷积处理，输出通道为64、高为h/32、宽为w/32的特征图；所述的第三十二卷积层的卷积核大小为3、填充为1、步长为1，所述的第三十二卷积层用于接入第三十一卷积层输出的特征图，并对其进行卷积处理，输出通道为32、高为h/32、宽为w/32的特征图；所述的第三十三卷积层的卷积核大小为3、填充为1、步长为1，所述的第三十三卷积层用于接入所述的第三十二卷积层输出的特征图，并对其进行卷积处理，输出通道为16、高为h/32、宽为w/32的特征图；所述的第三十四卷积层的卷积核大小为3、填充为1、步长为1，所述的第三十四卷积层用于接入所述的第三十三卷积层输出的特征图，并对其进行卷积处理，输出通道为1、高为h/32、宽为w/32的预测密度图；所述的密度图分支损失函数采用式(1)表示为：L
dm
＝4
‑
SSIM(P4,D4)
‑
SSIM(P8,D8)
‑
SSIM(P
16
,D
16
)
‑
SSIM(P
32
,D
32
)
ꢀꢀ
(1)式(1)中，L
dm
表示密度图分支损失函数值，SSIM()表示SSIM损失函数，D4为对外部输入的密度图使用平均池化进行4倍下采样产生的密度图，D8为对外部输入的密度图使用平均池化进行8倍下采样产生的密度图，D
16
为对外部输入的密度图使用平均池化进行16倍下采样产生的密度图，D
32
分别是为对外部输入的密度图使用平均池化进行32倍下采样产生的密度图，P4表示所述的第二十二卷积层输出的预测密度图，P8表示所述的第二十六卷积层输出的预测密度图、P
16
表示所述的第三十卷积层输出的预测密度图、P
32
表示所述的第三十四卷积层输出的预测密度图；所述的分类分支包含第一密度图注意...

【专利技术属性】
技术研发人员：赵磊，谢志军，陈科伟，辛宇，俞建成，江先亮，
申请(专利权)人：宁波大学，
类型：发明
国别省市：