一种基于多尺度密度图融合空洞卷积的人群计数方法技术

本发明专利技术公开了一种基于多尺度密度图融合空洞卷积的人群计数方法。本发明专利技术步骤如下：获取人群图像数据集，并且进行预处理；建立基于多尺度密度图融合空洞卷积的人群计数网络；将预处理之后的人群图像输入该人群计数网络中提取特征数据，输出对应图像的低分辨率密度图；将低分辨率密度图融合空洞卷积网络，输出对应图像的高分辨率密度图；对人群计数网络输出的高分辨率密度图进行积分，得到对应人群图像中的人群总数；将最后输出的高分辨率密度图与人工标注的真实密度图进行损失计算，不断迭代更新人群计数网络；将测试图片输入最终确认的人群计数网络，生成人群分布密度图并且进行人群计数。本发明专利技术具有很好的自适应能力和很高的预测精度。

【技术实现步骤摘要】
一种基于多尺度密度图融合空洞卷积的人群计数方法
本专利技术涉及人群计数领域，具体涉及一种基于多尺度密度图融合空洞卷积的人群计数方法，属于计算机视觉图像处理

技术介绍
由于各个国家的高速城镇化，拥有高度拥挤的人群场景越来越常见。人群计数在这一情况下能够在视频监控，智能治安管理领域中发挥十分重要的作用。早期传统的人群计数一般基于目标检测或者回归的方法，但是这两种方法都有很大的问题。基于检测的方法很难处理人群之间严重的遮挡问题，只适用于低密度，目标显著突出的场景，而基于回归的方法需要先建立人群特征和人数之间的关系，还要提取像素点，提取低级特征，过程复杂且困难。目前普遍流行的是通过深度学习绘制密度图，两张具有相同数量的人的图像可能具有完全不同的人群分布，因此仅计算人群数量是不够的，人群分布密度图可帮助我们获取更准确，更全面的信息。但是图像的空间角度、距离等严重影响密度图的准确度，所以本专利技术通过让模型自适应输入图片的不同尺度，提取具有不同深度语义信息的特征图生成低分辨率密度图，再结合使用空洞卷积网络提高最后生成密度图的质量，进行准确的计数。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种基于多尺度密度图融合空洞卷积的人群计数方法的方法，以解决人群图像中出现人群空间角度失真，人群之间相互遮挡导致的人群分布位置不准确、人群计数困难的问题。一种基于多尺度密度图融合空洞卷积的人群计数方法，包括以下步骤：步骤(1)获取人群图像数据集，并且进行预处理；步骤(2)建立基于多尺度密度图融合空洞卷积的人群计数网络；步骤(3)将预处理之后的人群图像输入该人群计数网络中提取特征数据，输出对应图像的低分辨率密度图；步骤(4)将低分辨率密度图融合空洞卷积网络，输出对应图像的高分辨率密度图；步骤(5)对人群计数网络输出的高分辨率密度图进行积分，得到对应人群图像中的人群总数；步骤(6)将最后输出的高分辨率密度图与人工标注的真实密度图进行损失计算，不断迭代更新人群计数网络；步骤(7)将测试图片输入最终确认的人群计数网络，生成人群分布密度图并且进行人群计数。本专利技术所具有的优点如下：利用卷积网络对输入的人群图像进行分析，通过非人工干预的手段首先输出低分辨率的人群分布密度图，包含相应输入图像的人群空间分布信息，是生成高分辨率密度图的重要特征图。在此基础上融合空洞卷积，在保持高分辨率的同时增大感受野，进一步提取重要特征，输出最后的高分辨率人群分布密度图，并且对密度图进行积分求出总的人数，这种方法具有很好的自适应能力和很高的预测精度。附图说明图1是本专利技术的整体实施方案流程图；图2是本专利技术的训练模型示意图；图3是空洞卷积网络模型图；图4是本专利技术工艺实施方案的具体流程图；具体实施方式下面结合附图对本专利技术作进一步描述。本专利技术的整体实施方案流程图参照图1-图4，一种基于多尺度密度图融合空洞卷积的人群计数方法，包括以下步骤：步骤(1)获取人群图像数据集，并且进行预处理；步骤(2)建立基于多尺度密度图融合空洞卷积的人群计数网络；步骤(3)将预处理之后的人群图像输入该人群计数网络中提取特征数据，输出对应图像的低分辨率密度图；步骤(4)将低分辨率密度图融合空洞卷积网络，输出对应图像的高分辨率密度图；步骤(5)对人群计数网络输出的高分辨率密度图进行积分，得到对应人群图像中的人群总数；步骤(6)将最后输出的高分辨率密度图与人工标注的真实密度图进行损失计算，不断迭代更新人群计数网络；步骤(7)将测试图片输入最终确认的人群计数网络，生成人群分布密度图并且进行人群计数。所述的步骤(1)具体过程如下：(1-1)从网上获取本领域的多个公开数据集，对每个数据集分别进行整理归类，随机抽选出所需数量的图片作为训练集，剩下的作为测试集；(1-2)将整理出的训练集进行二值化、归一化、数据增强的预处理，消除图像中的无关信息，输入人群图像的训练集表示为P＝{p1，p2…pn}，其中n表示为训练集大小。所述的步骤(2)具体过程如下：(2-1)构建基于多尺度密度图融合空洞卷积的人群计数网络，确定网络的广度、深度和训练方式；(2-2)该人群计数网络由主干和分支两部分构成，其中分支生成三个含有不同空间关联信息的低分辨率密度图，主干用于将三个含有不同语义信息的低分辨率密度图融合空洞卷积生成高分辨率密度图；(2-3)通过网络训练每一张图片，生成对应的低分辨率密度图Bi和高分辨率密度图hi，构成一个三元组集合，D＝{(p1，B1，h1)…(pn，Bn，hn)}，其中pi是第i个输入图像，Bi是第pi对应的低分辨率密度图，hi是pi对应的高分辨率密度图，n表示训练集大小。所述的步骤(3)具体过程如下：(3-1)从步骤(1)的数据集中获取预处理后的训练集P＝{p1，p2…pn}，输入人群计数网络中；(3-2)在人群计数网络的主干网络前端提取出三个不同深度的特征向量，分别输入分支中的三条子分支进一步提取语义信息，输出对应的低分辨率密度图Bi＝{bi1，bi2…bi3}，将低分辨率密度图作为高分辨率密度图预测任务的重要特征，bij是第i个输入图像对应的第j，(1≤j≤3)条子分支的低分辨率密度图；(3-3)对输入图像进行映射，映射函数为：αl为低分辨率密度图对应的子分支的参数；pi表示第i个输入图像；fl()表示映射函数,反映了低分辨率密度图分支的一系列卷积操作过程；表示人群计数网络得出的低分辨率密度图。所述的步骤(4)具体过程如下：(4-1)基于步骤(3-1)，在人群计数网络的主干网络后端构建空洞卷积神经网络，在图像不同大小的感受野上进一步提取关键特征；假设特征输出为y，则yi表示第i个图像于空洞卷积的特征输出，卷积核为k，空洞率为d，则空洞卷积操作如下：yi＝∑dx[i+r*d]k[d]；其中，r表示空洞卷积核的步长，即卷积核的间隔数量，普通的卷积是空洞卷积的一个特殊情况，当r＝1的时候，即是普通的卷积核，通过设置不同的步长r来获得不同大小的感受野；xitr*d表示第i个图像于空洞卷积的特征输入；(4-2)融合低分辨率密度图输出最终的高分辨率密度图为第i张图片对应的高分辨率密度图，fh()为高分辨率的映射函数，反映了生成高分辨率密度图时的一系列卷积过程；αl为低分辨率密度图对应的子分支的参数,αh为主干网络生成高分辨率密度图的参数。所述的步骤(5)具体过程如下：(5-1)通过对最终输出的高分辨率度图中所有像素求和得出总体人群计数：所述的步骤(6)具体过程如下：(6-1)将输出的高分辨率度图与人工标注的真实密度图进行损失计算，低分辨率密度图包含输入图像pi中人群的空间关联信息；低分辨率密度图是高分辨率密度图预测任务的重要特征；通过最小化损失函数L(αl，αh本文档来自技高网...

【技术保护点】
1.一种基于多尺度密度图融合空洞卷积的人群计数方法，其特征在于包括以下步骤：/n步骤(1)获取人群图像数据集，并且进行预处理；/n步骤(2)建立基于多尺度密度图融合空洞卷积的人群计数网络；/n步骤(3)将预处理之后的人群图像输入该人群计数网络中提取特征数据，输出对应图像的低分辨率密度图；/n步骤(4)将低分辨率密度图融合空洞卷积网络，输出对应图像的高分辨率密度图；/n步骤(5)对人群计数网络输出的高分辨率密度图进行积分，得到对应人群图像中的人群总数；/n步骤(6)将最后输出的高分辨率密度图与人工标注的真实密度图进行损失计算，不断迭代更新人群计数网络；/n步骤(7)将测试图片输入最终确认的人群计数网络，生成人群分布密度图并且进行人群计数。/n

【技术特征摘要】
1.一种基于多尺度密度图融合空洞卷积的人群计数方法，其特征在于包括以下步骤：
步骤(1)获取人群图像数据集，并且进行预处理；
步骤(2)建立基于多尺度密度图融合空洞卷积的人群计数网络；
步骤(3)将预处理之后的人群图像输入该人群计数网络中提取特征数据，输出对应图像的低分辨率密度图；
步骤(4)将低分辨率密度图融合空洞卷积网络，输出对应图像的高分辨率密度图；
步骤(5)对人群计数网络输出的高分辨率密度图进行积分，得到对应人群图像中的人群总数；
步骤(6)将最后输出的高分辨率密度图与人工标注的真实密度图进行损失计算，不断迭代更新人群计数网络；
步骤(7)将测试图片输入最终确认的人群计数网络，生成人群分布密度图并且进行人群计数。


2.根据权利要求1所述的一种基于多尺度密度图融合空洞卷积的人群计数方法，其特征在于步骤(1)具体过程如下：
(1-1)从网上获取本领域的多个公开数据集，对每个数据集分别进行整理归类，随机抽选出所需数量的图片作为训练集，剩下的作为测试集；
(1-2)将整理出的训练集进行二值化、归一化、数据增强的预处理，消除图像中的无关信息，输入人群图像的训练集表示为P＝{p1，p2…pn}，其中n表示为训练集大小。


3.根据权利要求1或2所述的一种基于多尺度密度图融合空洞卷积的人群计数方法，其特征在于步骤(2)具体过程如下：
(2-1)构建基于多尺度密度图融合空洞卷积的人群计数网络，确定网络的广度、深度和训练方式；
(2-2)该人群计数网络由主干和分支两部分构成，其中分支生成三个含有不同空间关联信息的低分辨率密度图，主干用于将三个含有不同语义信息的低分辨率密度图融合空洞卷积生成高分辨率密度图；
(2-3)通过网络训练每一张图片，生成对应的低分辨率密度图Bi和高分辨率密度图hi，构成一个三元组集合，D＝{(p1，B1，h1)…(pn，Bn，hn)}，其中pi是第i个输入图像，Bi是第pi对应的低分辨率密度图，hi是pi对应的高分辨率密度图，n表示训练集大小。


4.根据权利要求3所述的一种基于多尺度密度图融合空洞卷积的人群计数方法，其特征在于步骤(3)具体过程如下：
(3-1)从步骤(1)的数据集中获取预处理后的训练集P＝{p1，p2…pn}，输入人群计数网络中；
(3-2)在人群计数网络的主干网络前端提取出三个不同深度的特征向量，分别输入分支中的三条子分支进一步提取语义信息，输出对应的低分辨率密度图Bi＝{bi1，bi2…bi3}，将低分辨率密度图作为高分辨率密度图预测任务的重要特征，bij是第i个输入图像对应的第j，(1≤j≤3)条子...

【专利技术属性】
技术研发人员：汤景凡，周美佳，姜明，李鹏飞，张旻，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33