一种基于多尺度的空洞卷积网络的人群计数方法技术

本发明专利技术公开一种基于多尺度的空洞卷积网络的人群计数方法，其包括以下步骤：输入一种图片，进入前端网络提取2D特征图，将获得的2D特征图分别进入三个不同膨胀率的空洞卷积分支网络，以获得不同尺度的特征图；将获得的三个分支网络的特征图进行融合，得到最终估计的特征图；将输出的特征图映射为密度图；对密度图进行积分求和运算实现输入图片人群数量的估计。本发明专利技术公开一种基于多尺度的空洞卷积网络的人群计数方法，可以应用于不同场景，可以克服人群密集时相互遮挡对计数的影响，可以解决人群在图片中不同分布时所呈现的不同尺度，具有较好的实用性，对监控人数管理有重要意义。义。

【技术实现步骤摘要】
一种基于多尺度的空洞卷积网络的人群计数方法


[0001]本专利技术是涉及一种基于多尺度的空洞卷积网络的人群计数方法，属于图像处理


技术介绍

[0002]特定场合中的人数估计有着许多潜在实际应用价值，包括流量控制(控制在一个地区内的人的数量)，安全预警(发现某一区域人群聚集时，及时处理驱散人群)，公共交通管理(例如，地铁、公交等公共交通提供人群计数，方便做出相应决策)等。
[0003]现有技术中关于人群计数的方法主要有：
[0004]1)基于目标检测法：在人群相对稀疏的场景中，通过检测视频中的每一个行人来计数。这种方法相对直接，但是在人群拥挤相互遮挡时检测准确性会大大降低。
[0005]2)基于回归法：从图像中学习一种到特征到人群数量的映射来完成人的数量统计。这种方法在一定程度上能解决遮挡的问题，但是由于是使用整幅图像的特征进行回归计数，从而忽略了图像的空间信息导致计数精度不够。
[0006]3)基于密度图的方法：学习图像的局部特征和其相应的密度图之间的映射，从而在计数的过程中加入图像的空间信息。该法能估计图像任意位置的目标数目，但目前都是针对特定场景的，并不适用于跨场景的计数。
[0007]总之，由于人群拥挤相互遮挡，并且行人无规律分布等问题，导致密集人群计数仍面临着很大挑战，因此，研发一种实用性强、鲁棒性好、能精确进行人群计数或者人群密度估算的方法将对监控监控人数管理具有重要意义。

技术实现思路

[0008]本专利技术为解决现有技术在不同场景下的人群分布不同导致在图像中显示的尺度不一致的问题，提基于多尺度的空洞卷积网络的人群计数方法。主要包括以下步骤
[0009]步骤S1：对获取的人群图像预处理，并利用标注信息产生对应的人群密度图；
[0010]步骤S2：构建多尺度的空洞卷积网络，利用VGG16前十层作为前端网络，后端网络为膨胀率为1、2和4的三个空洞卷积网络分支；
[0011]步骤S3：初始化网络权重参数；
[0012]步骤S4：将S1预处理后的人群图像和人群密度图输入网络，完成前向传播；
[0013]步骤S5：将S4前向传播的结果与真实的密度图计算损失，更新模型参数；
[0014]步骤S6：迭代步骤S4，S5到指定次数；
[0015]步骤S7：获取人群密度图，得到估计人数。将步骤S2中所述的将输出的特征图进行一次的卷积核尺寸为1
×
1的卷积操作，把特征图映射为密度图，得到估计人数。
[0016]与当前方法相比较，本专利技术提出了基于多尺度的空洞卷积网络的人群计数方法，网络中包含的VGG16特征提取器作为前端网络，后端接三个不同膨胀率的空洞卷积网络，在扩大感受视野的同时能处理不同尺度的人群，有较强的实用性。本方法利用多分支的空洞
卷积网络的方法提取离散尺度的人群特征。相比于已有方法，本专利技术提出的方法更为准确。
附图说明
[0017]图1为本专利技术一种基于多尺度的空洞卷积网络的人群计数方法的流程图。
[0018]图2为本专利技术基于多尺度的空洞卷积网络的人群计数方法的网络结构图。
[0019]图3为本专利技术根据输入图片生成的人群估计密度图。
具体实施方式
[0020]如图1所示为本专利技术基于多尺度的空洞卷积网络的人群计数方法的流程图。主要包括以下步骤：对获取的人群图像利用标注信息产生对应的人群密度图、多尺度的空洞卷积网络、初始化网络权重参数、将人群图像和对应生成的人群密度图输入网络，完成前向传播、将前向传播的结果与真实的密度图计算损失，更新模型参数、迭代前向传播和更新模型参数到指定次数、将输出的特征图映射为密度图，得到估计人数，各步骤的具体实施细节如下：
[0021]步骤S1：对获取的人群图像预处理，并利用标注信息产生对应的人群密度图，具体方式如下：
[0022]步骤S11：先将带有人的头部位置标签的图片转换成人群密度图，具体方式为，如果有一个头部位置在像素点，将其表示为δ(x-x
i
)，则有N个人的头部位置标记的图像可表示为函数式(1)：
[0023][0024]步骤S12：将位置矩阵通过几何自适应高斯核生成人群密度图，几何自适应定义为公式(2):
[0025][0026]对于真实值δ中的每个人头，我们使用d
i
表示k个最近邻人的平均距离。为了生成密度图，我们将δ(x-x
i
)与参数为σ
i
(标准偏差)的高斯核进行卷积运算，得到最终的密度F。
[0027]步骤S2：构建多尺度的空洞卷积网络的人群计数网络，具体方式如下：
[0028]步骤S22：搭建不包含全连接层的VGG16网络，且只取其前10层卷积层，作为前端2D特征提取网络；
[0029]步骤S23：搭建多尺度的空洞卷积网络，利用膨胀率为1、2和4的空洞卷积作为后端网络的三个分支网络；
[0030]步骤S24：将步骤S22搭建的VGG16网络的第十层输出的特征图分别送入各个分支网络；
[0031]步骤S25：将步骤23中各个分支特征图进行融合的具体操作是：使输入数据的张量经过分支网络后获得相应的输出张量，保持行维度不变，对列维度进行连接。
[0032]步骤S3：初始化网络权重参数，具体方式为，对于步骤S2获得的人群计数网络，其前端特征提取器VGG16的初始值为不包含全连接层且只取前十层的VGG16的分类权重，其他的卷积层和全连接层都采用正太分布初始化参数，其中：μ＝0，σ＝0.01；
[0033]步骤S4：将步骤S1预处理后的人群图像和人群密度图输入网络，完成前向传播；
[0034]步骤S5：将步骤S4前向传播的结果与输入网络的真实密度图计算损失，更新模型参数，具体方式如下：
[0035]步骤S51：计算前向传播的结果与真实密度图的均方差损失，具体方式为：
[0036]其中，N代表一次前向传播的输入数据的样本数，本专利技术中N＝300，Z(x
i
；θ)代表当前第i个数据前向传播计算的密度图，代表当前第i个数据的真实密度图；
[0037]步骤S52：将步骤S51计算得到的损失利用随机梯度下降法更新模型参数；
[0038]步骤S6：迭代步骤S4，S5到指定次数，本专利技术迭代次数为400次；
[0039]步骤S7：将步骤S2中所述的将输出的特征图映射为密度图的具体方法是在输出特征图上进行一次的卷积核尺寸为1
×
1的卷积操作。
[0040]与当前方法相比较，本专利技术提出了基于多尺度的空洞卷积网络的人群计数方法，网络中包含的VGG16特征提取器作为前端网络，后端接三个不同膨胀率的空洞卷积网络，在扩大感受视野的同时能处理不同尺度的人群，有较强的实用性。本方法利用多分支的空洞卷积网络的方法提取离散尺度的人群特征。相比于已有方法，本专利技术提出的方法更为准确。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度的空洞卷积网络的人群计数方法，其特征在于，包括以下步骤：步骤S1：对获取的人群图像预处理，并利用标注信息产生对应的人群密度图，具体方式如下：步骤S11：先将带有人的头部位置标签的图片转换成人群密度图，具体方式为，如果有一个头部位置在像素点，将其表示为，则有N个人的头部位置标记的图像可表示为函数式(1)：步骤S12：将位置矩阵通过几何自适应高斯核生成人群密度图，几何自适应定义为公式(2):对于真实值δ中的每个人头，我们使用d
i
表示k个最近邻人的平均距离。为了生成密度图，我们将δ(x-x
i
)与参数为σ
i
(标准偏差)的高斯核进行卷积运算，得到最终的密度F。步骤S2：构建多尺度的空洞卷积网络的人群计数网络，具体方式如下：步骤S22：搭建不包含全连接层的VGG16网络，且只取其前十层卷积层，作为前端2D特征提取网络；步骤S23：搭建多尺度的空洞卷积网络，利用膨胀率为1、2和4的空洞卷积作为后端网络的三个分支网络；步骤S24：将步骤S22搭建的VGG16网络的第十层输出特征分别送入各个分支网络；步骤S25：将步骤23中各个分支特征图进行融合的具体操作是：使输入数据的张量经过分支网络后获得相应的输出张量，保持行维度不变，对列维度进行连接；步骤...

【专利技术属性】
技术研发人员：沈礼文，邱钊，
申请(专利权)人：海南大学，
类型：发明
国别省市：