一种基于多尺度全卷积网络特征融合的人群计数方法技术

本发明专利技术公开了一种基于多尺度全卷积网络特征融合的人群计数方法，其包括以下步骤：输入一张图片，分别进入三个分支网络，以用于获得不同尺度的特征图；将获得的各个分支网络的特征图进行融合，得到最终估计的特征图；将输出的特征图映射为密度图；对密度图进行求和运算实现当前人群数量的估计。本发明专利技术提供的一种基于多尺度全卷积网络特征融合的人群计数方法，可克服遮挡、场景透视扭曲和不同的人群分布等对人群计数的严重影响，具有较强的实用性，鲁棒性好，能精确进行人群计数或者人群密度估算，将对监控人群异常事件具有重要价值。

【技术实现步骤摘要】
一种基于多尺度全卷积网络特征融合的人群计数方法
本专利技术是涉及一种基于多尺度全卷积网络特征融合的人群计数方法，属于图像处理

技术介绍
密集场合中的人数估计有着许多潜在实际应用价值，包括监测(例如，检测异常大的拥挤人群，或者控制在一个地区内的人的数量)，安全管理(记录进入或离开某个区域的人数)，城市规划(例如，分析某个区域的人流量)等。现有技术中关于人群计数的方法主要有：1)行人检测法：在人群稀疏分布的场景中，通过检测视频中的每一个行人来计数。这种方法相对直接，但是在人群拥挤遮挡时会受到影响。2)轨迹聚类法：对于监控视频，通常使用KLT(Kanade-Lucas-Tomasi)跟踪器与聚类的方法，用轨迹聚类去估计人数。但这种方法会被人之间的严重遮挡所限制。3)特征回归法：首先得到图像特征与人数的回归模型，然后借助图像特征来估计图像中的人数。这种方法考虑到了人群的整体特征，可以进行大规模的人群计数，但是会忽略行人的空间信息，导致计数精度不够。4)人群密度图回归法：通过像素级的目标密度图回归计数，目标是学习细节特征和人群计数之间的映射。该法能估计图像任意位置的目标数目，提出了交互式的目标计数系统。但目前都是针对特定场景的，并不适用于跨场景的计数。总之，由于遮挡、人群无规律分布等问题，导致密集人群计数仍面临着很大挑战，因此，研发一种实用性强、鲁棒性好、能精确进行人群计数或者人群密度估算的方法将对监控人群异常事件具有重要意义。
技术实现思路
针对现有技术存在的上述问题和需求，本专利技术的目的是提供一种实用性强、鲁棒性好、能精确进行人群计数的基于多尺度全卷积网络特征融合的人群计数方法。为实现上述目的，本专利技术采用的技术方案如下：一种基于多尺度全卷积网络特征融合的人群计数方法，包括以下步骤：S1：输入一张图片，分别进入三个分支网络，以用于获得不同尺度的特征图；S2：将获得的各个分支网络的特征图进行融合，得到最终估计的特征图；S3：将输出的特征图映射为密度图；S4：对密度图进行求和运算实现当前人群数量的估计。进一步说，步骤S1中所述的不同尺度的特征图是由于分支网络中使用不同大小的卷积核、且网络层数不相同导致。进一步说，步骤S1的具体操作为：a)先将带有人的头部位置标签的图片转换成人群密度图，如果有一个头部位置在像素点xi，将其表示为δ(x-xi)，则有N个人的头部位置标记的图像可表示为函数式(1)：b)将函数式(1)与高斯核Gσ进行卷积，得到密度估计函数式(2)：F(x)＝H(x)*Gσ(x)(2)c)根据与其近邻人的平均距离数据来自动确定每个人的传播参数σ,若将给定图像中的每个头到其k个最近邻人的距离表示为则平均距离可表示为函数式(3)：d)将δ(x-xi)与传播参数σi和平均距离da与成比例的高斯核进行卷积，则准确的密度F可表示为函数式(4)：其中的参数β是使用适合于每个数据点周围的局部几何的几何自适应内核对标签H进行卷积得到。作为优选方案，β＝0.3。进一步说，步骤S1中所述的图片输入卷积神经网络中，在定义网络的损失函数时，采用两个损失函数进行联合训练，具体的两个损失函数定义如函数式(5)和(6)所示：上述式中：θ是一组可学习的参数，N是训练图像的数量，Xi代表输入图像，Fi是图像Xi的地面真实密度图，F(Xi；θ)是网络估计的密度图，zi代表图像Xi中真实的人群数量，s代表估计密度图的空间区域，且函数式(5)中的L是估计密度图和地面真实密度图之间的损失，函数式(6)中的L是估计人数和地面真实人数之间的损失。进一步说，步骤S2中所述的将获得的各个分支网络的特征图进行融合的具体操作是：使输入数据的张量经过分支网络后获得相应的输入张量，保持行维度不变，对列维度进行连接。进一步说，步骤S3中所述的将输出的特征图映射为密度图的具体方法是在输出特征图上进行一次的卷积核尺寸为1×1的卷积操作。与现有技术相比，本专利技术具有如下有益效果：本专利技术提供的一种基于多尺度全卷积网络特征融合的人群计数方法，可克服遮挡、场景透视扭曲和不同的人群分布等对人群计数的严重影响，具有较强的实用性，鲁棒性好，能精确进行人群计数或者人群密度估算，将对监控人群异常事件具有重要价值。附图说明图1为本专利技术实施例对人群图片的估计密度图。具体实施方式以下结合附图和实施例对本专利技术的技术方案做进一步详细描述。实施例本实施例提供的一种基于多尺度全卷积网络特征融合的人群计数方法，包括以下步骤：S1：输入一张图片，分别进入三个分支网络，以用于获得不同尺度的特征图；具体操作为：a)先将带有人的头部位置标签的图片转换成人群密度图，如果有一个头部位置在像素点xi，将其表示为δ(x-xi)，则有N个人的头部位置标记的图像可表示为函数式(1)：b)将函数式(1)与高斯核Gσ进行卷积，得到密度估计函数式(2)：F(x)＝H(x)*Gσ(x)(2)c)根据与其近邻人的平均距离数据来自动确定每个人的传播参数σ,若将给定图像中的每个头到其k个最近邻人的距离表示为则平均距离可表示为函数式(3)：d)将δ(x-xi)与传播参数σi和平均距离da与成比例的高斯核进行卷积，则准确的密度F可表示为函数式(4)：其中的参数β是使用适合于每个数据点周围的局部几何的几何自适应内核对标签H进行卷积得到。实验结果表明：β＝0.3能得到最好的结果。所述的图片输入卷积神经网络中，在定义网络的损失函数时，采用两个损失函数进行联合训练，具体的两个损失函数定义如函数式(5)和(6)所示：上述式中：θ是一组可学习的参数，N是训练图像的数量，Xi代表输入图像，Fi是图像Xi的地面真实密度图，F(Xi；θ)是网络估计的密度图，zi代表图像Xi中真实的人群数量，s代表估计密度图的空间区域，且函数式(5)中的L是估计密度图和地面真实密度图之间的损失，函数式(6)中的L是估计人数和地面真实人数之间的损失。S2：将获得的各个分支网络的特征图进行融合，得到最终估计的特征图；具体操作是：使输入数据的张量经过分支网络后获得相应的输入张量，保持行维度不变，对列维度进行连接。S3：将输出的特征图映射为密度图，具体方法是在输出特征图上进行一次的卷积核尺寸为1×1的卷积操作。S4：对密度图进行求和运算实现当前人群数量的估计。最后有必要在此指出的是：以上所述仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于多尺度全卷积网络特征融合的人群计数方法，其特征在于，包括以下步骤：S1：输入一张图片，分别进入三个分支网络，以用于获得不同尺度的特征图；S2：将获得的各个分支网络的特征图进行融合，得到最终估计的特征图；S3：将输出的特征图映射为密度图；S4：对密度图进行求和运算实现当前人群数量的估计。

【技术特征摘要】
1.一种基于多尺度全卷积网络特征融合的人群计数方法，其特征在于，包括以下步骤：S1：输入一张图片，分别进入三个分支网络，以用于获得不同尺度的特征图；S2：将获得的各个分支网络的特征图进行融合，得到最终估计的特征图；S3：将输出的特征图映射为密度图；S4：对密度图进行求和运算实现当前人群数量的估计。2.根据权利要求1所述的人群计数方法，其特征在于：步骤S1中所述的不同尺度的特征图是由于分支网络中使用不同大小的卷积核、且网络层数不相同导致。3.根据权利要求1所述的人群计数方法，其特征在于，步骤S1的具体操作为：a)先将带有人的头部位置标签的图片转换成人群密度图，如果有一个头部位置在像素点xi，将其表示为δ(x-xi)，则有N个人的头部位置标记的图像可表示为函数式(1)：b)将函数式(1)与高斯核Gσ进行卷积，得到密度估计函数式(2)：F(x)＝H(x)*Gσ(x)(2)c)根据与其近邻人的平均距离数据来自动确定每个人的传播参数σ,若将给定图像中的每个头到其k个最近邻人的距离表示为则平均距离可表示为函数式(3)：d)将δ(x-xi)与传播参数σi和平均距离da与成比例的高斯核进行卷积，则准确的密度F可表示为函数...

【专利技术属性】
技术研发人员：方志军，彭山珍，高永彬，黄勃，韦钰，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：上海,31