一种基于多尺度特征信息的人群计数方法及系统技术方案

本公开提供了一种基于多尺度特征信息的人群计数方法，属于计算机视觉技术领域，对获取的图像进行预处理，得到图像对应的人群密度图；将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值；本公开解决了人群的大规模变化对于人群计数带来的影响，采用特征图融合的方式，进一步减小了经过逐层抽象表达和池化层的下采样后丢失细节信息所造成的损失，可以保留更多细节信息，从而实现效果较好的多尺度密集人群的计数。

【技术实现步骤摘要】
一种基于多尺度特征信息的人群计数方法及系统
本公开涉及计算机视觉
，特别涉及一种基于多尺度特征信息的人群计数方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
，并不必然构成现有技术。围绕和平与发展的当今时代主题，当今世界进入迅速的和平发展阶段。人口出现指数型增长，由此而来的公众场所的密集人群聚集现象发生的越来越频繁，例如如今司空见惯的大型的演唱会，体育比赛，以及大规模的人群集会和游行。在这种情况下，引发的人群踩踏和骚乱也愈发的频繁起来，如2015年上海外滩踩踏事件，已达到了我国规定的重大伤亡事故级别。所以为了更好的管理人群、保障人群的安全，人群统计愈发的重要起来。所谓人群统计就是通过一定技术手段，估计出整个图像范围内人群中的个体数目。人群统计其主要有两个基本框架：基于检测的计数和基于回归的计数框架.其中基于检测的计数框架通过训练一个分类器，利用个人的边缘或通过检测身体的部分结构，例如头，胳膊等去统计输入图片的人群数量。但是基于检测的计数框架在低密度场景下可以准确估计人群，而在拥挤地区则会降低其可靠性。基于回归的计数框架利用线性回归、高斯回归等方法学习一个低级特征到人群数量的映射关系，可以捕捉拥挤区域的一般密度信息，但在不知道每个人的位置的情况下，它倾向于过高地估计低密度的计数。随着深度学习技术的发展，不同于传统的基于检测和回归的方法，深度学习凭借其出色的特征学习能力，被越来越多的应用到人群计数中来，主要是通过运用不同的卷积神经网络来实现提取不同尺度的特征。与传统方法相比在计数准确性上有了明显提升。由于单列卷积神经网络(ConvolutionalNeuralNetworks，CNN)只含有一种尺度的感受野，难以处理尺度变化问题，有研究人员提出一系列的多列CNN、多输入CNN和多任务学习CNN结构。通过融合多列网络提取的不同尺度特征解决图片中人的尺度变化问题。但是，本公开专利技术人发现，现有的多列CNN普遍采用最高层的特征图来回归产生密度图，而高层的特征图在经过逐层抽象表达和池化层的下采样后，会丢失较多的细节信息甚至过滤掉一些尺度较小的目标，造成算法对小目标的计数能力较差。
技术实现思路
为了解决现有技术的不足，本公开提供了一种基于多尺度特征信息的人群计数方法及系统，解决了人群的大规模变化对于人群计数带来的影响，采用特征图融合的方式，进一步减小了经过逐层抽象表达和池化层的下采样后丢失细节信息所造成的损失，可以保留更多细节信息，从而实现效果较好的多尺度密集人群的计数。为了实现上述目的，本公开采用如下技术方案：本公开第一方面提供了一种基于多尺度特征信息的人群计数方法。一种基于多尺度特征信息的人群计数方法，包括以下步骤：对获取的图像进行预处理，得到图像对应的人群密度图；将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。本公开第二方面提供了一种基于多尺度特征信息的人群计数系统。一种基于多尺度特征信息的人群计数系统，其特征在于，包括：数据预处理模块，被配置为：对获取的图像进行预处理，得到图像对应的人群密度图；特征提取模块，被配置为：将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；人群计数模块，被配置为：将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。本公开第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于多尺度特征信息的人群计数方法中的步骤。本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于多尺度特征信息的人群计数方法中的步骤。与现有技术相比，本公开的有益效果是：1、本公开所述的方法、系统、介质及电子设备，通过多尺度特征信息融合来解决人的尺度变化问题，与传统方法不同，本公开对CNN产生的特征金字塔自顶向下逐层融合不同分辨率的特征图，构建具有高级语义特征和细节信息以及具有不同尺度目标特征的特征图，并在之后对不同特征的密度图进行融合，并对融合之后的特征图进行回归产生密度图来适应图片中人物的尺度变化，极大的提高了人群计数的准确度。2、本公开所述的方法、系统、介质及电子设备，通过后期的特征图融合，一方面可以兼顾深层语义信息与浅层细节信息，使融合的特征包含更加丰富的信息，另一方面可以有效提升模型集成效率，使模型集成更多子模型，从而更好地涵盖目标可能的尺度，提升模型对多尺度目标的感知效果。3、本公开所述的方法、系统、介质及电子设备，通过最终的特征图融合以及信息增强得到最终的密度图，进行误差较小的人群计数，能够适用于密度信息复杂多样的场景，具有较好的准确性和鲁棒性。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1为本公开实施例1提供的基于多尺度特征信息的密集人群计数方法的流程图。图2为本公开实施例1提供的基于多尺度特征信息的密集人群计数方法的原理图。具体实施方式下面结合附图与实施例对本公开作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。在不冲突的情况下，本公开中的实施例及实施例中的特征本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征信息的人群计数方法，其特征在于，包括以下步骤：/n对获取的图像进行预处理，得到图像对应的人群密度图；/n将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；/n将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。/n

【技术特征摘要】
1.一种基于多尺度特征信息的人群计数方法，其特征在于，包括以下步骤：
对获取的图像进行预处理，得到图像对应的人群密度图；
将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；
将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。


2.如权利要求1所述的基于多尺度特征信息的人群计数方法，其特征在于，对获取的图像进行预处理，具体为：对获取的图像进行人头位置标注，对位置标注后的图像通过二维高斯卷积核进行卷积，得到图像对应的人群密度图。


3.如权利要求2所述的基于多尺度特征信息的人群计数方法，其特征在于，得到图像对应的人群密度图，具体为：



其中，N代表人群图像中的人数，x代表图像中每个像素的位置，xi代表第i个人的标注位置，δ(x-xi)表示激活函数，表示标准差为σi的高斯核，为标记点xi与其最近的K个人头之间的平均距离，β为预设系数。


4.如权利要求1所述的基于多尺度特征信息的人群计数方法，其特征在于，所述预设多特征提取网络模型为VGG-16卷积神经网络的前十层，将预处理得到的人群密度图标签输入多特征提取网络模型中，进行从下而上的前向计算，得到四张尺度逐渐减小的特征图；
然后对得到的四张特征图进行自上而下的逐层侧边连接，得到三张连接后的特征图，具体为最上层的特征图与下一层的特征图进行侧边拼接，将拼接结果与下一层的特征图进行拼接，知道最后一层的特征图。


5.如权利要求4所述的基于多尺度特征信息的人群计数方法，其特征在于，得到的多张连接...

【专利技术属性】
技术研发人员：吕蕾，谢锦阳，顾玲玉，陈梓铭，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37