基于尺度自适应网络的人群人数计数方法及系统技术方案

本发明专利技术公开了一种基于尺度自适应网络的人群人数计数方法及系统，包括：获取包含人群的原始图像并将其缩放；根据缩放后的图像生成密度图并分别对图像和密度图随机截取图像块；利用图像块及每个图像块所对应的密度图块来训练尺度自适应网络；利用训练完成的尺度自适应网络，针对每幅图像输出密度图，并将密度图中的所有像素加和，最终得到原始图像中所有人数。本发明专利技术有效提升了人群计数的准确度和对人头尺寸差异及复杂背景的鲁棒性。

Crowd Counting Method and System Based on Scale Adaptive Network

【技术实现步骤摘要】
基于尺度自适应网络的人群人数计数方法及系统
本专利技术属于图像处理领域，尤其涉及一种基于尺度自适应网络的人群人数计数方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。人群计数(CrowdCounting)是指针对视频或图像中的人群，统计个体目标数目。近年来，基于模式识别和机器学习的人群计数被广泛的研究和应用在智能监控领域，如：机场车站等地的人流量监控及大型商场区域性人群分布等。通过监控某场所的人数能为管理机构提供实时密度信息，有效控制人流量，从而提供给管理者准确的人数及其分布信息，可防止因人群密度过大而造成的潜在危机。然而，由于人头尺寸差异，人群无规律分布以及复杂背景等问题，人群计数仍面临着很大的挑战。专利技术人发现，现有的人群计数方法大部分着重在输出单一数字来表示人数，无法展示人群分布等细节信息，因此现实应用意义不大。自2015年开始，逐渐出现了输出密度图并基于密度图得到人数的人群计数方法，但应对多尺度目标及复杂背景的能力较弱，计算耗时也相对较长。
技术实现思路
为了解决上述问题，本专利技术提出一种基于尺度自适应网络的人群人数计数方法及系统，针对图像中人头尺寸差异及复杂背景设计了由基础网络、尺度扩大单元、单元密集连接模式和通道注意力单元组成的尺度自适应网络，对每幅图像输出其对应的密度图及人数。在一些实施方式中，采用如下技术方案：基于尺度自适应网络的人群人数计数方法，包括：获取包含人群的原始图像，对原始图像进行缩放处理，并根据样本的人数标签生成对应的密度图；所述样本的人数标签指的是原始图像中标出的人头中心在图像中的位置；从缩放后的图像中截取设定数量的图像块，从密度图中截取设定数量的密度图像块；基于扩张卷积神经网络及通道注意力机制构建尺度自适应人群计数网络；利用所述图像块和密度图像块训练尺度自适应人群计数网络；利用训练完成的尺度自适应人群计数网络，计算每幅待测图像的密度图，并将密度图中的所有像素进行累加得到待测图像中的人数。在另一些实施方式中，采用如下技术方案：基于尺度自适应网络的人群人数计数系统，包括：用于获取包含人群的原始图像，对原始图像进行缩放处理的模块；用于根据样本的人数标签生成对应的密度图的模块；所述样本的人数标签指的是原始图像中标出的人头中心在图像中的位置；用于从缩放后的图像中截取设定数量的图像块的模块，用于从密度图中截取设定数量的密度图像块的模块；用于基于扩张卷积神经网络及通道注意力机制构建尺度自适应人群计数网络的模块；用于利用所述图像块和密度图像块训练尺度自适应人群计数网络的模块；用于利用训练完成的尺度自适应人群计数网络，计算每幅待测图像的密度图，并将密度图中的所有像素进行累加得到待测图像中的人数的模块。在另一些实施方式中，采用如下技术方案：一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-4任一项所述的基于尺度自适应网络的人群人数计数方法。在另一些实施方式中，采用如下技术方案：一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行权利要求1-4任一项所述的基于尺度自适应网络的人群人数计数方法。与现有技术相比，本专利技术的有益效果是：(1)本专利技术针对图像中背景复杂，人头尺寸差异等特点设计了尺度自适应网络。其中由传统卷积分支和空洞卷积分支组成的尺度扩大单元可提取具有两种不同感受野的特征；采用密集连接模式将多个尺度扩大单元进行连接，进一步增大了感受野范围，同时使感受野在一定范围内分布更密集，因此可有效处理图像或视频中人头尺寸差异问题；通道注意力单元来针对输入图像中不同的人头尺寸有选择性地增强具有合适感受野的特征通道，有效缓解了不同特征通道间的竞争所导致的负面影响。(2)借助深度卷积神经网络自动学习图像特征，从而避免了设计特征提取器以对图像进行手动特征提取的复杂任务。(3)输出为密度图，可提供人群分布等细节信息，且根据密度图的像素加和可直接得到人数。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1是尺度自适应网络的结构图；图2是尺度扩大单元结构图；图3是扩张卷积和传统卷积对比；图4是通道注意力单元结构图。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本专利技术使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例一鉴于深度学习在机器视觉领域的广泛应用(跟踪，检测，定位等)以及卷积神经网络在图像处理，特征学习方面的强大性能。在一个或多个实施方式中，公开了一种基于尺度自适应网络的人数计数方法，该方法针对人头尺寸差异和背景复杂等问题，利用扩张卷积神经网络和传统卷积神经网络的结合，获取具有多个感受野的特征输出密度图并进行人群计数：采用了传统卷积神经网络和扩张卷积神经网络进行人群计数；为获取具有更多感受野的特征以应对人头尺寸差异和复杂背景，将多个单元采取密集链接模式；为降低多个特征通道间的竞争性，设计了通道注意力单元。基于尺度自适应网络的人数计数方法，具体包括：步骤1：获取包含人群的原始图像，对原始图像进行放缩处理。具体操作为将获取的原始图像的长和宽各重置为与原图尺寸最接近的16的倍数。这样便于为网络训练样本的分割以及网络训练中的降维。根据样本的人数标签生成对应的密度图；样本的人数标签指的是原始图像中标出的人头中心在图像中的位置；密度图D的生成方法见公式(1)。其中J为图像中人群位置的个数，xi表示人头具体位置的坐标。G(·)和σi则分别表示高斯核和其方差。当数据为密集人群时，σi由根据目标与离其最近的两个目标的距离通过K近邻算法计算而来。数据为稀疏人群时，将σi直接选定一个固定值。步骤2：随机对每幅图像截取9个原图的长、宽1/4大小的图像块，对密度图进行相同的操作；步骤3：利用图像块和对应的密度图像块来训练尺度自适应网络；步骤4：利用训练完成的尺度自适应网络，计算每幅图像的密度图，并对密度图中的所有像素进行累加得到图像中的人数。将待测图像输入到已经训练好的尺度自适应人群计数网络，输出对应的密度图。将密度图中所有的像素进行加和，得到待测图像中的人数。其中，尺度自适应网络训练模块可进一步细分为4个单元，分别是基础网络、尺度扩大单元、单元密集连接模式和通道注意力单元。其中基础网络为传统的卷积层，用来提取初级特征。尺度扩大单元由传统卷积分支和扩张卷积分支组成，可提取具有不同感受野大小的特征图。单元密集连接模式为将每个尺度扩大单元输出的密度图进一步输入到其下一个及其之后的每个尺度扩大单元。通道注意力单元的目的是为不同的图像选择具有合适感受野特征的密度图通道，从而降低多个特征通道间的竞争性。图1为尺度自适应网本文档来自技高网...

【技术保护点】
1.基于尺度自适应网络的人群人数计数方法，其特征在于，包括：获取包含人群的原始图像，对原始图像进行缩放处理，并根据样本的人数标签生成对应的密度图；所述样本的人数标签指的是原始图像中标出的人头中心在图像中的位置；从缩放后的图像中截取设定数量的图像块，从密度图中截取设定数量的密度图像块；基于扩张卷积神经网络及通道注意力机制构建尺度自适应人群计数网络；利用所述图像块和密度图像块训练尺度自适应人群计数网络；利用训练完成的尺度自适应人群计数网络，计算每幅待测图像的密度图，并将密度图中的所有像素进行累加得到待测图像中的人数。

【技术特征摘要】
1.基于尺度自适应网络的人群人数计数方法，其特征在于，包括：获取包含人群的原始图像，对原始图像进行缩放处理，并根据样本的人数标签生成对应的密度图；所述样本的人数标签指的是原始图像中标出的人头中心在图像中的位置；从缩放后的图像中截取设定数量的图像块，从密度图中截取设定数量的密度图像块；基于扩张卷积神经网络及通道注意力机制构建尺度自适应人群计数网络；利用所述图像块和密度图像块训练尺度自适应人群计数网络；利用训练完成的尺度自适应人群计数网络，计算每幅待测图像的密度图，并将密度图中的所有像素进行累加得到待测图像中的人数。2.如权利要求1所述的基于尺度自适应网络的人群人数计数方法，其特征在于，所述根据样本的人数标签生成对应的密度图，具体为：其中，J为图像中人群位置的个数，xi表示人头具体位置的坐标；G(·)和σi则分别表示高斯核和其方差。3.如权利要求1所述的基于尺度自适应网络的人群人数计数方法，其特征在于，所述尺度自适应人群计数网络首先由卷积层进行浅层特征提取，然后将提取的特征继续传送到堆叠的尺度扩大单元进行多尺度特征提取，所述尺度扩大单元之间采用密集连接模式；在每个尺度扩大单元后插入了通道注意力单元对特征通道分配不同的权重以针对不同的输入来加强具有合适感受野的特征通道。4.如权利要求3所述的基于尺度自适应网络的人群人数计数方...

【专利技术属性】
技术研发人员：常发亮，张友梅，李南君，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37