人数统计方法及装置制造方法及图纸

本申请提供一种人数统计方法及装置，该方法应用于搭载包括基于卷积神经网络构建的图像特征提取子模型和SSD分类回归子模型的人数统计模型的服务器，具体包括：将图像帧输入图像特征提取子模型生成图像特征图；基于SSD分类回归子模型对该图像特征图中各像素点生成默认框，获取各默认框位置坐标及概率评分，将最大概率评分作为初级置信度；筛选出初级置信度最高的前K个默认框作为目标候选框；基于各目标候选框的位置坐标和概率评分，进行包围盒回归分析和softxmax分类，得到各目标候选框的坐标位置和最终置信度；基于非极大值抑制算法，获取目标框，并基于目标框的数量统计监控区域中的人数。使用本方法，可以有效提高人数统计的实时性。

Statistical method and device for number of people

This application provides a method and device for population statistics. The method is applied to a server carrying a population statistics model including an image feature extraction sub-model based on convolutional neural network and a SSD classification regression sub-model. The specific application includes: input the image frame into the image feature extraction sub-model to generate the image feature map; and use the SSD to generate the image feature map. Classified regression sub-model generates default frames for each pixel in the image feature map, obtains the position coordinates and probability scores of each default frame, and takes the maximum probability score as the primary confidence; selects the first K default frames with the highest primary confidence as the target candidate box; and based on the position coordinates and probability scores of each target candidate box, The coordinate position and final confidence of each target candidate box are obtained by bounding box regression analysis and soft Max classification; the target box is obtained based on non-maximum suppression algorithm, and the number of people in the monitoring area is counted based on the number of target boxes. This method can effectively improve the real-time performance of the statistics.

【技术实现步骤摘要】
人数统计方法及装置
本申请涉及图像处理
，尤其涉及人数统计方法及装置。
技术介绍
随着计算机视觉的发展，视频监控技术在保障公共安全，维护社会稳定方面越来越重要。人数统计是视频监控领域的重要组成部分，实时有效的人数统计为人群行为分析提供了基础数据，对防止人群拥堵、非法聚集等有着重要作用。然而，现有的基于神经网络的人数统计方法大多利用了“区域建议框和分类器”的目标检测思想，在目标检测时，很难实现端到端的目标检测，因此极大地降低了人数统计的实时性。
技术实现思路
有鉴于此，本申请提供一种人数统计方法及装置，用以提高人数统计的实时性。具体地，本申请是通过如下技术方案实现的：根据本申请的第一方面，提供一种人数统计方法，所述方法应用于服务器，所述服务器搭载人数统计模型，所述人数统计模型包括基于卷积神经网络构建的图像特征提取子模型和SSD分类回归子模型，所述方法包括：将前端摄像机采集到的图像帧输入所述图像特征提取子模型进行图像特征提取，并输出提取到的图像特征图；其中，所述图像特征提取子模型的部分卷积层在卷积操作中未进行下采样操作；基于所述SSD分类回归子模型针对输出的所述图像特征图中每一个像素点分别生成对应的默认框，并获取各默认框在所述图像特征图中的位置坐标，以及对应于不同物体类别的概率评分，并将各默认框的最大概率评分作为初级置信度；筛选出所述初级置信度最高的前K个默认框作为目标候选框，基于各目标候选框的位置坐标进行包围盒回归分析，得到对应于各目标候选框的区域大小；以及，对各目标候选框的概率评分进行softxmax分类，得到各目标候选框对应于不同物体分类的最终置信度；基于非极大值抑制算法，获取重叠度高于预设阈值的目标候选框中所述最终置信度最高的目标候选框作为目标框，并基于所述目标框的数量统计监控区域中的人数。根据本申请的第二方面，提供一种人数统计装置，所述装置应用于服务器，所述服务器搭载人数统计模型，所述人数统计模型包括基于卷积神经网络构建的图像特征提取子模型和SSD分类回归子模型，所述装置包括：提取单元，用于将前端摄像机采集到的图像帧输入所述图像特征提取子模型进行图像特征提取，并输出提取到的图像特征图；其中，所述图像特征提取子模型的部分卷积层在卷积操作中未进行下采样操作；获取单元，用于基于所述SSD分类回归子模型针对输出的所述图像特征图中每一个像素点分别生成对应的默认框，并获取各默认框在所述图像特征图中的位置坐标，以及对应于不同物体类别的概率评分，并将各默认框的最大概率评分作为初级置信度；筛选单元，用于筛选出所述初级置信度最高的前K个默认框作为目标候选框，基于各目标候选框的位置坐标进行包围盒回归分析，得到对应于各目标候选框的区域大小；以及，对各目标候选框的概率评分进行softxmax分类，得到各目标候选框对应于不同物体分类的最终置信度；第一统计单元，用于基于非极大值抑制算法，获取重叠度高于预设阈值的目标候选框中所述最终置信度最高的目标候选框作为目标框，并基于所述目标框的数量统计监控区域中的人数。一方面，由于本申请使用的人数统计模型包括基于卷积神经网络的图像特征子模型和SSD分类回归子模型，在进行人数统计时，监控视频的图像帧不再经过区域建议框和分类器两个神经网络，而只需要经过这一个人数统计模型，因此大大提高了人数统计的实时性；另一方面，由于在训练SSD分类回归子模型时，本申请可以对SSD分类回归子模型生成的默认框进行筛选，然后将计算筛选出的默认框的多任务损失进行反向传播，从而大大增加了SSD分类回归子模型的训练速率。在进行人数统计时，在SSD子模型生成默认框后，由于对默认框进行了筛选，使得在保证SSD分类回归子模型目标检测准确率的同时，大大提高了SSD分类回归子模型的速率。从而在保证目标检测高准确率的情况下，检测速度到达200fps，目标检测速率是相关技术中的目标检测速率的4倍，因此有效地提高了人数统计的实时性。此外，本申请在进行人流量统计时，采用低频特征构建感知哈希指纹，并利用构建的感知哈希指纹距离和位置坐标距离实现目标特征匹配，不仅提升了匹配的准确率，还保证了目标跟踪的实时性。附图说明图1是本申请一示例性实施例示出的一种人数统计方法的流程图；图2(a)是本申请一示例性实施例示出的一种监控区域人数统计的示意图；图2(b)是本申请一示例性实施例示出的另一种监控区域人数统计的示意图；图3是本申请一示例性实施例示出的一种人数统计装置所在设备的硬件结构图；图4是本申请一示例性实施例示出的一种人数统计装置的框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。随着计算机视觉的发展，视频监控技术在保障公共安全，维护社会稳定方面越来越重要。人数统计是视频监控领域的重要组成部分，实时有效的人数统计为人群行为分析提供了基础数据，对防止人群拥堵、非法聚集等有着重要作用。一种相关的人数统计的方法可以通过更快速区域卷积神经网络FasterR-CNN进行头肩(人数)检测。在实现时，首先可以设置头肩热区(即监控区域)，然后使用区域建议网络RPN提取该头肩热区内可能出现头肩的可疑目标区域。最后使用分类器判断可疑目标区域是否存在头肩，从而实现人数统计。然而，一方面，由于该相关的人数统计的方法是通过头肩进行人数统计，这就要求前端摄像机必须水平安装，对工勘要求十分严格，从而造成该方案的场景适应性不佳；另一方面，由于该相关技术中的人数统计方案需要使用区域建议网络RPN，从头肩热区中提取可疑的目标区域，然后再使用分类器判断可疑目标区域内是否存在头肩，由于在人数统计时需要使用两个神经网络，因此这种人数统计的方法的实时性较差。此外，在训练神经网络时，也需要对两个神经网络进行训练，大大增加了神经网络训练的复杂度。另一种相关的人数统计的方法是通过检测人头的数量来统计人数。在该方案中，可以使用Adaboost分类器从图像中提取可能存在人头的候选框，并利用卷积神经网络生成特征图，然后在利用生成的特征图和SVM分类器进一步筛选出人头目标框，通过统计人头目标框的数量，实现人数的统计。然而，一方面，该相关的人数统计的方案只能对人头进行检测，但是由于当前端摄像机的安装的俯视角较小时，前端摄像机只本文档来自技高网...

【技术保护点】
1.一种人数统计方法，其特征在于，所述方法应用于服务器，所述服务器搭载人数统计模型，所述人数统计模型包括基于卷积神经网络构建的图像特征提取子模型和SSD分类回归子模型，所述方法包括：将前端摄像机采集到的图像帧输入所述图像特征提取子模型进行图像特征提取，并输出提取到的图像特征图；其中，所述图像特征提取子模型的部分卷积层在卷积操作中未进行下采样操作；基于所述SSD分类回归子模型针对输出的所述图像特征图中每一个像素点分别生成对应的默认框，并获取各默认框在所述图像特征图中的位置坐标，以及对应于不同物体类别的概率评分，并将各默认框的最大概率评分作为初级置信度；筛选出所述初级置信度最高的前K个默认框作为目标候选框，基于各目标候选框的位置坐标进行包围盒回归分析，得到对应于各目标候选框的区域大小；以及，对各目标候选框的概率评分进行softxmax分类，得到各目标候选框对应于不同物体分类的最终置信度；基于非极大值抑制算法，获取重叠度高于预设阈值的目标候选框中所述最终置信度最高的目标候选框作为目标框，并基于所述目标框的数量统计监控区域中的人数。

【技术特征摘要】
1.一种人数统计方法，其特征在于，所述方法应用于服务器，所述服务器搭载人数统计模型，所述人数统计模型包括基于卷积神经网络构建的图像特征提取子模型和SSD分类回归子模型，所述方法包括：将前端摄像机采集到的图像帧输入所述图像特征提取子模型进行图像特征提取，并输出提取到的图像特征图；其中，所述图像特征提取子模型的部分卷积层在卷积操作中未进行下采样操作；基于所述SSD分类回归子模型针对输出的所述图像特征图中每一个像素点分别生成对应的默认框，并获取各默认框在所述图像特征图中的位置坐标，以及对应于不同物体类别的概率评分，并将各默认框的最大概率评分作为初级置信度；筛选出所述初级置信度最高的前K个默认框作为目标候选框，基于各目标候选框的位置坐标进行包围盒回归分析，得到对应于各目标候选框的区域大小；以及，对各目标候选框的概率评分进行softxmax分类，得到各目标候选框对应于不同物体分类的最终置信度；基于非极大值抑制算法，获取重叠度高于预设阈值的目标候选框中所述最终置信度最高的目标候选框作为目标框，并基于所述目标框的数量统计监控区域中的人数。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将混合训练样本集输入所述图像特征提取子模型进行图像特征提取，并输出提取到的图像特征图样本；其中，所述混合训练样本集包括前端摄像机在多个不同的安装俯视角下拍摄到的若干被标定了人头和头肩所在位置区域的图像帧样本；基于所述人数统计模型的SSD分类回归子模型对输出的所述图像特征图样本中的每个像素点分别生成对应的默认框样本，并获取各默认框样本在该图像特征图样本中的坐标位置，以及对应于不同物体类别的概率评分；基于每个默认框样本的所述位置坐标和概率评分，分别计算各默认框样本的softmax分类损失和包围盒回归损失之和；筛选出softmax分类损失和包围盒回归损失之和最小的前K个默认框样本，计算所述K个默认框样本多任务损失，并将计算出的所述K个默认框的多任务损失，在所述人数统计模型中反向传播，以对所述人数统计模型的各层网络的权重值进行更新，训练该人数统计模型。3.根据权利要求2所述的方法，其特征在于，所述多任务损失通过如下公式计算：其中，Lonf(x,c)为softmax分类损失，Lloc(x,l,g)为包围盒回归损失，K＝|fk|*|fk|*α，|fk|为所述大尺度特征图的尺寸，α为预配置的权重值。4.根据权利要求1所述的方法，其特征在于，所述监控区域包括预设绊线；所述方法还包括：分别计算当前图像帧中的目标框与前一图像帧中的各目标框的相似度；其中，所述相似度由预构建的感知哈希指纹距离和位置坐标距离进行表征；如果当前图像帧中的目标框与前一图像帧中的任一目标框的相似度达到预设的相似度阈值；将所述前一图像帧中的目标框对应的目标框ID赋予当前图像帧中的目标框，并更新跟踪列表中的所述目标框ID的生命值；当所述目标框触发所述预设绊线时，基于该目标框的运动方向与该预设绊线的预设进出方向确定该目标框的进出方向，以进行人流量计数。5.根据权利要求4所述的方法，其特征在于，所述感知哈希指纹距离通过如下公式计算：dhash＝∑k(Xi[k]⊕Yj[k])；其中，Xi为当前图像帧中的第i个目标框的感知哈希指纹，Yj前一图像帧中的第j个目标框的感知哈希指纹，k为感知哈希指纹中的第k位；所述位置坐标距离通过如下公式计算：其中，所述(xi,yi)为当前图像帧中的第i个目标框的中心坐标点，所述(xj,yj)为前一图像帧中的第j个目标框的中心坐标点；所述相似度通过如下公式计算：dis＝dhash+β*dloc；其中，β为预配置的权重值。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：如果当前图像帧中的目标框与前一图像帧中的任一目标框的相似度小于预设的相似度阈值，为所述当前图像帧中的目标框分配目标框ID，并将该目标框ID添加至所述跟踪列表；如果所述当前图像帧中未包含所述跟踪列表中的目标框ID对应的目标框，则减小该目标框ID的生命值，并将目标框ID的生命值等于零的目标框ID从所述跟踪列表中删除。7.一种人数统计装置，其特征在于，所...

【专利技术属性】
技术研发人员：徐茜，毛泉涌，祝中科，王玲，陈艳良，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江,33