一种基于深度学习的高密度人群人数估计方法技术

本发明专利技术公开了一种基于深度学习的高密度人群人数估计方法。本发明专利技术用混合高斯模型的方法提取视频的前景和背景图像，并进行预处理操作；采集热成像图，使用热成像仪获取该前景图像所对应的RGB热力图像。然后提取该热力图像中所有R通道的值，生成一个热力矩阵；采集灰度图像；训练一个卷积神经网络模型；用训练之后的人群估算模型对步骤4中的人口热力矩阵进行测试，得出模型反馈的结果，最终得出估算的人群数量。本发明专利技术综合考虑了人数较少场景和人数较多场景，设计出了使用热力图和灰度图生成热度矢量矩阵，并根据训练好的卷积神经网络模型代入计算，最终估计出人群人数的方法。本发明专利技术在各种场景中均具有比较高的估计精度。

A method of population density estimation based on deep learning

The invention discloses a high-density population estimation method based on deep learning. The invention extracts the foreground and background images of video by the method of Gaussian mixture model, and preprocesses them; collects the thermal image, and obtains the RGB thermal image corresponding to the foreground image by the thermal imager. Then extract the value of all R channels in the thermodynamic image to generate a thermodynamic matrix; collect gray images; train a convolution neural network model; test the population thermodynamic matrix in step 4 with the crowd estimation model after training, and get the feedback result of the model, and finally get the estimated population number. The invention synthetically considers the scenes with fewer people and more people, designs a method for generating the heat vector matrix by using the thermogram and gray scale image, and calculates the number of people according to the convolution neural network model which has been trained. The invention has higher estimation accuracy in various scenarios.

【技术实现步骤摘要】
一种基于深度学习的高密度人群人数估计方法
本专利技术属于视频人群分析领域，具体涉及一种基于深度学习的高密度人群人数估计方法。
技术介绍
人群密度是人群拥塞场景的一项重要参数，也是衡量拥塞场景的可控性和安全性的重要指标。人群密度可以用来预测潜在的风险和阻止突发的灾难性事件。最常规的人群密度统计基于人工统计，效率低下。现在国内外已有的人群人数估计算法主要是基于像素、基于纹理和基于特征点。但是基于像素特征点的方法不适用于人数密集的场景图像，而基于纹理的方法又不适用于人数稀疏的场景，有些方法结合这两者进行分步处理，但是效果仍然太差，误差严重。
技术实现思路
本专利技术针对现有技术的不足，提供了一种基于深度学习的高密度人群人数估计方法。本专利技术方法具体包括以下步骤：步骤1、采集视频：1-1.用混合高斯模型的方法提取视频的前景图像。1-2.对提取的前景图像进行预处理操作，包括中值滤波去噪、形态学等。步骤2、采集热成像图:2-1.使用热成像仪获取该前景图像所对应的RGB热力图像。2-2.提取该热力图像中所有R通道的值，生成一个热力矩阵；步骤3、采集灰度图像，采用方法如下：基于步骤1中获得的前景图像，对原图像中对应前景区域采用较为成熟的基于HaarLike特征的Adaboost分类器算法，对头部进行检测。3-1.设置头部识别器的识别范围。本专利技术中使用的识别器的原始尺寸为10*10。在检测过程中通过逐级放大识别器以实现不同尺寸头部检测(检测头部尺寸范围为10*10-28*28)。3-2.图像预处理。将图像转换为灰度图像。3-3.进行头部检测。为了能够检测不同尺度的头部，将分类器以设定的比例逐级放大后遍历检测区域。用放大后的分类器以步长2在检测区域图像中遍历检测。将图像中检测到的头部区域内的像素标记为255，身体其余部分像素标记为0。将处理后的前景图像与混合高斯模型中提取的背景图像做背景差，提取出背景差后的前景图像。将图像中检测到的头部区域内的像素标记为255，身体其余部分像素标记为0。这样我们就得到了仅含有头部图像的二值化灰度图。步骤4、将步骤3获取的灰度图像转化为二值化灰度矩阵，并且将所有值为255的像素点全部替换为热力矩阵中所对应的值，生成一个人口热度矩阵。步骤5、训练一个卷积神经网络模型：图像中区域所能容纳的最大人数为N。根据步骤2、3和4构建众多带有人工标注的人数标签的人口热度矩阵，并且按照如下公式重置标签值：tag_ratio＝tag_nums/N式中，tag_nums代表该人口热度矩阵所对应的人数，N代表该拍摄区域所能容纳的总人数。而tag_ratio则代表这个人口热度矩阵的当前标签，是一个浮点数类型，其范围区间为[0,1]。在caffe框架下用卷积神经网络模型对这些带有标签的人口热度矩阵数据集进行回归训练,并且选取一个拟合度较高的模型作为人群估算模型(Model)。步骤6、用训练之后的人群估算模型对步骤4中的人口热力矩阵进行测试，得出模型反馈的结果，最终得出估算的人群数量。本专利技术的有益效果：本专利技术针对传统的一些人群估算方法所存在的一些缺陷，综合考虑了人数较少场景和人数较多场景，设计出了使用热力图和灰度图生成热度矢量矩阵，并根据训练好的卷积神经网络模型代入计算，最终估计出人群人数的方法。本专利技术在各种场景中均具有比较高的估计精度。附图说明图1为本专利技术方法流程图。具体实施方式以下结合附图对本专利技术作进一步说明。如图1所示，本专利技术人群人数估计方法，包括以下步骤：1、采集视频，用混合高斯模型的方法提取视频的前景和背景图像。然后对提取的前图像进行预处理操作，包括中值滤波去噪、形态学等。2、采集热成像图，使用热成像仪获取该前景图像所对应的RGB热力图像。然后提取该热力图像中所有R通道的值，生成一个热力矩阵。使用热力矩阵目的是对于不同区域的不同人群密度需要区别对待，而这边R通道的值正好完美的代表了这个因素。3、采集灰度图像，采用方法如下：基于1中获得的前景图像，对原图像中对应前景区域采用较为成熟的基于HaarLike特征的Adaboost分类器算法，对人的头部进行检测。首先分类器设置。载入分类器，本专利技术中使用的分类器的原始尺寸为10*10。在检测过程中通过逐级放大分类器实现不同尺寸头部检测(检测头部尺寸范围为10*10-28*28)。然后图像预处理。将图像转换为灰度图像。最后进行头部检测：为了能够检测不同尺度的头部，将分类器以设定的比例逐级放大后遍历检测区域。用放大后的分类器以步长2在检测区域图像中遍历检测。将图像中检测到的头部区域内的像素标记为255，身体其余部分像素标记为0。将处理后的前景图像与混合高斯模型中提取的背景图像做背景差，提取出背景差后的前景图像。将图像中检测到的头部区域内的像素标记为255，身体其余部分像素标记为0。这样我们就得到了仅含有头部图像的二值化灰度图。4、将3中的灰度图像转化为二值化灰度矩阵(元素值为0或者255)，并且将所有的值为255的像素点全部替换为热力矩阵中所对应的值，生成一个人口热度矩阵。5、使用Caffe框架来训练一个卷积神经网络模型：图像中区域所能容纳的最大人数为N。按照之前2，3，4步骤我们可以构建一万个带有人工标注的人数标签的人口热度矩阵，并且我们按照如下公式重置标签值：tag_ratio＝tag_nums/N式中，tag_nums代表该热度矩阵所对用的人数，N代表该拍摄区域所能容纳的总人数。而tag_ratio则代表这个人口热度矩阵的当前标签，是一个浮点数类型，其范围区间为[0,1]。之后我们将该带有标签的人口热度矩阵数据集按照4：1的比例划分为8000张训练集和2000张测试集，然后在caffe框架下用卷积神经网络架构对其进行回归训练。Caffe架构下内置的EuclideanLossLayer可以直接用来进行回归校验。当迭代次数达到一定数量级之后，模型会趋于拟合。我们选取一个拟合度较高的模型作为我们的人群估算模型(Model)。6、用训练之后高拟合度模型对4步骤中的人口热力矩阵进行测试，我们可以得出模型反馈的结果tag_ratio，然后我们使用N*tag_ratio便可以得出估算的人群数量。通过以上步骤可以得出较为准确的人群人数。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的高密度人群人数估计方法，其特征在于包括如下步骤：步骤1、采集视频：1‑1.用混合高斯模型的方法提取视频的前景图像；1‑2.对提取的前景图像进行预处理操作，包括中值滤波去噪、形态学等；步骤2、采集热成像图:2‑1.使用热成像仪获取该前景图像所对应的RGB热力图像；2‑2.提取该热力图像中所有R通道的值，生成一个热力矩阵；步骤3、采集灰度图像，采用方法如下：基于步骤1中获得的前景图像，对原图像中对应前景区域采用较为成熟的基于HaarLike特征的Adaboost分类器算法，对头部进行检测；3‑1.设置头部识别器的识别范围；使用的识别器的原始尺寸为10*10；在检测过程中通过逐级放大识别器以实现不同尺寸头部检测,检测头部尺寸范围为10*10‑28*28；3‑2.图像预处理；将图像转换为灰度图像；3‑3.进行头部检测；为了能够检测不同尺度的头部，将分类器以设定的比例逐级放大后遍历检测区域；用放大后的分类器以步长2在检测区域图像中遍历检测；将图像中检测到的头部区域内的像素标记为255，身体其余部分像素标记为0；将处理后的前景图像与混合高斯模型中提取的背景图像做背景差，提取出背景差后的前景图像；将图像中检测到的头部区域内的像素标记为255，身体其余部分像素标记为0；从而得到了仅含有头部图像的二值化灰度图；步骤4、将步骤3获取的灰度图像转化为二值化灰度矩阵，并且将所有值为255的像素点全部替换为热力矩阵中所对应的值，生成一个人口热度矩阵；步骤5、训练一个卷积神经网络模型：图像中区域所能容纳的最大人数为N；根据步骤2、3和4构建众多带有确定人口数量的人口热度矩阵，并且按照如下公式重置标签值：tag_ratio＝tag_nums/N式中，tag_nums代表该人口热度矩阵所对应的人数，N代表该拍摄区域所能容纳的总人数；而tag_ratio则代表这个人口热度矩阵的当前标签，是一个浮点数类型，其范围区间为[0,1]；在caffe框架下用卷积神经网络模型对这些带有标签的人口热度矩阵数据集进行回归训练,并且选取一个拟合度较高的模型作为人群估算模型；步骤6、用训练之后的人群估算模型对步骤4中的人口热力矩阵进行测试，得出模型反馈的结果，最终得出估算的人群数量。...

【技术特征摘要】
2017.07.31 CN 20171063895721.一种基于深度学习的高密度人群人数估计方法，其特征在于包括如下步骤：步骤1、采集视频：1-1.用混合高斯模型的方法提取视频的前景图像；1-2.对提取的前景图像进行预处理操作，包括中值滤波去噪、形态学等；步骤2、采集热成像图:2-1.使用热成像仪获取该前景图像所对应的RGB热力图像；2-2.提取该热力图像中所有R通道的值，生成一个热力矩阵；步骤3、采集灰度图像，采用方法如下：基于步骤1中获得的前景图像，对原图像中对应前景区域采用较为成熟的基于HaarLike特征的Adaboost分类器算法，对头部进行检测；3-1.设置头部识别器的识别范围；使用的识别器的原始尺寸为10*10；在检测过程中通过逐级放大识别器以实现不同尺寸头部检测,检测头部尺寸范围为10*10-28*28；3-2.图像预处理；将图像转换为灰度图像；3-3.进行头部检测；为了能够检测不同尺度的头部，将分类器以设定的比例逐级放大后遍历检测区域；用放大后的分类器以步长2在检测区域图像中遍历检测；将图像中检测到的头部区域...

【专利技术属性】
技术研发人员：厉紫阳，沈徐兰，冯卢梦，周红晶，
申请(专利权)人：汉鼎宇佑互联网股份有限公司，
类型：发明
国别省市：浙江,33