基于场的高密度人流量定位与监测方法技术

本发明专利技术公开了一种基于场的高密度人流量定位与监测方法。包括：根据获取的原始彩色人流量图像生成七通道图像数据；根据常用的人流量监测数据集生成场数据，作为标注数据；根据场数据设计损失函数；将原始彩色人流量图像与标注数据作为样本数据集，基于损失函数对深度神经网络进行训练；将待检测原始彩色人流量图像的七通道数据输入训练好的深度神经网络，根据网络输出场数据进行热力图重建，对热力图中亮斑进行计数和定位，实现高密度人流量定位与监测。利用本发明专利技术，可以在高密度人流量监测场景中，实现实时人流量监测，降低计算量，提高监测效率和监测精度。

High density human flow location and monitoring method based on field

【技术实现步骤摘要】
基于场的高密度人流量定位与监测方法
本专利技术涉及智慧城市、人工智能、仪器仪表
，具体涉及一种基于场的高密度人流量定位与监测方法。
技术介绍
目前，用于检测人流量及人群密度的图像处理系统主要分为两大类。一种是基于检测的统计，主要通过基于深度神经网络的物体检测器得到人物的边界框，并通过边界框的个数来推定人群密度和短时间内的流量变化。基于边界框的方法主要有以下限制：难以检测遮挡的物体，对完全遮挡的物体只能通过跟踪和重识别的方法修正，提高了系统的实时性要求和整体复杂度；随之带来的问题是计算量偏大，只有输入分辨率足够大的图像才能得到足以区分人物的分辨率，存在分辨率瓶颈导致无法得到更小目标的检测结果，进而导致无法平衡计算量和性能；检测精度较低。另一种是基于热力图的网络来进行人群计数和定位。基于热力图方式的网络同样存在低分辨率容易导致性能劣化的问题，并且存在小目标难以训练的问题。一般情况下基于热力图的网络输出是需要使用概率云的后处理方法进行位置回归的，由于概率云的范围较大，为了避免发生混叠，需要提高网络分辨率并适当缩小训练时的概率云分布，这样又造成了计算量与分辨率的矛盾，又因为网络训练的损失函数是基于均方误差的，所以对于小目标难以训练。因此，现有人流量定位与监测技术存在计算量大、监测精度低的问题。
技术实现思路
本专利技术提供了一种基于场的高密度人流量定位与监测方法，该方法实现了高密度人流量定位与监测，降低了计算量，监测精度更高。一种基于场的高密度人流量定位与监测方法，该方法包括：步骤一，根据获取的原始彩色人流量图像生成七通道图像数据T{R,G,B,D,H,M,N}，其中，R、G、B为原始彩色图像RGB数据的对应通道分量，D通道为暗通道数据，H通道为亮通道数据，M通道为高光细节，N通道为阴影细节；步骤二，根据常用的人流量监测数据集生成场数据F{X,Y,C,R}，作为标注数据，其中，X分量表示横坐标方向上向真值点聚拢的强度，Y分量表示纵坐标方向上向真值点聚拢的强度，C分量表示标注位置的置信度，R分量表示标注半径；步骤三，根据场数据设计损失函数Loss＝MSEXY*H(C)+MSER，其中，MSEXY为场数据分量X、Y的联合均方误差损失，H(C)为分量C的交叉熵损失，MSER为分量R的均方误差损失；步骤四，将原始彩色人流量图像与标注数据作为样本数据集，基于损失函数Loss对深度神经网络进行训练；步骤五，将待检测原始彩色人流量图像的七通道数据输入训练好的深度神经网络，根据网络输出场数据进行热力图重建，对热力图中亮斑进行计数和定位，实现高密度人流量定位与监测。步骤一中的暗通道数据为：D(i,j)＝min(R(i,j),G(i,j),B(i,j))其中，D(i,j)是像素位置(i，j)处暗通道数据D的像素值；所述亮通道数据为：H(i,j)＝max(R(i,j),G(i,j),B(i,j))其中，H(i,j)是像素位置(i，j)处亮通道数据H的像素值；所述高光细节为：其中，M(i,j)是像素位置(i，j)处高光细节M的像素值；所述阴影细节为：其中，N(i,j)是像素位置(i，j)处阴影细节N的像素值。步骤二中的场数据具体为：设真值中心点位置为(x’,y’)，当前像素位置的坐标为(x，y)，distance为当前像素位置与真值点位置之间的距离,dx＝abs(x-x′)，dy＝abs(y-y′)为当前像素坐标位置与真值点坐标位置之间的x轴、y轴距离；对X分量有：对Y分量有同上的定义：对C分量有：对R分量有：其中，r0为预设的标注半径。步骤三包括：根据场数据设计损失函数Loss＝MSEXY*H(C)+MSER，场数据分量X、Y的联合均方误差损失MSEXY：分量R的均方误差MSER：分量C的交叉熵损失H(C)：其中，Output(i,j)x、Output(i,j)y、Output(i,j)r、Cout(i,j)分别为输出数据位置(i，j)处场数据中X分量值、Y分量值、R分量值、C分量值，GT(i,j)x、GT(i,j)y、GT(i,j)r、CLabel(i,j)为标注数据位置(i，j)处场数据中X分量值、Y分量值、R分量值、C分量值，rows为输出图像的行数，cols为输出图像的列数，all指代所有像素位置，α为一超参数。步骤五中的根据网络输出场数据进行热力图重建包括：对场数据的各分量进行上采样处理，根据上采样结果进行热力图重建，得到热力图Heat：Heat＝(BoxFilter(Xup)+BoxFilter(Yup))*BoxFilter(Rup)*Cup其中，BoxFilter是均值滤波器，Xup、Yup、Rup、Cup分别表示经过金字上采样的X分量、Y分量、R分量、C分量。步骤五中的对热力图中亮斑进行计数和定位包括：采用非极大值抑制对热力图Heat中的亮斑进行计数和定位。步骤五中的对热力图中亮斑进行计数和定位包括：对热力图Heat进行二值化处理；对二值化处理得到的连通域进行包围框检测得到感兴趣区域ROI，采用下式抑制能量过强的亮斑：其中，Hc(ROIn(i,j))表示感兴趣区域ROIn位置(i，j)处经过能量抑制的像素值；Heat(ROIn(i,j))为热力图Heat感兴趣区域ROIn位置(i，j)处的像素值；基于分水岭算法，对能量抑制结果进行图像分割，并对图像分割结果进行连通域计数，得到人流量估计结果；对每个连通域使用softargmax进行位置回归，得到人的精确位置，实现人流量定位。本专利技术的有益效果在于：本专利技术使用场来替代热图的概率云，可以降低若干倍的网络输入分辨率来减少计算量；在高分辨率情况下具有更优的精确度，而降低分辨率后的计算量可以减少内存占用，使得网络可以部署在相机端，更具实用性和灵活性；对网络输出结果使用非线性图像处理，降低了后处理计算量。附图说明图1为基于场的高密度人流量定位与监测方法流程图；图2为原始彩色人流量图像示意图；图3(a)为标注场数据X、Y分量求和的可视化图像示意图；图3(b)为标注场数据C分量的可视化图像示意图；图3(c)为网络输出重建热力图像示意图；图3(d)为网络输出C分量的可视化图像；图4为能量抑制后的热力图像。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种基于场的高密度人流量定位与监测方法。用于处理低分辨率图像中高密度人流量监测，能够得本文档来自技高网...

【技术保护点】
1.一种基于场的高密度人流量定位与监测方法，其特征在于，该方法包括：/n步骤一，根据获取的原始彩色人流量图像生成七通道图像数据T{R,G,B,D,H,M,N}，其中，R、G、B为原始彩色图像RGB数据的对应通道分量，D通道为暗通道数据，H通道为亮通道数据，M通道为高光细节，N通道为阴影细节；/n步骤二，根据常用的人流量监测数据集生成场数据F{X,Y,C,R}，作为标注数据，其中，X分量表示横坐标方向上向真值点聚拢的强度，Y分量表示纵坐标方向上向真值点聚拢的强度，C分量表示标注位置的置信度，R分量表示标注半径；/n步骤三，根据场数据设计损失函数Loss＝MSE

【技术特征摘要】
1.一种基于场的高密度人流量定位与监测方法，其特征在于，该方法包括：
步骤一，根据获取的原始彩色人流量图像生成七通道图像数据T{R,G,B,D,H,M,N}，其中，R、G、B为原始彩色图像RGB数据的对应通道分量，D通道为暗通道数据，H通道为亮通道数据，M通道为高光细节，N通道为阴影细节；
步骤二，根据常用的人流量监测数据集生成场数据F{X,Y,C,R}，作为标注数据，其中，X分量表示横坐标方向上向真值点聚拢的强度，Y分量表示纵坐标方向上向真值点聚拢的强度，C分量表示标注位置的置信度，R分量表示标注半径；
步骤三，根据场数据设计损失函数Loss＝MSEXY*H(C)+MSER，其中，MSEXY为场数据分量X、Y的联合均方误差损失，H(C)为分量C的交叉熵损失，MSER为分量R的均方误差损失；
步骤四，将原始彩色人流量图像与标注数据作为样本数据集，基于损失函数Loss对深度神经网络进行训练；
步骤五，将待检测原始彩色人流量图像的七通道数据输入训练好的深度神经网络，根据网络输出场数据进行热力图重建，对热力图中亮斑进行计数和定位，实现高密度人流量定位与监测。


2.如权利要求1所述的基于场的高密度人流量定位与监测方法，所述步骤一中的暗通道数据为：
D(i,j)＝min(R(i,j),G(i,j),B(i,j))
其中，D(i,j)是像素位置(i，j)处暗通道数据D的像素值；
所述亮通道数据为：
H(i,j)＝max(R(i,j),G(i,j),B(i,j))
其中，H(i,j)是像素位置(i，j)处亮通道数据H的像素值；
所述高光细节为：



其中，M(i,j)是像素位置(i，j)处高光细节M的像素值；
所述阴影细节为：



其中，N(i,j)是像素位置(i，j)处阴影细节N的像素值。


3.如权利要求1所述的基于场的高密度人流量定位与监测方法，所述步骤二中的场数据具体为：
设真值点坐标位置为(x’,y’)，当前像素位置的坐标为(x，y)，distance为当前像素位置与真值点位置之间的距离,dx＝abs(x-x′)，dy＝abs(y-y′)为当前像素坐标位置与真值点坐标位置之间的x轴、y轴距离；
对X分量有：



对Y分量有同上的定义：



对C分量有：



对R分量有：


<...

【专利技术属性】
技术研发人员：贺垚凯，李坤彬，
申请(专利权)人：贺垚凯，
类型：发明
国别省市：河南;41