计数图辅助的跨模态人流监控方法和系统技术方案

计数图辅助的跨模态人流监控方法，包括：步骤1，生成计数图，用基于深度强化学习的模型LibraNet，以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图；步骤2，基于跨模态的网络模型进行人群计数，设计网络模型，以作为三模态的RGB、热成像图、计数图为输入，输出密度图，对密度图里的值进行求和，获得作为输入的RGB图像的总人数。本发明专利技术还包括计数图辅助的跨模态人流监控系统。本发明专利技术提供的模型能兼顾光照变化和尺度变化，生成更精确的密度图。密度图。密度图。

【技术实现步骤摘要】
计数图辅助的跨模态人流监控方法和系统


[0001]本专利技术涉及一种基于跨模态的卷积神经网络的人流监控方法和系统。

技术介绍

[0002]人群计数作为拥挤场景分析中的最基本任务之一，在人流监控、安全防范等方面有着巨大的应用前景，在近几年来得到了计算机视觉界的广泛关注。然而由于人的复杂分布、图片的尺度变化、光照影响、遮挡、背景杂物等因素，基于单图像的人群计数仍然是一个活跃而具有挑战性的课题。
[0003]早期的人群计数是采用行人检测的方法的，但这种方法受遮挡影响较大，在高拥挤的场景下性能较差。由于行人检测的固有缺陷，研究人员把目光放到回归方法上，学习从裁剪的图像块中提取的特征之间的关系，然后计算特定对象的数量。然而这种方法不能显示人群的空间分布。近几年来，随着密度图的提出和卷积神经网络的发展，基于CNN的计数方法不断被提出，并且这种方法以密度图为输出，既能反应出人的空间分布，又能准确估计出人数。在基于CNN的方法中，主流的有多层次特征图融合方法、透视辅助方法、对传统的L2损失函数进行改进的方法、优化密度图的方法等等。这些方法或多或少都对单张图片的尺度变化有所关注，但很少关注光照的变化。而关注光照变化的方法，诸如跨模态RGBT计数方法，又很少关注尺度变化。

技术实现思路

[0004]本专利技术要克服现有技术的上述缺点，提供一种能兼顾光照变化和尺度变化的基于图像的人流监控方法和系统。
[0005]本专利技术主要采用RGBT数据集，该数据集提供了RGB图、热成像图和标注数据，且标注数据选用热成像图的标注数据。该数据集提供了明亮与昏暗的场景。本专利技术首先生成计数图。再构建新的跨模态的人群计数网络模型，使之能跨RGB、热成像图、计数图三个模态。然后训练该卷积神经网络。
[0006]本专利技术的计数图辅助的跨模态人流监控方法，包括如下步骤：1生成计数图；
[0007]计数图是对密度图一定区域的积分，能反应出图像的尺度变化；计数图生成方法采用基于深度强化学习的模型LibraNet，该模型LibraNet以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图；具体包括：
[0008]11)训练深度强化模型；选取RGBT
‑
CC数据集为训练用的数据集，该数据集分为训练集、测试集、验证集，每个集合均有RGB、热成像图、标注数据，标注数据显示了热成像图中每个人的头部中心的像素位置；将训练集的热成像图和标注数据作为训练数据，将该测试集的热成像图和标注数据作为测试数据，以此来训练深度强化模型LibraNet；以{
‑
10，
‑
5，
‑
2，
‑
1，1，2，5，10，999}为动作集，其中999为终止动作，剩余的动作表示像素区域中计数值的变化大小，比如5就是该计数值加上5，
‑
5表示该计数值减去5。
[0009]12)生成计数图；将训练好的LibraNet模型固定，输入RGBT
‑
CC数据集中所有的热
成像图来生成计数图；计数图中的每个值能反应对应热成像图像素区域的大致数量信息。
[0010]13)计数图优化；因为生成的计数图的长、宽只有原来的其中n表示作为LibraNet前端的VGG16的池化层数量，需要进行上采样来使大小与原图一致；采用最近邻插值方式进行上采样，并在每个像素位置除以2
2*n
，以使总的计数值不变并且图像大小与原图一致。
[0011]2基于跨模态的网络模型进行人群计数；
[0012]设计跨模态网络模型，该模型有四个分支，分为三个输入分支和一个输出分支，三个输入分支分别输入作为三个模态的RGB、热成像图和计数图；输出分支为共享分支，它初始化是0，接收并细化三个模态的信息，它的输出为密度图。除了共享分支外，其余分支均由VGG
‑
19构成。由于VGG
‑
19可分为5层模块，除了最后一层模块，每层模块最后都配备一个2
×
2的池化层，故三个输入分支均可分为5层模块。共享分支由去除前两层的VGG
‑
19构成，可分为4层模块。设计好模型之后，用RGBT
‑
CC数据集进行训练。训练好模型之后，基于该模型进行人群计数；具体包括：
[0013]21)生成上下文信息I；将网络中每个分支每层模块生成的特征图F，用L级金字塔池化层来提取上下文信息I；具体地，对于第l层(l＝1，2，...，L)，采用一个2
l
‑1×2l
‑1最大池化层，以h
×
w特征图F为输入，输出一个特征，然后用最近邻插值方法上采样到h
×
w，形成上下文特征F
l
；最后，上下文信息I可由式(1)计算：
[0014][0015]式中表示特征串联操作，Conv1×1表示一个1
×
1卷积层。
[0016]22)细化共享分支特征图；RGB分支、热成像分支、计数图分支和共享分支的每层模块生成的特征图通过公式(1)转化为上下文信息，并将该上下文信息作为输入，输出细化的共享分支的特征图；具体公式如下：
[0017][0018]式中I
r
、I
t
、I
c
、I
s
是RGB分支、热成像分支、计数图分支、共享分支每层模块生成的特征图F
r
、F
t
、F
c
、F
s
通过公式(1)计算得出的上下文信息，为细化的共享分支特征图，I
r2s
、I
t2s
、I
c2s
分别是I
r
、I
t
、I
c
对I
s
的残差信息，ω
r2s
、ω
t2s
、ω
c2s
是由1
×
1卷积层输入对应的上下文信息I
r2s
、I
t2s
、I
c2s
获得的权重参数，
⊙
是元素级乘法运算；
[0019]23)细化RGB分支、热成像分支和计数图分支的特征图；将细化的共享分支特征图通过公式(1)生成上下文特征再以为核心，对的RGB分支、热成像分支、计数图分支每层模块生成的特征图进行细化；具体公式如下：
[0020][0021][0022][0023]式中I
s2r
、I
s2t
、I
s2c
分别是细化的共享分支上下文信息对RGB分支、热成像分支、计数图分支每层模块的上下文信息I
r
、I
t
、I
c
的残差信息，ω
s2r
、ω
s2t
、ω
s2c
是由1
×
...

【技术保护点】

【技术特征摘要】
1.计数图辅助的跨模态人流监控方法，包括如下步骤：步骤1，生成计数图；计数图是对密度图一定区域的积分，能反应出图像的尺度变化；计数图生成方法采用基于深度强化学习的模型LibraNet，该模型LibraNet以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图；具体包括：11)训练深度强化模型；选取RGBT
‑
CC数据集为训练用的数据集，该数据集分为训练集、测试集、验证集，每个集合均有RGB、热成像图、标注数据，标注数据显示了热成像图中每个人的头部中心的像素位置；将训练集的热成像图和标注数据作为训练数据，将该测试集的热成像图和标注数据作为测试数据，以此来训练深度强化模型LibraNet；以{
‑
10，
‑
5，
‑
2，
‑
1，1，2，5，10，999}为动作集，其中999为终止动作，剩余的动作表示像素区域中计数值的变化大小，比如5就是该计数值加上5，
‑
5表示该计数值减去5；12)生成计数图；将训练好的LibraNet模型固定，输入RGBT
‑
CC数据集中所有的热成像图来生成计数图；计数图中的每个值能反应对应热成像图像素区域的大致数量信息；13)计数图优化；因为生成的计数图的长、宽只有原来的其中n表示作为LibraNet前端的VGG16的池化层数量，需要进行上采样来使大小与原图一致；采用最近邻插值方式进行上采样，并在每个像素位置除以2
2*n
，以使总的计数值不变并且图像大小与原图一致；步骤2，基于跨模态的网络模型进行人群计数；设计跨模态网络模型，该模型有四个分支，分为三个输入分支和一个输出分支，三个输入分支分别输入作为三个模态的RGB、热成像图和计数图；输出分支为共享分支，它初始化为0，接收并细化三个模态的信息，它的输出为密度图。除了共享分支外，其余分支均由VGG
‑
19构成。由于VGG
‑
19可分为5层模块，除了最后一层模块，每层模块最后都配备一个2
×
2的池化层，故三个输入分支均可分为5层模块。共享分支由去除前两层的VGG
‑
19构成，可分为4层模块。设计好模型之后，用RGBT
‑
CC数据集进行训练。训练好模型之后，基于该模型进行人群计数；具体包括：21)生成上下文信息I；将网络中每个分支每层模块生成的特征图F，用L级金字塔池化层来提取上下文信息I；具体地，对于第l层(l＝1，2，...，L)，采用一个2
l
‑1×2l
‑1最大池化层，以h
×
w特征图F为输入，输出一个特征，然后用最近邻插值方法上采样到h
×
w，形成上下文特征F
l
；最后，上下文信息I可由式(1)计算：式中表示特征串联操作，Conv1×1表示一个1
×
1卷积层；22)细化共享分支特征图；RGB分支、热成像分支、计数图分支和共享分支的每层模块生成的特征图通过公式(1)转化为上下文信息，并将该上下文信息作为输入，输出细化的共享分支的特征图；具体公式如下：
式中I
r
、I
t
、I
c
、I
s
是RGB分支、热成像分支、计数图分支、共享分支每层模块生成的特征图F
r
、F
t
、F
c
、F
s
通过公式(1)计算得出的上下文信息，为细化的共享分支特征图，I
r2s
、I
t2s
、I
c2s
分别是I
r
、I
t
、I
c
对I
s
的残差信息，ω
r2s
、ω
t2s
、ω
c2s
是由1
×
1卷积层输入对应的上下文信息I
r2s
、I
t2s
、I
c2s
获得的权重参数，
⊙
是元素级乘法运算；23)细化RGB分支、热成像分支和计数图分支的特征图；将细化的共享分支特征图通过公式(1)生成上下文特征再以为核心，对的RGB分支、热成像分支、计数图分支每层模块生成的特征图进行细化；具体公式如下：生成的特征图进行细化；具体公式如下：生成的特征图进行细化；具体公式如下：式中I
s2r
、I
s2t
、I
s2c
分别是细化的共享分支上下文信息对RGB分支、热成像分支、计数图分支每层模块的上下文信息I
r
、I
t
、I
c
的残差信息，ω
s2r
、ω
s2t
、ω
s2c
是由1
×
1卷积层输入对应的上下文信息I
s2r
、I
s2t
、I
s2c
获得的权重参数，F
r
、F
t
、F
c
分别是RGB分支、热成像分支、计数图分支每层模块生成的特征图，分别是对RGB分支、热成像分支、计数图分支每层模块生成的特征图细化后的特征图；24)数据预处理；先计算出RGBT
‑
CC数据集中RGB图、热成像图的均值和方差值，将其归一化；训练时采取随即采样法，采样256
×
256大小的区块；25)网络训练；设置好数据集的路径后，就可以进行训练了；训练时仅训练跨模态的部分，对计数图生成模块固定；训练到20周期后，每过1次训练周期进行一次验证，当验证效果最佳时，记录该模型参数，并进行一次测试，得出测试集的评估结果；每训练一个周期都会记录模型参数、优化器参数、训练周期；26)人群计数；该网络模型训练好后，就可以进行人群计数了；人群计数需要用到RGB图和热成像图，通过热成像图和LibraNet模型生成计数图；以RGB图、热成像图、计数图为输入，输出密度图；密度图作为一种二维数组，能反应计数结果。将密度图里的值进行求和，就能得到作为输入的RGB图像的总人数。2.计数图辅助的跨模态人流监控系...

【专利技术属性】
技术研发人员：董天阳，周宇浩，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：