一种基于自适应深度神经网络的地铁人流密度估计方法技术

本发明专利技术公开了一种基于自适应深度神经网络的地铁人流密度估计方法。该方法包括步骤：数据处理，自适应K

【技术实现步骤摘要】
一种基于自适应深度神经网络的地铁人流密度估计方法


[0001]本专利技术属于计算机视觉与深度学习
，尤其涉及一种基于自适应深度神经网络的地铁人流密度估计方法。

技术介绍

[0002]基于行人检测的方法是地铁人流密度估计的一种常用方法，其借助监控设备获得地铁环境的实时监控画面，使用图像识别技术检测出画面中的行人，从而估算出人流密度。随着计算机视觉的不断发展，基于深度学习的行人检测方法成为了研究的热点。
[0003]目前，基于深度学习的地铁人流密度估计方法的技术难点在于行人检测，主要包括基于区域建议的Two
‑
stage和基于区域回归的One
‑
stage两大类。Two
‑
stage算法一般使用选择性搜索或区域建议网络等算法提取图像中的候选框，对候选框中的目标进行二次修正得到检测结果，如R
‑
CNN、Fast
‑
RCNN等。Two
‑
stage的检测速度慢，不适合地铁环境的实时检测。One
‑
stage算法放弃了Two
‑
stage算法的候选区域选择阶段，训练过程也相对于简单，并且可以在一个阶段直接确定目标类别和对应的检测框位置，其中最为典型的方法就是YOLO系列算法。YOLOv5使用K
‑
means聚类得到9个锚框，将其按照大小平均分给3个不同尺度的特征图，使用3个不同尺度的特征图来进行大、中、小尺寸目标的检测。但是通过对实际的地铁监控视频分析发现，地铁环境下行人目标均属于中小尺寸并且遮挡严重，仍然使用三个不同尺度的特征图预测仅包含小尺寸的行人存在不合理性，并且使用特征金字塔进行不同尺度的特征融合的时候会造成反向传播的梯度中既包含正样本又包含负样本的问题，从而造成不同尺度之间的冲突问题。

技术实现思路

[0004]为解决现有技术所存在的问题，本专利技术的目的在于提供一种基于自适应深度神经网络的地铁人流密度估计方法。
[0005]本专利技术是这样实现的，一种基于自适应深度神经网络的地铁人流密度估计方法，该方法包括如下步骤：
[0006]S1、数据处理：采集地铁场景中的真实数据构建行人头部检测数据集，使用深度学习标注工具对采集到的数据中的行人的头部信息进行标注，确定图片中行人头部的位置和大小；
[0007]S2、自适应K
‑
means聚类确定锚框数量及锚框长宽：根据标注好的人头数据集，统计标注框的长宽分布，使用减法聚类自动确定K
‑
means算法的初始聚类中心和聚类数目，根据得到的聚类中心和聚类数目使用K
‑
means算法确定自适应深度神经网络的锚框个数以及每个锚框的长宽大小；
[0008]S3、利用特征提取骨干网络提取多个尺度的特征：使用DarkNet
‑
53作为特征提取骨干网络以提取3种不同尺寸的特征图；
[0009]S4、根据自适应K
‑
means聚类结果自动确定特征融合网络输出特征图的尺度个数：
设定不同尺度特征图对应的锚框长宽范围，分析上述自适应K
‑
means聚类得到的锚框所属的尺度；使用特征融合网络进行特征融合，并输出融合后的多尺度特征；
[0010]S5、利用自适应融合网络ASFF融合不同尺度特征之间的不一致性：特征融合网络使用通道拼接和按元素相加的方式进行特征融合时候会造成反向传播的梯度中既包含正样本又包含负样本，从而造成不同尺度特征图之间存在不一致性；ASFF通过设置可学习的权重系数α、β、γ自适应地调整各个尺度特征在进行融合时的空间权重，消除不同尺度特征图之间存在不一致性；
[0011]S6、行人头部检测模型网络训练：将构建好的行人头部检测数据集输入到自适应深度神经网络中进行训练，得到行人头部检测模型。
[0012]S7、实时的人流密度估计：将训练好的模型用于地铁环境的行人头部检测，统计行人检测边界框的个数并根据监控区域所对应的面积确定当前区域的人流密度。
[0013]优选地，所述步骤S2包括以下具体步骤：
[0014]S2
‑
1、根据人头数据集中所有标注框的长宽，生成数据集{x1,x2,
……
,x
n
}，计算每个数据点x
i
的密度，得到密度指标；
[0015]S2
‑
2、找到密度指标最大的数据点作为第一个聚类中心，剩下的样本点的密度指标按照其与第一个聚类中心点的距离进行修正，修正后的密度指标最大的样本点作为下一个聚类中心点；不断重复上述过程，直到满足收敛条件；
[0016]S2
‑
3、使用人头检测框的聚类数目作为K
‑
means算法的聚类数目即锚框的个数，以减法聚类得到的人头检测框聚类中心作为K
‑
means算法的初始聚类中心，再使用K
‑
means算法对人头检测框数据集{x1,x2,
……
,x
n
}进行聚类，最终确定每个锚框的长宽大小。
[0017]优选地，所述步骤S3所述的DarkNet
‑
53特征提取骨干网络包括以下具体过程：
[0018]将大小为608*608的图片输入到特征提取骨干网络DarkNet
‑
53中提取三种不同尺度的特征图；该网络主要包括5个CBL模块、1个SPP模块、2种改进的CSP模块，分别为CSP1和CSP2。其中，CSP1是在其在CSP模块的基础上包含了3个残差组件。CSP2是在CSP模块的基础上包含了2个CBL模块。CSP1_3表示有3个CSP1模块，CSP2_1表示有1个CSP2模块。输入特征先经过2个CBL模块和2个CSP1_3模块得到76*76大小的特征图。再经过1个CBL模块和1个CSP1_3模块得到38*38大小的特征图。最后经过2个CBL模块、1个SPP模块和1个CSP2_1模块得到19*19大小的特征图。
[0019]优选地，所述步骤S4包括以下具体步骤：
[0020]S4
‑
1、设定不同尺度特征图对应的锚框长宽范围；其中，大尺度目标的锚框范围为(96*96,∞*∞)，中尺度目标的锚框范围为[96*96，32*32)，中尺度目标的锚框范围为(0*0，32*32)；
[0021]S4
‑
2、自适应K
‑
means聚类得到的锚框按照大小被分配给对应尺度的特征图，若无锚框被分配到某个尺度的特征图，则不输出该尺度的特征图；
[0022]S4
‑
2、根据自适应K
‑
means聚类得到的锚框所属的尺度，使用特征融合网络将DarkNet
‑
53提取到的特征使用通道拼接和按元素相加的方式将底层的细粒度特征与顶层的语义信息进行融合，输出融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应深度神经网络的地铁人流密度估计方法，其特征在于，该方法包括如下步骤：S1、数据处理：采集地铁场景中的真实数据构建行人头部检测数据集，使用深度学习标注工具对采集到的数据中的行人的头部信息进行标注，确定图片中行人头部的位置和大小；S2、自适应K
‑
means聚类确定锚框数量及锚框长宽：根据标注好的人头数据集，统计标注框的长宽分布，使用减法聚类自动确定K
‑
means算法的初始聚类中心和聚类数目，根据得到的聚类中心和聚类数目使用K
‑
means算法确定自适应深度神经网络的锚框个数以及每个锚框的长宽大小；S3、利用特征提取骨干网络提取多个尺度的特征：使用DarkNet
‑
53作为特征提取骨干网络以提取3种不同尺寸的特征图；S4、根据自适应K
‑
means聚类结果自动确定特征融合网络输出特征图的尺度个数：设定不同尺度特征图对应的锚框长宽范围，分析上述自适应K
‑
means聚类得到的锚框所属的尺度；使用特征融合网络进行特征融合，并输出融合后的多尺度特征；S5、利用自适应融合网络ASFF融合不同尺度特征之间的不一致性：特征融合网络使用通道拼接和按元素相加的方式进行特征融合时候会造成反向传播的梯度中既包含正样本又包含负样本，从而造成不同尺度特征图之间存在不一致性；ASFF通过设置可学习的权重系数α、β、γ自适应地调整各个尺度特征在进行融合时的空间权重，消除不同尺度特征图之间存在不一致性；S6、行人头部检测模型网络训练：将构建好的行人头部检测数据集输入到自适应深度神经网络中进行训练，得到行人头部检测模型。S7、实时的人流密度估计：将训练好的模型用于地铁环境的行人头部检测，统计行人检测边界框的个数并根据监控区域所对应的面积确定当前区域的人流密度。2.如权利要求1所述的地铁人流密度估计方法，其特征在于，所述步骤S2包括以下具体步骤：S2
‑
1、根据人头数据集中所有标注框的长宽，生成数据集{x1,x2,
……
,x
n
}，计算每个数据点x
i
的密度，得到密度指标；S2
‑
2、找到密度指标最大的数据点作为第一个聚类中心，剩下的样本点的密度指标按照其与第一个聚类中心点的距离进行修正，修正后的密度指标最大的样本点作为下一个聚类中心点；不断重复上述过程，直到满足收敛条件；S2
‑
3、使用人头检测框的聚类数目作为K
‑
means算法的聚类数目即锚框的个数，以减法聚类得到的人头检测框聚类中心作为K
‑
means算法的初始聚类中心，再使用K
‑
means算法对人头检测框数据集{x1,x2,
……
,x
n
}进行聚类，最终确定每个锚框的长宽大小。3.如权利要求1所述的地铁人流密度估计方法，其特征在于，所述步骤S3所述的DarkNet
‑
53特征提取骨干网络包括以下具体过程：将大小为608*608的图片输入到特征提取骨干网络DarkNet
‑
53中提取三种不同尺度的特征图：该网络主要包括5个CBL模块、1个SPP模块、2种改进的CSP模块，分别为CSP1和CSP2。其中，CSP1是在其在CSP模块的基础上包含了3个残差组件。CSP2是在CSP模块的基础上包含了2个CBL模块。CSP1_3表示有3个CSP1模块，CSP2_1表示有1个CSP2模块。输入特征先经过2
个CBL模块和2个CSP1_3模块得到76*76大小的特征图。再经过1个CBL模块和1个CSP1_3模块得到38*38大小的特征图。最后经过2个CBL模块、1个SPP模块和1个C...

【专利技术属性】
技术研发人员：王莉，徐硕，曹恺，薛旻昊，李鑫，沈捷，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：