一种基于深度学习的行人入侵检测系统及方法技术方案

本发明专利技术公开了一种基于深度学习的行人入侵检测系统及方法，该系统包括入侵区域分割模块、行人检测模块和行人入侵状态判断模块。其中入侵区域分割模块包括双边语义分割网络模块和重点区域特征增强模块，能够实现图像中危险入侵区域的像素级分割，同时通过特征增强提高行人区域的分割精度。行人检测模块包括双阶段目标检测网络模块和行人位置预测优化模块，能够实现图像中行人外矩形边框的检测，同时对入侵区域边缘的入侵敏感候选框进行位置预测优化。行人入侵状态判断模块根据行人位置信息和入侵区域信息判断行人入侵状态。本发明专利技术基于对行人入侵行为的理解，判断危险入侵区域内的行人入侵状态，在安防监控和辅助自动驾驶中有广泛的应用。广泛的应用。广泛的应用。

【技术实现步骤摘要】
一种基于深度学习的行人入侵检测系统及方法


[0001]本专利技术属于智能图像理解领域，具体涉及一种基于深度学习的行人入侵检测系统及方法。

技术介绍

[0002]智能图像理解广泛应用于安防视频监控和辅助自动驾驶场景中，通过对图像高维特征的提取和理解，实现对突发情况和特殊现象的准确判断。尤其是在有人参与的复杂场景中，对人危险行为准确及时的判断有助于避免安全事故的发生。例如在铁路站台中检测是否有行人进入危险警示区域。现有行人入侵检测主要以红外传感器检测和图像行人检测为主。红外传感器检测范围较小，检测精度较低容易受到环境干扰。图像行人检测无法准确判断行人入侵行为，误检率较高。本专利技术基于深度学习技术，通过构建深度卷积网络模型，利用入侵区域分割模块、行人检测模块、行人入侵状态判断模块，对监控视频图像进行图像智能理解，实现实时的行人入侵行为检测。

技术实现思路

[0003]本专利技术基于现有行人入侵检测方案的缺陷以及利用深度学习卷积网络进行图像智能理解的优势，提供了一种基于深度学习的行人入侵检测系统及方法。
[0004]本专利技术的目的是通过以下技术方案实现的：
[0005]根据本说明书的第一方面，提供一种基于深度学习的行人入侵检测系统，包括：
[0006](1)入侵区域分割模块，用于对危险入侵区域和安全非入侵区域进行像素级分割，包括：
[0007]输入检测场景的图像数据，通过双边语义分割网络模块对输入图像采用双边路径卷积特征提取方式，分别得到空间路径特征与上下文路径特征，再采用特征融合操作将空间路径特征与上下文路径特征进行特征融合得到高维度特征图；
[0008]通过重点区域特征增强模块对所述双边语义分割网络模块中的高维度特征图进行通道级特征增强操作，根据输入图像中的行人位置确定行人的最小矩形区域作为行人区域，并将输入图像行人区域映射到高维度特征图行人区域，在高维度特征图行人区域中进行上下文特征编码，并将编码得到的特征增强向量反馈给高维度特征图进行通道级特征增强，得到增强后的高维度特征图；
[0009]所述双边语义分割网络模块对增强后的高维度特征图进行降维和上采样操作得到与原输入图像尺寸相同的区域分割图，其中包括危险入侵区域和安全非入侵区域；
[0010](2)行人检测模块，用于检测行人在图像中的外矩形边框位置，包括：
[0011]输入检测场景的图像数据，通过双阶段目标检测网络模块对输入图像中的行人目标进行外矩形边框检测；
[0012]通过行人位置预测优化模块根据行人外矩形边框位置信息和图像危险入侵区域分割信息，将行人外矩形边框分类为处于危险入侵区域边缘的入侵敏感候选框和其他入侵
不敏感候选框，在行人外矩形边框位置预测回归过程中，对入侵敏感候选框进行位置预测优化，提高位置预测准确率，最终输出优化后的行人外矩形边框位置信息；
[0013](3)行人入侵状态判断模块：输入入侵区域分割模块得到的区域分割图和行人检测模块得到的行人外矩形边框位置信息，将行人外矩形边框位置信息映射到区域分割图中，通过分析行人外矩形边框和危险入侵区域的位置关系，根据行人外矩形边框内的入侵像素信息，采用入侵像素加权计算和行人自身尺度因子偏置的方法计算入侵指标，再通过设置入侵指标阈值进行行人入侵状态的判断，高于入侵指标阈值则判断行人状态为入侵，否则判断行人状态为非入侵。
[0014]进一步地，所述双边语义分割网络模块基于改进的BiSeNet深度卷积网络，采用空间路径和上下文路径双边路径卷积特征提取方式，空间路径特征提取采用三层5*5深度可分离卷积层进行8倍下采样操作以获取图像空间特征信息，上下文路径特征提取采用深度残差模型ResNet进行16倍下采样操作以获取图像上下文语义特征信息，再采用特征融合操作将空间路径特征与上下文路径特征进行特征融合得到高维度特征图，对高维度特征图进行降维和上采样操作得到与原输入图像尺寸相同的区域分割图。
[0015]进一步地，所述重点区域特征增强模块对双边语义分割网络模块中的高维度特征图进行通道级特征增强操作，根据输入图像中的行人位置确定行人的最小矩形区域作为行人区域，并将输入图像行人区域映射到高维度特征图行人区域，在高维度特征图行人区域中进行上下文特征编码，并将编码得到的特征增强向量反馈给高维度特征图进行通道级特征增强，得到增强后的高维度特征图；具体为：
[0016]记高维度特征图行人区域为X∈R
C
×
N
，R表示C
×
N维的特征空间，C为高维度特征图行人区域的维度，N为高维度特征图行人区域的像素数；
[0017]计算像素尺度的中间编码向量集E＝w
×
X，其中w为学习权重；
[0018]计算特征尺度的中间编码向量集CE＝X
×
E
T
，其中T表示转置操作；
[0019]记中间编码向量集CE＝{ce1，ce2，...，ce
k
，...，ce
K
}，其中ce
k
表示C维度的中间编码向量，K表示CE中的向量个数；
[0020]将中间编码向量集CE进行K个特征向量的特征聚合，输出C维度的特征增强向量se：
[0021][0022]将C维度的特征增强向量se与C维度的高维度特征图进行对应维度的特征尺度缩放，得到增强后的高维度特征图，实现高维度特征图在不同特征通道的差异化特征表达，使得高维度特征图中与行人区域相关的特征表达增强。
[0023]进一步地，所述入侵区域分割模块在训练监督过程中，对于双边语义分割网络模块的训练，根据VOC2012格式构建网络训练集，在训练集中人工标注危险入侵区域和安全非入侵区域；采用交叉熵损失函数CrossEntropy对图像分割预测结果y
′
与图像分割标签y计算损失l1，计算公式如下：
[0024]l1＝CrossEntropy(y
′
，y)
[0025]对于重点区域特征增强模块的训练，根据图像行人区域得到图像分割标签的行人
区域，对图像分割标签的行人区域进行网格划分，得到若干形状面积相同的子区域，计算子区域中入侵标签像素的比例，再通过设置比例阈值对每个子区域设定二值标签，高于比例阈值则设定子区域二值标签为1，否则设定子区域二值标签为0，从而得到行人区域网格二值标签，再将二维度的行人区域网格二值标签进行拉伸，得到一维度的行人区域二值标签向量；采用均方差损失函数MSE对特征增强向量se与行人区域二值标签向量bin计算损失l2，计算公式如下：
[0026]l2＝MSE(fc(se)，bin)
[0027]其中fc表示全连接操作，用于将特征增强向量的维度转换到与行人区域二值标签向量维度相同；
[0028]入侵区域分割模块的训练损失l
seg
＝l1+l2。
[0029]进一步地，所述双阶段目标检测网络模块基于改进的Faster RC本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的行人入侵检测系统，其特征在于，包括：(1)入侵区域分割模块，用于对危险入侵区域和安全非入侵区域进行像素级分割，包括：输入检测场景的图像数据，通过双边语义分割网络模块对输入图像采用双边路径卷积特征提取方式，分别得到空间路径特征与上下文路径特征，再采用特征融合操作将空间路径特征与上下文路径特征进行特征融合得到高维度特征图；通过重点区域特征增强模块对所述双边语义分割网络模块中的高维度特征图进行通道级特征增强操作，根据输入图像中的行人位置确定行人的最小矩形区域作为行人区域，并将输入图像行人区域映射到高维度特征图行人区域，在高维度特征图行人区域中进行上下文特征编码，并将编码得到的特征增强向量反馈给高维度特征图进行通道级特征增强，得到增强后的高维度特征图；所述双边语义分割网络模块对增强后的高维度特征图进行降维和上采样操作得到与原输入图像尺寸相同的区域分割图，其中包括危险入侵区域和安全非入侵区域；(2)行人检测模块，用于检测行人在图像中的外矩形边框位置，包括：输入检测场景的图像数据，通过双阶段目标检测网络模块对输入图像中的行人目标进行外矩形边框检测；通过行人位置预测优化模块根据行人外矩形边框位置信息和图像危险入侵区域分割信息，将行人外矩形边框分类为处于危险入侵区域边缘的入侵敏感候选框和其他入侵不敏感候选框，在行人外矩形边框位置预测回归过程中，对入侵敏感候选框进行位置预测优化，提高位置预测准确率，最终输出优化后的行人外矩形边框位置信息；(3)行人入侵状态判断模块：输入入侵区域分割模块得到的区域分割图和行人检测模块得到的行人外矩形边框位置信息，将行人外矩形边框位置信息映射到区域分割图中，通过分析行人外矩形边框和危险入侵区域的位置关系，根据行人外矩形边框内的入侵像素信息，采用入侵像素加权计算和行人自身尺度因子偏置的方法计算入侵指标，再通过设置入侵指标阈值进行行人入侵状态的判断，高于入侵指标阈值则判断行人状态为入侵，否则判断行人状态为非入侵。2.根据权利要求1所述的一种基于深度学习的行人入侵检测系统，其特征在于，所述双边语义分割网络模块基于改进的BiSeNet深度卷积网络，采用空间路径和上下文路径双边路径卷积特征提取方式，空间路径特征提取采用三层5*5深度可分离卷积层进行8倍下采样操作以获取图像空间特征信息，上下文路径特征提取采用深度残差模型ResNet进行16倍下采样操作以获取图像上下文语义特征信息，再采用特征融合操作将空间路径特征与上下文路径特征进行特征融合得到高维度特征图，对高维度特征图进行降维和上采样操作得到与原输入图像尺寸相同的区域分割图。3.根据权利要求1所述的一种基于深度学习的行人入侵检测系统，其特征在于，所述重点区域特征增强模块的实现具体为：记高维度特征图行人区域为X∈R
C
×
N
，R表示C
×
N维的特征空间，C为高维度特征图行人区域的维度，N为高维度特征图行人区域的像素数；计算像素尺度的中间编码向量集E＝w
×
X，其中w为学习权重；计算特征尺度的中间编码向量集CE＝X
×
E
T
，其中T表示转置操作；
记中间编码向量集CE＝{ce1,ce2,
…
,ce
k
,
…
,ce
K
}，其中ce
k
表示C维度的中间编码向量，K表示CE中的向量个数；将中间编码向量集CE进行K个特征向量的特征聚合，输出C维度的特征增强向量se：将C维度的特征增强向量se与C维度的高维度特征图进行对应维度的特征尺度缩放，得到增强后的高维度特征图，实现高维度特征图在不同特征通道的差异化特征表达，使得高维度特征图中与行人区域相关的特征表达增强。4.根据权利要求1所述的一种基于深度学习的行人入侵检测系统，其特征在于，所述入侵区域分割模块在训练监督过程中，对于双边语义分割网络模块的训练，根据VOC2012格式构建网络训练集，在训练集中人工标注检测场景中的危险入侵区域和安全非入侵区域；采用交叉熵损失函数CrossEntropy对图像分割预测结果y
′
与图像分割标签y计算损失l1，计算公式如下：l1＝CrossEntropy(y
′
,y)对于重点区域特征增强模块的训练，根据图像行人区域得到图像分割标签的行人区域，对图像分割标签的行人区域进行网格划分，得到若干形状面积相同的子区域，计算子区域中入侵标签像素的比例，再通过设置比例阈值对每个子区域设定二值标签，高于比例阈值则设定子区域二值标签为1，否则设定子区域二值标签为0，从而得到行人区域网格二值标签，再将二维度的行人区域网格二值标签进行拉伸，得到一维度的行人区域二值标签向量；采用均方差损失函数MSE...

【专利技术属性】
技术研发人员：贺诗波，施振宇，徐李琳，陈积明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：