一种基于图像分割技术的地铁车厢人员违规行为检测方法技术

本发明专利技术公开了一种基于图像分割技术的地铁车厢人员违规行为检测方法，该方法包括以下步骤：基于监控摄像头读取当前车厢内画面；采用实时分割技术对地铁车厢内的座椅进行准确分割，并初始化座椅区域；利用帧间差光流场算法确定是否读取车厢内的监控画面；若对车厢内的监控画面进行读取，则对画面中乘客进行骨骼点检测；基于骨骼点的空间结构信息，对其行为动作进行分类；若乘客行为异常，则对其脚部关键点进行定位，并同座椅的有效区域相结合，判断其是否存在违规行为。本发明专利技术能够检测车厢乘客的违规行为、不文明行为，为文明出行做出贡献，且无需地铁工作人员进行巡逻检查，从而不会增加地铁工作人员的工作量。会增加地铁工作人员的工作量。会增加地铁工作人员的工作量。

【技术实现步骤摘要】
一种基于图像分割技术的地铁车厢人员违规行为检测方法


[0001]本专利技术涉及地铁管理领域，具体来说，涉及一种基于图像分割技术的地铁车厢人员违规行为检测方法。

技术介绍

[0002]地铁因其快捷、便利，已成为世界各地越来越多市民出行的首选交通工具。想要提高乘坐地铁时市民的乘坐体验，务必对地铁车厢人员的违规行为进行制止。若采用地铁工作人员进行巡逻检测，势必增加工作人员的工作量，且会影响地铁繁忙路段的正常运营。
[0003]专利号201910011455.6公开了一种车辆违规事件检测的方法、装置和电子设备，其包括实时采集预设区域内所有车辆的图像数据，根据图像数据，确定在预设区域内每辆车的运动轨迹；根据每辆车的运动轨迹以及交通事件确定模型，确定每辆车当前所属的交通事件，可以准确地对各种场景中的车辆进行违规事件的检测。
[0004]专利号201910323569.4公开了现场违规行为识别系统，其包括信号触发设备、客车辨别设备、压缩发送设备，其在检测到客车对象时，将定制处理后的现场图像压缩后无线发送给交通管理服务器以保存证据，从而有效识别现场违规行为。
[0005]但是，以上专利在使用时存在以下问题：由于人们对文明出行的需求日趋升高，地铁中的不文明行为受到越来越多人的抵制。地铁中会出现一些不文明且违规的行为，例如：踩踏座椅，躺卧座椅等。而从现有技术中可知，现有技术中针对交通违规的检测，基本是检测车辆的违规事件，而缺少针对车辆内部，即地铁中乘客的违规行为检测。
[0006]针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

[0007]针对相关技术中的问题，本专利技术提出一种基于图像分割技术的地铁车厢人员违规行为检测方法，以克服现有相关技术所存在的上述技术问题。
[0008]为此，本专利技术采用的具体技术方案如下：
[0009]一种基于图像分割技术的地铁车厢人员违规行为检测方法，该方法包括以下步骤：
[0010]基于监控摄像头读取当前车厢内画面；
[0011]采用实时分割技术对地铁车厢内的座椅进行准确分割，并初始化座椅区域；
[0012]利用帧间差光流场算法确定是否读取车厢内的监控画面；
[0013]若对车厢内的监控画面进行读取，则对画面中乘客进行骨骼点检测；
[0014]基于骨骼点的空间结构信息，对其行为动作进行分类；
[0015]若乘客行为异常，则对其脚部关键点进行定位，并同座椅的有效区域相结合，判断其是否存在违规行为；
[0016]所述利用帧间差光流场算法确定是否读取车厢内的监控画面还包括以下步骤：
[0017]若监控场景中出现物体运动时，通过两帧相减得到两帧图像灰度值差的绝对值；
[0018]计算当前帧与前一帧及后一帧之间的帧差图像，且对隔帧差分后的图像进行阈值化处理，得到隔帧差分后的二值图像，并检测到运动物体；
[0019]对监控画面的图像进行光流分析，且设定差值图中不为零处的像素对应于灰度梯度大的点；
[0020]计算出运动物体的运动点的速度、坐标、方向和灰度值，确定监控画面中是否有物体，若有物体则确定读取车厢内的监控画面；
[0021]所述基于骨骼点的空间结构信息，对其行为动作进行分类还包括以下步骤：
[0022]获取监控图像中基于骨骼点的空间结构信息，并构建一棵具有支持向量机的节点树，且对节点树每一步中由超平面划分出的区域标记为非硬类；
[0023]利用基于径向基核函数的非线性支持向量机对基于骨骼点的空间结构信息进行分类，其中，判断乘客动作包含站立、躺卧、坐立以及跷二郎腿。
[0024]进一步的，所述采用实时分割技术对地铁车厢内的座椅进行准确分割，并初始化座椅区域还包括以下步骤：
[0025]预训练短时密集连接模块，并将短时密集连接模块集成在U
‑
net体系结构中，形成短时密集连接模块网络，同时配置解码器；
[0026]使用短时密集连接模块网络做为编码器的主干网络，并采用BiSeNet的上下文路径来编码座椅图像的上下文信息；
[0027]通过细节引导模块引导低层以单流方式学习空间信息，获得空间细节；
[0028]将空间细节与编码器深度块的上下文特征进行融合，输出分割结果，并初始化座椅区域。
[0029]进一步的，所述短时密集连接模块中的每个层对输入的图像或特征在不同的尺度和各自的域进行编码，且逐步减小层的卷积核大小。
[0030]进一步的，所述短时密集连接模块中被分成若干子模块，用ConvX
i
表示第i个子模块的运算，第i个子模块的输出为：
[0031]x
i
＝ConvX
i
(x
i
‑1,k
i
)；
[0032]其中，x
i
‑1和x
i
分别为第i个子模块的输入和输出，ConvX
i
包括卷积层、BN层和ReLU，k
i
是卷积层的内核大小，i为非零自然数。
[0033]进一步的，所述短时密集连接模块的最终输出为：
[0034]x
output
＝F(x1,x2,
…
,x
n
)
[0035]其中，F为融合操作，x1,x2,
…
,x
n
为所有块的特征映射，n为非零自然数。
[0036]进一步的，所述使用短时密集连接模块网络做为编码器的主干网络，并采用BiSeNet的上下文路径来编码座椅图像的上下文信息还包括以下步骤：
[0037]设定短时密集连接模块网络除输入层和预测层外，还包括6个阶段；
[0038]第3阶段至第5阶段分别生成下采样率为1/8，1/16，1/32的特征图，并使用全局平均池化生成具有大感受野的全局上下文信息；
[0039]采用U
‑
shape结构对全局特征进行上采样，并将其与编码阶段的后2个阶段的特征进行组合，且在BiSeNet之后使用注意模块细化每两个阶段的组合特性；
[0040]其中，在最终的语义分割预测中采用BiSeNet中的特征融合模块将从第2阶段得到的1/8降采样特征与解码器得到的1/8降采样特征进行融合。
[0041]进一步的，所述通过细节引导模块引导低层以单流方式学习空间信息，获得空间细节还包括以下步骤：
[0042]采用laplacian算子对分割的真实背景图进行边缘检测，生成边缘细节图，并在第3阶段中插入detail Head生成detail feature map；
[0043]使用真实值的细节作为detail feature map的引导来知道低层学习；
[0044]其中，所述Laplacian算子生成不同步长的细节特征图以获取多尺度细节信息，并采用上采样的方式将细节特征图映射成原始大小，同时融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分割技术的地铁车厢人员违规行为检测方法，其特征在于，该方法包括以下步骤：基于监控摄像头读取当前车厢内画面；采用实时分割技术对地铁车厢内的座椅进行准确分割，并初始化座椅区域；利用帧间差光流场算法确定是否读取车厢内的监控画面；若对车厢内的监控画面进行读取，则对画面中乘客进行骨骼点检测；基于骨骼点的空间结构信息，对其行为动作进行分类；若乘客行为异常，则对其脚部关键点进行定位，并同座椅的有效区域相结合，判断其是否存在违规行为；所述利用帧间差光流场算法确定是否读取车厢内的监控画面还包括以下步骤：若监控场景中出现物体运动时，通过两帧相减得到两帧图像灰度值差的绝对值；计算当前帧与前一帧及后一帧之间的帧差图像，且对隔帧差分后的图像进行阈值化处理，得到隔帧差分后的二值图像，并检测到运动物体；对监控画面的图像进行光流分析，且设定差值图中不为零处的像素对应于灰度梯度大的点；计算出运动物体的运动点的速度、坐标、方向和灰度值，确定监控画面中是否有物体，若有物体则确定读取车厢内的监控画面；所述基于骨骼点的空间结构信息，对其行为动作进行分类还包括以下步骤：获取监控图像中基于骨骼点的空间结构信息，并构建一棵具有支持向量机的节点树，且对节点树每一步中由超平面划分出的区域标记为非硬类；利用基于径向基核函数的非线性支持向量机对基于骨骼点的空间结构信息进行分类。2.根据权利要求1所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法，其特征在于，所述采用实时分割技术对地铁车厢内的座椅进行准确分割，并初始化座椅区域还包括以下步骤：预训练短时密集连接模块，并将短时密集连接模块集成在U
‑
net体系结构中，形成短时密集连接模块网络，同时配置解码器；使用短时密集连接模块网络做为编码器的主干网络，并采用BiSeNet的上下文路径来编码座椅图像的上下文信息；通过细节引导模块引导低层以单流方式学习空间信息，获得空间细节；将空间细节与编码器深度块的上下文特征进行融合，输出分割结果，并初始化座椅区域。3.根据权利要求2所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法，其特征在于，所述短时密集连接模块中的每个层对输入的图像或特征在不同的尺度和各自的域进行编码，且逐步减小层的卷积核大小。4.根据权利要求2所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法，其特征在于，所述短时密集连接模块中被分成若干子模块，用ConvX
i
表示第i个子模块的运算，第i个子模块的输出为：x
i
＝ConvX
i
(x
i
‑1,k
i
)；其中，x
i
‑1和x
i
分别为第i个子模块的输入和输出，ConvX
i
包括卷积层、BN层和ReLU，k
i
是
卷积层的内核大小，i为非零自然数。5.根据权利要求4所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法，其特征在于，所述短时密集连接模块的最终输出为：x
output
＝F(x1,x2,
…
,x
n
)其中，F为融合操作，x1,x2,
…
,x
n
为所有块的特征映射，n为非零自然数。6.根据权利要求2所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法，其特征在于，所述使用短时密集连接模块网络做为编码器的主干网络，并采用BiSeNet的上下文路径来编码座椅图像的上下文信息还包括以下步骤：设定...

【专利技术属性】
技术研发人员：刘鹏，张真，汪良楠，张堃，曹骝，
申请(专利权)人：南京云创大数据科技股份有限公司，
类型：发明
国别省市：