一种扶梯监控视频异常检测方法与系统技术方案

本发明专利技术公开了一种扶梯监控视频异常检测方法与系统，涉及扶梯检测领域，其通过联合训练好的YOLOv5目标检测模型与HR

【技术实现步骤摘要】
一种扶梯监控视频异常检测方法与系统


[0001]本专利技术涉及扶梯检测领域，尤其涉及一种扶梯监控视频异常检测方法与系统。

技术介绍

[0002]随着城市化建设的推进和人民物质水平的提高，城市基础设施不断完善，人们也更加重视这些设施的安全性。在地铁站、商场等一些公共场所，自动扶梯的使用十分广泛。然而，由于设备问题、使用者不当行为等原因，自动扶梯相关的安全事故也呈增多趋势。根据新闻报道，自动扶梯上逆行、奔跑、摔倒或者携带婴儿车和大件行李等行为往往容易引发安全事故，造成乘客受伤。及时、准确、高效地对电梯异常行为进行监控和报警，有助于快速对事故作出反应，避免人员伤亡，提升应急处置水平。
[0003]为提升异常检测的水平，学者们做了一些研究和探索。邵海波提出一种自动扶梯安全监控系统，授权公告号为CN205257749U，包括用于拍摄自动扶梯的整体图像及自动扶梯上乘客的第一摄像头组、用于拍摄自动扶梯的机械部件的第二摄像头组以及用于图像分析和处理的数据处理设备。陆勣卓等提出一种扶梯安全监控装置，授权公告号为CN204310668U，监控装置与控制系统相对分离，能方便灵活的运用在不同的控制系统中，便于模块化设计控制系统。然而，这些专利技术缺少自动化算法设计(或智能检测设计)，依然只侧重于信息采集方面，并未涉及到YOLOv5模型、HR
‑
Net模型以及卷积神经网络模型在扶梯监控视频异常检测领域上的联合应用，本专利技术为保障扶梯乘梯安全，通过对YOLOv5模型、HR
‑
Net模型以及卷积神经网络模型的联用实现了对扶梯监控视频异常的智能检测，同时极大的提高了检测的准确度。

技术实现思路

[0004]为了实现对扶梯监控视频异常的智能检测，同时提高扶梯监控视频异常检测的准确度，本专利技术联合YOLOv5模型、HR
‑
Net模型以及卷积神经网络模型，提出了一种扶梯监控视频异常检测方法，包括：
[0005]获取扶梯的监控视频，将其转化为时间点连续的图片集，并逐帧判断当前帧是否为正常帧，若是，则标注为正样本，若否，则标注为负样本，得到包含正样本与负样本的模型数据集；所述正样本具体为标注有正常标签的图片，所述负样本具体为标注有异常标签的图片；
[0006]通过大规模数据集分别训练YOLOv5模型与HR
‑
Net模型得到对应的YOLOv5目标检测模型和HR
‑
Net关键点提取模型；
[0007]将模型数据集中的图片逐帧输入YOLOv5目标检测模型，得到各帧图片对应的行人目标框位置；通过HR
‑
Net关键点提取模型预测各行人目标框位置对应的关键点热图；
[0008]针对各帧关键点热图，获取其对应的前向差图与后向差图，并通过对前向差图与后向差图取或操作得到当前帧关键点热图对应的关键点帧间变化图；
[0009]获取各关键点帧间变化图对应的图像标签对，通过图像标签对训练卷积神经网
络，得到卷积神经网络模型；所述图像标签对中包括关键点帧间变化图与其对应的标签；
[0010]将待检测的扶梯监控视频图片集逐帧输入YOLOv5目标检测模型，得到各帧图片对应的行人目标框位置，并通过HR
‑
Net关键点提取模型预测各行人目标框位置对应的关键点热图，获取各帧关键点热图对应的关键点帧间变化图，并将关键点帧间变化图输入卷积神经网络模型预测得到其对应的标签。
[0011]进一步地，所述通过HR
‑
Net关键点提取模型预测各行人目标框位置对应的关键点热图，具体为：将各行人目标框位置依次输入HR
‑
Net关键点提取模型，以通过HR
‑
Net关键点提取模型得到包括人体关键点、以及人体关键点矩形包围框置信度的高分辨率特征图，并对高分辨率特征图中置信度高于设定阈值的人体关键点矩形包围框进行人体姿态估计，得到人体关键点的像素坐标及其预测置信度，进而得到行人目标框位置对应的关键点热图。
[0012]进一步地，所述大规模数据集为MS COCO数据集；所述通过大规模数据集训练YOLOv5模型，具体包括：
[0013]通过MS COCO数据集训练YOLOv5模型，并在训练过程中通过损失函数训练YOL0v5模型的回归分支，通过BCE损失函数训练YOL0v5模型的目标与类别分支。
[0014]进一步地，所述损失函数的公式表达式为：
[0015][0016]式中：
[0017][0018][0019]其中，Intersection(A，B)表示YOLOv5模型其预测框A与目标框B的交集面积，Unio n(A，B)表示YOLOv5模型其预测框A与目标框B的并集面积；b，b
gt
分别表示预测框与真实框的中心点，p2(b，bg
t
)为预测框与真实框中心点间的欧式距离，c为能够同时包含预测框和真实框的最小闭包区域的对角线距离，α是损失权重；表示损失值；w
gt
为真实框的宽，h
gt
为真实框的高，w为预测框的宽，h为预测框的高；
[0020]所述BCE损失函数的公式表达式为：
[0021][0022]式中，p是YOLOv5模型预测样本是正样本的概率；是样本的标签，当样本属于正样本时，取值为1，否则取值为0，BCELoss为损失值。
[0023]进一步地，在通过大规模数据集训练YOLOv5模型时，还包括：
[0024]针对大规模数据集中的图片数据，随机翻转当前输入YOLOv5模型或HR
‑
Net模型的图片，并使用Mosaic数据增强，具体为：对任意四张图片进行拼接，获取拼接之后的新图片并加入训练，以此扩张数据集。
[0025]进一步地，所述前向差图的获取公式为：BDI
k
＝|H
k
‑1‑
H
k
|；
[0026]所述后向差图的获取公式为：FDI
k
＝|H
k
‑
H
k+1
|；
[0027]其中，k的取值范围为(1，n一2)；式中，n表示关键点热图的总帧数，H
k
表示第k帧关
键点热图，H
k
‑1表示第k
‑
1帧关键点热图，H
k+1
表示第k+1帧关键点热图，BDI
k
第k帧关键点热图对应的前向差图，FDI
k
表示第k帧关键点热图对应的后向差图；
[0028]所述关键点帧间变化图的获取公式为：CDI
k
＝BDI
k
∪FDI
k
，式中，CDI
k
表示关键点帧间变化图。
[0029]本专利技术还提出了一种扶梯监控视频异常检测系统，包括：
[0030]数据集获取模块，用于获取扶梯的监控视频，将其转化为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种扶梯监控视频异常检测方法，其特征在于，包括：获取扶梯的监控视频，将其转化为时间点连续的图片集，并逐帧判断当前帧是否为正常帧，若是，则标注为正样本，若否，则标注为负样本，得到包含正样本与负样本的模型数据集；所述正样本具体为标注有正常标签的图片，所述负样本具体为标注有异常标签的图片；通过大规模数据集分别训练YOLOv5模型与HR
‑
Net模型得到对应的YOLOv5目标检测模型和HR
‑
Net关键点提取模型；将模型数据集中的图片逐帧输入YOLOv5目标检测模型，得到各帧图片对应的行人目标框位置；通过HR
‑
Net关键点提取模型预测各行人目标框位置对应的关键点热图；针对各帧关键点热图，获取其对应的前向差图与后向差图，并通过对前向差图与后向差图取或操作得到当前帧关键点热图对应的关键点帧间变化图；获取各关键点帧间变化图对应的图像标签对，通过图像标签对训练卷积神经网络，得到卷积神经网络模型；所述图像标签对中包括关键点帧间变化图与其对应的标签；将待检测的扶梯监控视频图片集逐帧输入YOLOv5目标检测模型，得到各帧图片对应的行人目标框位置，并通过HR
‑
Net关键点提取模型预测各行人目标框位置对应的关键点热图，获取各帧关键点热图对应的关键点帧间变化图，并将关键点帧间变化图输入卷积神经网络模型预测得到其对应的标签。2.根据权利要求1所述的一种扶梯监控视频异常检测方法，其特征在于，所述通过HR
‑
Net关键点提取模型预测各行人目标框位置对应的关键点热图，具体为：将各行人目标框位置依次输入HR
‑
Net关键点提取模型，以通过HR
‑
Net关键点提取模型得到包括人体关键点、以及人体关键点矩形包围框置信度的高分辨率特征图，并对高分辨率特征图中置信度高于设定阈值的人体关键点矩形包围框进行人体姿态估计，得到人体关键点的像素坐标及其预测置信度，进而得到行人目标框位置对应的关键点热图。3.根据权利要求1所述的一种扶梯监控视频异常检测方法，其特征在于，所述大规模数据集为MS COCO数据集；所述通过大规模数据集训练YOLOv5模型，具体包括：通过MS COCO数据集训练YOLOv5模型，并在训练过程中通过损失函数训练YOLOv5模型的回归分支，通过BCE损失函数训练YOLOv5模型的目标与类别分支。4.根据权利要求3所述的一种扶梯监控视频异常检测方法，其特征在于，所述损失函数的公式表达式为：式中：式中：其中，Intersection(A,B)表示YOLOv5模型其预测框A与目标框B的交集面积，Union(A,B)表示YOLOv5模型其预测框A与目标框B的并集面积；b,b
gt
分别表示预测框与真实框的中心点,ρ2(b,b
gt
)为预测框与真实框中心点间的欧式距离，c为能够同时包含预测框和真实框的
最小闭包区域的对角线距离，α是损失权重；表示损失值；w
gt
为真实框的宽，h
gt
为真实框的高，w为预测框的宽，h为预测框的高；所述BCE损失函数的公式表达式为：式中，p是YOLOv5模型预测样本是正样本的概率；是样本的标签,当样本属于正样本时,取值为1,否则取值为0，BCELoss为损失值。5.根据权利要求4所述的一种扶梯监控视频异常检测方法，其特征在于，在通过大规模数据集训练YOLOv5模型时，还包括：针对大规模数据集中的图片数据，随机翻转当前输入YOLOv5模型或HR
‑
Net模型的图片，并使用Mosaic数据增强，具体为：对任意四张图片进行拼接，获取拼接之后的新图片并加入训练，以此扩张数据集。6.根据权利要求5所述的一种扶梯监控视频异常检测方法，其特征在于，所述前向差图的获取公式为：BDI
k
＝|H
k
‑1‑
...

【专利技术属性】
技术研发人员：童勤峰，钟毅，卓荣荣，杨建党，蒋俊涛，刘勇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：