一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法技术

本发明专利技术公开了一种基于Mask Rcnn以及SSD卷积神经网络的地磅人体入侵检测方法，通过摄像头采集地磅区域历史视频；在地磅称重状态为空闲状态时采用Mask Rcnn卷积神经网络识别实时地磅区域视频的地磅区域，并进行保存；采用SSD卷积神经网络训练的行人车辆模型识别实时称重视频的人和车辆的位置信息，当人的位置信息与地磅区域出现交集时，说明地磅区域有人体入侵，记录下此时的称重状态、周围环境人数、地磅区域人数；记录人体入侵时间；当人体入侵时间超出设定阈值，自动报警，并记录称重异常信息。本发明专利技术可对现场车辆称重过程进行实时监控，对人体入侵行为报警，能够有效地识别货车称重时产生的作弊现象。

【技术实现步骤摘要】
一种基于MaskRcnn以及SSD的地磅人体入侵检测方法
本专利技术属于实时图像处理技术，特别是一种基于MaskRcnn以及SSD的地磅人体入侵检测方法。
技术介绍
电子汽车衡作为一种准确、方便、快捷的称重计量设备已经被越来越多地应用到物流、钢铁、煤炭、电力、建材等各个行业。然而伴随着利益的追逐，也出现了利用电子汽车衡在称重过程中实施计量作弊的现象，给企业和客户带来了重大的经济损失，也给当今社会诚信带来了挑战，怎样发现和杜绝这些作弊现象是一个急需解决的问题。在称重计量过程中，存在着如下作弊行为：在货车称重过程有人非法闯入汽车衡或者货车司机故意长时间停留在汽车衡，导致称重软件记录的装卸量比实际装卸量小，从而达到减少货物净重的目的。针对此类作弊行为，目前解决方法大多依靠红外辐射成像检测或者传统图像识别检测技术。红外图像检测采用高斯模型进行图像分割，然后提取方向梯度直方图(HOG)特征，使用SVM或者Adaboost进行分类识别，在光照不足，对比度较低的情况下，红外辐射成像具有良好的检测效果，但红外线检测设计和维护成本都较高。而传统的本文档来自技高网...

【技术保护点】
1.一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法，其特征在于，包括以下步骤：/n步骤1、利用Opencv计算机视觉库将摄像头采集地磅区域历史视频进行分帧，并将分帧后的图像统一尺寸，获得初始图像集，所述图像包含人的位置信息、车辆的位置信息或地磅轮廓信息中的至少一种；/n步骤2、在地磅称重状态为空闲状态时，采用Mask Rcnn卷积神经网络训练的地磅区域识别模型对摄像头拍摄的实时地磅区域视频进行识别，识别出地磅区域轮廓，并进行保存；/n步骤3、采用SSD卷积神经网络训练的行人车辆模型对摄像头拍摄的实时称重视频识别，识别出人的位置信息和车辆的位置信息，当人的位置信息与地磅区域出现交集时...

【技术特征摘要】
20201231 CN 20201163061201.一种基于MaskRcnn以及SSD的地磅人体入侵检测方法，其特征在于，包括以下步骤：
步骤1、利用Opencv计算机视觉库将摄像头采集地磅区域历史视频进行分帧，并将分帧后的图像统一尺寸，获得初始图像集，所述图像包含人的位置信息、车辆的位置信息或地磅轮廓信息中的至少一种；
步骤2、在地磅称重状态为空闲状态时，采用MaskRcnn卷积神经网络训练的地磅区域识别模型对摄像头拍摄的实时地磅区域视频进行识别，识别出地磅区域轮廓，并进行保存；
步骤3、采用SSD卷积神经网络训练的行人车辆模型对摄像头拍摄的实时称重视频识别，识别出人的位置信息和车辆的位置信息，当人的位置信息与地磅区域出现交集时，说明地磅区域有人体入侵，记录下此时的称重状态、周围环境人数、地磅区域人数；
步骤4、当称重状态为地磅称重且地磅区域人数大于0时，开启定时器，记录人体入侵时间；
步骤5、当人体入侵时间超出设定阈值，自动报警，并记录称重异常信息。


2.根据权利要求1所述的基于MaskRcnn以及SSD的地磅人体入侵检测方法，其特征在于，步骤2中，在地磅称重状态为空闲状态时，采用MaskRcnn卷积神经网络训练的地磅区域识别模型对摄像头拍摄的实时地磅区域视频进行识别，识别出地磅区域轮廓，并进行保存，其具体步骤如下：
步骤2.1、从初始图像集中筛选出包含地磅轮廓信息的图片，通过Labelme手动标注地磅区域，并沿着地磅轮廓区域手工标注，标签类别为weightbridge，生成xml文件，并采用图像平移、旋转、镜像、裁剪、模糊处理方式对初始图像集进行扩增，获得第一次扩增图像集，将第一次扩增图像集与xml文件制作成VOC2007格式的标注地磅区域数据集，并将标注地磅区域数据集分为地磅区域训练集和地磅区域测试集；
步骤2.2、搭建MaskRcnn卷积神经网络，使用特征金字塔网络获得多尺度的特征映射作为区域生成网络的输入，生成锚框，进行分类、矩形框定位，最后获得目标实例的二值掩码mask，其中主干网络选用Resnet-101网络结构；
步骤2.3、设置地磅区域识别模型初始超参数、迭代次数以及一次训练所选取的样本数；每次迭代，地磅区域识别模型对地磅区域训练集中的样本进行一次计算，通过损失函数的loss值向前反馈和计算超参数差值，对地磅区域识别模型的超参数进行更新；
MaskRcnn网络的损失函数L：



MaskRcnn网络的损失函数就是分类、回归、掩码损失之和，其中表示MaskRcnn网络的分类损失，Lbox表示MaskRcnn网络的回归损失，Lmask表示MaskRcnn网络的掩码损失；
步骤2.4、将地磅区域训练集和测试集输入到构建好的MaskRcnn卷积神经网络中进行训练和测试，并在训练过程中调整学习率，获得地磅区域识别模型；
步骤2.5、分别在迭代次数达到10000次、15000次、20000次时保存地磅区域识别模型；
步骤2.6、使用地磅区域识别模型对摄像头拍摄的实时地磅区域视频进行识别，识别出地磅区域轮廓，并进行保存。


3.根据权利要求2所述的基于MaskRcnn以及SSD的地磅人体入侵检测方法，其特征在于：步骤2.1中，按照3:1将标注地磅区域数据集分为地磅区域训练集和地磅区域测试集。


4.根据权利要求1所述的基于MaskRcnn以及SSD的地磅人体入侵检测方法，其特征在于，步骤3中，采用SSD卷积神经网...

【专利技术属性】
技术研发人员：陆宝春，王若禹，盛国良，徐德宏，翁朝阳，
申请(专利权)人：南京理工大学，南京肯确智能科技有限公司，
类型：发明
国别省市：江苏;32