基于深度学习目标检测与动态背景建模的商店跨门经营检测方法技术

一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，包括：(1)获取道路监控视频，并将该道路监控视频截成帧图像；(2)利用店面检测模型获取帧图像中的店面所在位置；(3)当视频视角固定时，划分帧图像中店面外道板区域，并利用改进的ViBe方法对道板区域进行背景建模差分处理，获得店外物体，然后，利用店外物体分类模型对店外物体进行分类，获得店外物体的类别；(4)当视频视角不固定时，利用物体检测模型对帧图像进行检测，获得帧图像中的物体所在位置及类别，然后，根据物体所在位置，筛选得到店外物体及类别；(5)当店外物体属于店面经营物体时，即进行跨门经营报警。

【技术实现步骤摘要】
基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
本专利技术属于智能城市管理应用领域，具体设计一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法。
技术介绍
跨门经营，又称店外经营，指经营者通过占用其经营场所店面以外或附近的公共场所进行经营活动的行为，是一种较为常见的不规范经营现象。目前，城市中已广泛部署道路监控探头，但是监控数据量巨大，人工数据处理需要大量的时间和人力成本。随着人工智能技术的快速发展，可以使用深度学习的方法来自动检测跨门经营的行为，提高城市管理部门的工作效率。商店经营者的跨门经营行为存在一定的动态性，即在“不存在店外经营”与“存在店外经营”两种状态之间进行转换，具有一定的动态变化过程，因此，可以通过动态变化的检测来做初步的检测。目前常见的动态物体检测方法有：光流法、帧间差分法、背景差分法等。根据不同的背景建模方式，背景差分法又衍生出混合高斯背景建模差分、ViBe(visualbackgroundextractor)算法等方法。ViBe算法是一种基于随机像素替换的背景建模、前景差分算法，其拥有算法简单、运算速度快、鬼影(GhostShadow)区域消除效果较好等优点。ViBe算法常用于检测行人、车辆等动态性较强的物体。在店外经营检测的应用场景中，每家店面在“不存在店外经营”与“存在店外经营”两种状态之间转换的动态性相对来说较低，实际场景中监控探头易产生晃动，造成图像偏移，这都会时ViBe算法产生一定的偏差，也就是现有的ViBe算法并不适用于对跨门经营图像的检测。在跨门经营检测的过程中，需要从图像中检测出店面，然后检测店面门口物品所属的类别，根据其是否属于店铺经营的商品，来判断是否存在跨门经营现象。因此，需要采用目标检测方法，从图像中找出人们感兴趣的物体，并对其进行识别。目前常见的目标检测方法都基于深度学习技术，有FasterR-CNN、YOLO、SSD等方法。FasterR-CNN(快速区域卷积神经网)是一种用于目标检测的主流深度学习网络框架，它的优点在于具有比别的方法更高的识别精度。
技术实现思路
本专利技术的目的提供一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，该商店跨门经营检测方法能够自动检测获得存在跨门经营行为的商贩。为实现上述专利技术，采用的技术方案如下：一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，包括以下步骤：(1)获取道路监控视频，并将该道路监控视频截成帧图像；(2)利用店面检测模型获取帧图像中的店面所在位置；(3)当视频视角固定时，划分帧图像中店面外道板区域，并利用改进的ViBe方法对道板区域进行背景建模差分处理，获得店外物体，然后，利用店外物体分类模型对店外物体进行分类，获得店外物体的类别；(4)当视频视角不固定时，利用物体检测模型对帧图像进行检测，获得帧图像中的物体所在位置及类别，然后，根据物体所在位置，筛选得到店外物体及类别；(5)当店外物体属于店面经营物体时，即进行跨门经营报警；所述店外物体分类模型由VGG网络经训练得到，所述店面检测模型和物体检测模型均由VGG网络和FasterR-CNN网络组成的学习网络经训练得到。其中，所述店面检测模型和物体检测模型对应的学习网络包括：VGG网络，用于由10个卷积层和3个最大池化层、2个全连接层组成，10个卷积层和3个最大池化层用于提取输入图像的特征，输出特征图；第一个全连接层用于将特征图连接成1*1*4096维的向量并输出，第二个全连接层用于对1*1*4096维的向量中的物体进行分类，输出物体类别及分类置信度；RPN，接收VGG网络输出的特征图，用于在VGG网络输出的特征图中，提取可能存在目标的矩形候选区域ROI；ROI池化层，连接在RPN与第一个全连接层之间，接收VGG网络输出的特征图和RPN输出的矩形候选区域ROI，用于将矩形候选区域ROI映射到特征图上后输出特征图；第三全连接层，连接于第一全连接层之后，用于对1*1*4096维的向量中ROI框选的物体进行边界确定，输出物体坐标。具体地，所述VGG网络包括：第一层、第二层均为卷积核为3*3，通道数为64的卷积层，输出尺寸为960*640的特征图；第三层为第一最大值池化层，将尺寸为960*640的特征图压缩至尺寸为480*320的特征图；第四层、第五层均为卷积核为3*3，通道数为128的卷积层，输出尺寸为480*320的特征图；第六层为第二最大值池化层，将尺寸为480*320的特征图压缩至尺寸为240*160的特征图；第七层、第八层均为卷积核为3*3，通道数为256的卷积层，输出尺寸为240*160的特征图；第九层为卷积核为1*1，通道数为256的卷积层，输出尺寸为240*160的特征图；第十层为第三最大值池化层，将尺寸为240*160的特征图压缩至尺寸为60*40的特征图；第十一层、第十二层均为卷积核为3*3，通道数为512的卷积层，输出尺寸为60*40的特征图；第十三层为卷积核为1*1，通道数为512的卷积层，输出尺寸为60*40的特征图；第十四层为1*1*4096的全连接层，输出1*1*4096维的向量。第十五层为1*1*N的全连接层，用于对1*1*4096维的向量中的物体进行分类，输出物体类别及分类置信度，N为类别总数。与现有技术相比，本专利技术具有的有益效果为：本专利技术提供的商店跨门经营检测方法结合深度学习技术和改进的ViBe方法能够自动化地实现跨门经营检测功能，利用现有的城市道路视频监控网络，有效地提高城市管理部门的效率，减少人力成本。附图说明图1是本专利技术提供的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法的流程图；图2是本专利技术提供的店面检测模型和物体检测模型对应的学习网络的结构图，其中输出分类信息的FC层维度为1*1*N，N表示分类的数量，进行边界回归的FC层维度为1*1*4，表示检测目标在图中的矩形框坐标；图3是本专利技术提供的VGG网络的结构图，其中输出分类信息的FC层维度为1*1*N，N表示分类的数量。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。图1是本专利技术提供的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法的流程图。如图1所示，本实施例提供的商店跨门经营检测方法包括以下步骤：S101，获取道路监控视频，并将该道路监控视频截成帧图像。具体地，以每秒1～5帧的频率将该道路监控视频截成帧图像。更具体地，以每秒1帧的频率将该道路监控视频截成帧图像。商店跨门经营的物体的流动性相对比较弱，以每秒1帧的频率截取帧图像，根据该些帧图像足以准确地获得店面信息和物体信息，且能够降低数据量，节省计算开销。S102，利用店面检测模型获取帧图像中的店面所在位置。本实施例利用的店面检测模型是由VGG网络和FasterR-CNN网络组成的学习网络经训练得到。如图2所示，店面检测模型对应的学习网络包括VGG网络、RPN、ROI池化层以及第三全连接层。如图2、图3所示，VGG网络包括：第一层、第二层均为卷积核为3*3，通道数为64的卷积层，输出尺寸为960*640的特征图；第三层为第本文档来自技高网...

【技术保护点】
1.一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，包括以下步骤：(1)获取道路监控视频，并将该道路监控视频截成帧图像；(2)利用店面检测模型获取帧图像中的店面所在位置；(3)当视频视角固定时，划分帧图像中店面外道板区域，并利用改进的ViBe方法对道板区域进行背景建模差分处理，获得店外物体，然后，利用店外物体分类模型对店外物体进行分类，获得店外物体的类别；(4)当视频视角不固定时，利用物体检测模型对帧图像进行检测，获得帧图像中的物体所在位置及类别，然后，根据物体所在位置，筛选得到店外物体及类别；(5)当店外物体属于店面经营物体时，即进行跨门经营报警；所述店外物体分类模型由VGG网络经训练得到，所述店面检测模型和物体检测模型均由VGG网络和Faster R‑CNN网络组成的学习网络经训练得到。

【技术特征摘要】
1.一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，包括以下步骤：(1)获取道路监控视频，并将该道路监控视频截成帧图像；(2)利用店面检测模型获取帧图像中的店面所在位置；(3)当视频视角固定时，划分帧图像中店面外道板区域，并利用改进的ViBe方法对道板区域进行背景建模差分处理，获得店外物体，然后，利用店外物体分类模型对店外物体进行分类，获得店外物体的类别；(4)当视频视角不固定时，利用物体检测模型对帧图像进行检测，获得帧图像中的物体所在位置及类别，然后，根据物体所在位置，筛选得到店外物体及类别；(5)当店外物体属于店面经营物体时，即进行跨门经营报警；所述店外物体分类模型由VGG网络经训练得到，所述店面检测模型和物体检测模型均由VGG网络和FasterR-CNN网络组成的学习网络经训练得到。2.如权利要求1所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，步骤(1)中，以每秒1～5帧的频率将该道路监控视频截成帧图像。3.如权利要求2所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，步骤(1)中，以每秒1帧的频率将该道路监控视频截成帧图像。4.如权利要求1所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，所述店面检测模型和物体检测模型对应的学习网络包括：VGG网络，用于由10个卷积层和3个最大池化层、2个全连接层组成，10个卷积层和3个最大池化层用于提取输入图像的特征，输出特征图；第一个全连接层用于将特征图连接成1*1*4096维的向量并输出，第二个全连接层用于对1*1*4096维的向量中的物体进行分类，输出物体类别及分类置信度；RPN，接收VGG网络输出的特征图，用于在VGG网络输出的特征图中，提取可能存在目标的矩形候选区域ROI；ROI池化层，连接在RPN与第一个全连接层之间，接收VGG网络输出的特征图和RPN输出的矩形候选区域ROI，用于将矩形候选区域ROI映射到特征图上后输出特征图；第三全连接层，连接于第一全连接层之后，用于对1*1*4096维的向量中ROI框选的物体进行边界确定，输出物体坐标。5.如权利要求1或4所述的基...

【专利技术属性】
技术研发人员：陈晋音，龚鑫，李玉玮，泮安涛，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33