一种基于视频监控的违规丢地垃圾检测方法技术

本发明专利技术公开了一种基于视频监控的违规丢地垃圾检测方法，包括以下步骤：S1、采用目标检测器检测出视频中的垃圾目标框；S2、对垃圾目标的运动轨迹进行跟踪，得到垃圾目标框的跟踪框；S3、根据垃圾目标的跟踪框在连续视频帧中的静止程度，检测出违规丢弃的垃圾；本发明专利技术解决了现有检测方法检测准确率低，以及现有检测方法无法将违规丢地的垃圾与非违规垃圾进行区分的问题。区分的问题。区分的问题。

【技术实现步骤摘要】
一种基于视频监控的违规丢地垃圾检测方法


[0001]本专利技术涉及智能视频监控
，具体涉及一种基于视频监控的违规丢地垃圾检测方法。

技术介绍

[0002]垃圾分类站点中违规丢地垃圾是指不按要求投进站点内相应的垃圾桶中而是直接丢弃在垃圾分类站点附近地面上的垃圾。此类违规丢地的垃圾普遍存在于各个社区中的垃圾分类站点，这种现象不仅与垃圾分类站点设立的目的背道而驰，而且垃圾大量堆积容易滋生病菌，对社区卫生安全埋下隐患。因此，对垃圾分类站点实施智能监控，及时对违规丢地垃圾进行抓拍并现场语音提醒是社区卫生安全的重要基础，可有效提高社区垃圾管理及处理的效率与服务质量。
[0003]目前使用最广泛的监管方式仍然是传统的人工监督方式。需要指定专门的工作人员到社区中各垃圾分类站点进行人为监督。此方法虽然实施简单，无需依靠各类设备，但垃圾分类站点数量庞大，其人力成本过高，难以覆盖所有社区。同时，工作人员难以做到24小时对垃圾分类站点进行监管，难以维持监管的及时性。人工监督方式往往过度依赖于工作人员的工作态度，主观性强，也是导致其监管效能低下的局限之一。
[0004]基于静态边缘的遗留物检测算法在垃圾检测中也有应用。其通过对视频帧建立基于边缘的背景模型以获取场景中静止前景物体的边缘掩膜，并以时间积累作为特征以检测前景物体的静态边缘，再对检测到的稳定边缘进行聚类，以获取遗留于场景中垃圾的边界框。然而，这种方法算法流程复杂，计算量庞大，在算力较低的边缘设备上难以实现实时性检测，且易受光照变化的影响，误报率高，不适用于实际应用和推广。不仅如此，该方法仅能够识别出遗留于场景中的物体，而并非直接检测出违规丢地垃圾，在实际应用于垃圾分类站点场景时，容易导致大量误检。
[0005]基于目标检测的垃圾识别系统，通过将目标检测模型，如YOLO(You Only Look Once),SSD(Single Shot Detector)部署于边缘设备对垃圾进行检测，该类方法识别率有所提升，但多应用于诸如河道，街道等干扰较少的开放场景中。而垃圾分类站点场景中，需要将违规丢地的垃圾以及非违规垃圾(如人正在投放的垃圾或者手持的垃圾)进行区分，而上述单纯的目标检测算法无法将二者区分出来，因此无法应用于垃圾分类站点场景中对违规丢地垃圾的检测。

技术实现思路

[0006]针对现有技术中的上述不足，本专利技术提供的一种基于视频监控的违规丢地垃圾检测方法解决了以下问题：
[0007]1、现有检测方法检测准确率低；
[0008]2、现有检测方法无法将违规丢地的垃圾以及非违规垃圾进行区分。
[0009]为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于视频监控的违规丢
地垃圾检测方法，包括以下步骤：
[0010]S1、采用目标检测器检测出视频中的垃圾目标框；
[0011]S2、对垃圾目标的运动轨迹进行跟踪，得到垃圾目标框的跟踪框；
[0012]S3、根据垃圾目标框的跟踪框在连续视频帧中的静止程度，检测出违规丢弃的垃圾。
[0013]进一步地，所述步骤S1中目标检测器包括：输入端、Backbone模块、Neck模块和输出端；
[0014]所述Backbone模块包括：FOCUS层、第一CBL层、CSP1_1层、第二CBL层、第一CSP1_3层、第三CBL层、第一CBAM层、第二CSP1_3层、第二CBAM层、第四CBL层、第五CBL层、SPP层、第六CBL层和第三CBAM层；
[0015]所述FOCUS层的输入端作为Backbone模块的输入端，其输出端与第一CBL层的输入端连接；所述第一CBL层的输出端与CSP1_1层的输入端连接；所述CSP1_1层的输出端与第二CBL层的输入端连接；所述第二CBL层的输出端与第一CSP1_3层的输入端连接；所述第一CSP1_3层的输出端与第三CBL层的输入端连接；所述第三CBL层的输出端与第一CBAM层的输入端连接；所述第一CBAM层的输出端与第二CSP1_3层的输入端连接，并作为Backbone模块的第一输出端；所述第二CSP1_3层的输出端与第二CBAM层的输入端连接；所述第二CBAM层的输出端与第四CBL层的输入端连接，并作为Backbone模块的第二输出端；所述第四CBL层的输出端与第五CBL层的输入端连接；所述第五CBL层的输出端与SPP层的输入端连接；所述SPP层的输出端与第六CBL层的输入端连接，所述第六CBL层的输出端与第三CBAM层的输入端连接；所述第三CBAM层的输出端作为Backbone模块的第三输出端；所述Backbone模块的第一输出端、Backbone模块的第二输出端和Backbone模块的第三输出端依次与NECK模块的三个输入端连接。
[0016]进一步地，所述Neck模块包括3个BiFPN层。
[0017]上述进一步方案的有益效果为：在垃圾分类站点场景下，违规丢地垃圾的位置往往分布不均，倾向于集中在一处，本专利技术通过引入CBAM层重新构建Backbone，对模型生成的中间特征图进了重构，将权重分布集中到特征图中垃圾聚集的位置，能更好地适应垃圾分类站点场景下对丢地垃圾的检测任务，可以显著提高准确率。同时还以加权双向特征金字塔网络BiFPN构建检测器的Neck部分，对Backbone提取到的三个不同尺度的特征进行加权多尺度特征融合，进一步加强了检测器的特征检测能力。
[0018]进一步地，所述步骤S1中目标检测器的损失函数为：
[0019][0020]其中，L1为目标检测器的损失函数，IoU为真实框与预测框的交并比，ρ2(b,b
gt
)为预测框的中心点b与真实框中心点b
gt
的平方欧式距离，c为真实框与预测框最小封闭矩形的对角线长度，ρ2(w,w
gt
)为预测框的宽度w与真实框的宽度w
gt
的平方欧式距离，ρ2(h,h
gt
)为预测框的高度h与真实框的高度h
gt
的平方欧式距离，c
w
为真实框与预测框最小封闭矩形的宽，c
h
为真实框与预测框最小封闭矩形的高。
[0021]上述进一步方案的有益效果为：该损失函数同时考虑到了三个重要的几何因素，
预测框与真实值之间的相交面积，中心点之间的距离以及纵横比。并将预测值与真实值之间的纵横比差异进行了具体的定义，避免了当预测值与真实值的长，宽值不同但因纵横比相同导致的纵横比差异也相同的极端情况，并且能够更加直接将真实值与预测值之间的宽高差进行最小化，从而使得模型的收敛速度更快，定位效果更好。
[0022]进一步地，所述步骤S2包括以下分步骤：
[0023]S21、将目标检测器首次检测到的垃圾目标框初始化为对应目标的轨迹；
[0024]S22、采用卡尔曼滤波预测目标的轨迹在下一帧中的状态，得到预测轨迹；
[0025]S23、计算目标检测器在当前帧中得到的垃圾目标框与预测轨迹的D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频监控的违规丢地垃圾检测方法，其特征在于，包括以下步骤：S1、采用目标检测器检测出视频中的垃圾目标框；S2、对垃圾目标的运动轨迹进行跟踪，得到垃圾目标框的跟踪框；S3、根据垃圾目标框的跟踪框在连续视频帧中的静止程度，检测出违规丢弃的垃圾。2.根据权利要求1所述的基于视频监控的违规丢地垃圾检测方法，其特征在于，所述步骤S1中目标检测器包括：输入端、Backbone模块、Neck模块和输出端；所述Backbone模块包括：FOCUS层、第一CBL层、CSP1_1层、第二CBL层、第一CSP1_3层、第三CBL层、第一CBAM层、第二CSP1_3层、第二CBAM层、第四CBL层、第五CBL层、SPP层、第六CBL层和第三CBAM层；所述FOCUS层的输入端作为Backbone模块的输入端，其输出端与第一CBL层的输入端连接；所述第一CBL层的输出端与CSP1_1层的输入端连接；所述CSP1_1层的输出端与第二CBL层的输入端连接；所述第二CBL层的输出端与第一CSP1_3层的输入端连接；所述第一CSP1_3层的输出端与第三CBL层的输入端连接；所述第三CBL层的输出端与第一CBAM层的输入端连接；所述第一CBAM层的输出端与第二CSP1_3层的输入端连接，并作为Backbone模块的第一输出端；所述第二CSP1_3层的输出端与第二CBAM层的输入端连接；所述第二CBAM层的输出端与第四CBL层的输入端连接，并作为Backbone模块的第二输出端；所述第四CBL层的输出端与第五CBL层的输入端连接；所述第五CBL层的输出端与SPP层的输入端连接；所述SPP层的输出端与第六CBL层的输入端连接，所述第六CBL层的输出端与第三CBAM层的输入端连接；所述第三CBAM层的输出端作为Backbone模块的第三输出端；所述Backbone模块的第一输出端、Backbone模块的第二输出端和Backbone模块的第三输出端依次与Neck模块的三个输入端连接。3.根据权利要求2所述的基于视频监控的违规丢地垃圾检测方法，其特征在于，所述Neck模块包括3个BiFPN层。4.根据权利要求1所述的基于视频监控的违规丢地垃圾检测方法，其特征在于，所述步骤S1中目标检测器的损失函数为：其中，L1为目标检测器的损失函数，IoU为真实框与预测框的交并比，ρ2(b，b
gt
)为预测框的中心点b与真实框中心点b
gt
的平方欧式距离，c为真实框与预测框最小封闭矩形的对角线长度，ρ2(w，w
gt
)为预测框的宽度w与真实框的宽度w
gt
的平方欧式距离，ρ2(h，h
gt
)为预测框的高度h与真实框的高度h
gt
的平方欧式距离，c
w
为真实框与预测框最小封闭矩形的宽，c
h
为真实框与预测框最小封闭矩形的高。5.根据权利要求1所述的基于视频监控的违规丢地垃圾检测方法，其特征在于，所述步骤S2包括以下分步骤：S21、将目标检测器首次检测到的垃圾目标框初始化为对应目标的轨迹；S22、采用卡尔曼滤波预测目标的轨迹在下一帧中的状态，得到预测轨迹；S23、计算目标检测器在当前帧中得到的垃圾目标框与预测轨迹的DIoU值；S24、根据DIoU值，构建第一代价矩阵；
S25、根据第一代价矩阵，对当前帧的垃圾目标框与上一帧中的预测轨迹进行线性匹配，删除匹配失败的预测轨迹，并为匹配失败的垃圾目标框建立待确认轨迹，将待确认轨迹作为目标的轨迹，并跳转至步骤S22中；S26、在步骤S25中连续多次匹配成功时，得到确认轨迹；S27、根据确认轨迹和当前帧的垃圾目标框的运动信息及外观信息，构建第二代价矩阵；S28、根据第二代价矩阵，对当前帧的垃圾目标框与确认轨迹进行级联匹配，在匹配失败时，将确认轨迹作为预测轨迹，并跳转至步...

【专利技术属性】
技术研发人员：许源平，詹羿，郭本俊，盖秋艳，许志杰，张朝龙，黄梓涵，曹衍龙，黄健，孔超，
申请(专利权)人：成都知行创智科技有限公司，
类型：发明
国别省市：