【技术实现步骤摘要】
本专利技术涉及城市水环境治理，特别涉及一种基于深度学习的河道抛物行为检测的方法。
技术介绍
1、随着建设“美丽中国”战略的提出，各个城市也在开展建设“美丽城市”，对于河道丛横的城市，打造可持续、弹性、高效的城市智慧水务，提升居住者的获得感，实现人水和谐也是迫在眉睫。然而，遍布在城市的河道众多，人们往河道里抛丢垃圾也是十分常见，如果能够根据提前安放在河道的监控实时抓拍到往河道抛丢垃圾的行为，并及时在平台更新，给管理者开展后续的教育和处罚提供证据，同时也对保护河道环境具有重大的意义。
2、现有技术中，有几种常用监督方法，第一种做法是派人守在监控屏幕前对监控录像进行监督，这种方式不仅费时费力，也很难做到一个不漏和多路监督。第二种做法是利用机器视觉的轨迹分析方法，即通过高斯滤波、粒子分析、形态学操作、动态跟踪等，但这种方法依赖于河道的标注信息，不同的河道监控场景兼容性很差，更换场景就需要重新标注，也无法对抛丢垃圾的人员进行定位，只适合特定的场景使用，无法做到普适性。第三种是使用物联网实施监管，通过多种传感器配合，收集漂浮物及行人红外信息数据并反馈到数据平台进行分析，该方式硬件成本高，检修困难，同时误检率也很高。
技术实现思路
1、本专利技术提供了一种基于深度学习的河道抛物行为检测的方法，能够适应不同场景，可以抓拍到往河道里抛丢垃圾的人员并及时更新到管理平台供管理员查看。
2、本专利技术提供了一种基于深度学习的河道抛物行为检测的方法，包括：
3、s1、采集
4、s2、将若干张图像分为两组，对第一组图像进行标注，包括对人和河道漂浮物的目标框标注，并按照设定比例将图像划分为训练集和测试集；对第二组图像中河道进行分割标注，并按照设定比例将图像划分为训练集和测试集；
5、s3、构建网络模型，所述网络模型结构包括yolov5s检测结构和deeplabv3+分割结构；其中，yolov5s检测结构包括输入端、backbone、neck和prediction四个部分；deeplabv3+分割结构包括encoder和decoder两个部分；
6、s4、采用步骤s2所得的数据集对步骤s3构建的两个网络分别训练，得到训练后的检测模型和分割模型；
7、s5、采用训练后的两个网络模型部署在服务器上，使用基于https协议的post请求方式连接数据平台，获取多路监控视频流的rtsp协议取流地址，通过程序进行取流解码，从而获取到所有路摄像头的待检测图像，将所有路摄像头的待检测图像全部放入内存队列，供模型预测；
8、s6、检测进程从队列取出图像，图像输入到检测结构对漂浮物和岸上的人进行预测，同时图像也输入到分割结构，最终结果同时结合检测结构和分割结构，检测到漂浮物则判断其是否在分割结果的河道里，检测到路人则判断其是否在分割结果的河道外；
9、s7、汇总结果展示在网页管理平台中，以供管理员及时查看和分析。
10、进一步地，步骤s3中，所述yolov5检测结构的输入端将图像经过mosaic增强并自适应缩放至预设大小，然后按批次输入到卷积神经网络；backbone层是特征提取网络，得到三个不同尺寸的特征图；neck层是将其中两个尺寸的特征图经过两次上采样后的特征图与另一尺寸的特征图进行特征融合，最后采用prediction层预测输出检测结果；其中，所述mosaic增强包括随机缩放、随机裁剪、随机排布的方式进行拼接。
11、进一步地，所述neck层采用fpn+pan的结构，其中fpn层自顶向下传达强语义特征，pan层自底向上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合。
12、进一步地，所述prediction层计算boundingbox损失函数以及nms非极大值抑制；采用ciou_loss作为boundingbox的损失函数：
13、
14、
15、其中，nms非极大值抑制用于后处理消除冗余框。
16、进一步地，所述deeplabv3+分割结构包括encoder和decorder两个结构，encoder用于将特征图的空间维数逐渐降低，从而让网络识别远距离的特征，decorder用于将目标细节和空间维数逐渐恢复。
17、进一步地，所述encoder包括backbone、aspp以及输出；backbone用于提取特征，输出低级特征提供细节信息，aspp在spp的基础上，采用了空洞卷积，在聚合更大尺度信息的同时保持当前分辨率的大小，输出高级特征提供语义信息。
18、进一步地，所述decorder把低级特征经过1×1卷积将维度输出步距调整为4x，同时把高级特征进行上采样4倍，让输出步距从16x变为4x，最后将两个4x进行特征融合，再经过卷积以及上采样后得到输出密集预测。
19、进一步地，所述deeplabv3+分割结构的损失函数由交叉损失和dice损失组成；交叉熵损失用于评估模型在像素级别上的预测准确度，是模型的输出与实际标签之间差异的标量化结果；dice损失用于评估模型在图像级别上的预测准确度，模型预测的输出与真值标签的相似性程度。
20、进一步地，步骤s5中，所述内存队列是生产者消费者模型，通过一个容器解决生产者和消费者的强耦合问题；取流进程作为生产者，及时往队列里添加待检测图像；当队列中存在未取出的图像时，将队列中的图像替换成新取流的图像来保证图像具有最新时效；预测进程作为消费者，轮询从队列里取出图像进行检测。
21、进一步地，步骤s6中，若检测结果包含路人这一类别，则开启一个进程一直对此路摄像头进行不间断检测，以此来观测路人是否有河道抛物行为；若发现有漂浮物增加结果，则保存此段录像，若未发现河道抛物行为则丢弃。
22、本专利技术的有益效果为：
23、和其他抛物场景不同的是，本专利技术是在河道场景的抛物行为检测，并且能直接部署于其他河道的场景，而无需重新训练，具有很好的鲁棒性。本专利技术通过从数据平台取流数据，结合了目标检测和图像分割技术，判断河道外的路人是否有往河道抛物行为，将最终结果综合判断后，可以生成有抛物行为的抓拍视频。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的河道抛物行为检测的方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的河道抛物行为检测的方法，其特征在于，步骤S3中，所述Yolov5检测结构的输入端将图像经过Mosaic增强并自适应缩放至预设大小，然后按批次输入到卷积神经网络；Backbone层是特征提取网络，得到三个不同尺寸的特征图；Neck层是将其中两个尺寸的特征图经过两次上采样后的特征图与另一尺寸的特征图进行特征融合，最后采用Prediction层预测输出检测结果；其中，所述Mosaic增强包括随机缩放、随机裁剪、随机排布的方式进行拼接。
3.根据权利要求2所述的基于深度学习的河道抛物行为检测的方法，其特征在于，所述Neck层采用FPN+PAN的结构，其中FPN层自顶向下传达强语义特征，PAN层自底向上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合。
4.根据权利要求3所述的基于深度学习的河道抛物行为检测的方法，其特征在于，所述Prediction层计算Bounding box损失函数以及NMS非极大值抑制；采用CIOU_Loss作为Boun
5.根据权利要求4所述的基于深度学习的河道抛物行为检测的方法，其特征在于，所述DeeplabV3+分割结构包括Encoder和Decorder两个结构，Encoder用于将特征图的空间维数逐渐降低，从而让网络识别远距离的特征，Decorder用于将目标细节和空间维数逐渐恢复。
6.根据权利要求5所述的基于深度学习的河道抛物行为检测的方法，其特征在于，所述Encoder包括Backbone、ASPP以及输出；Backbone用于提取特征，输出低级特征提供细节信息，ASPP在SPP的基础上，采用了空洞卷积，在聚合更大尺度信息的同时保持当前分辨率的大小，输出高级特征提供语义信息。
7.根据权利要求6所述的基于深度学习的河道抛物行为检测的方法，其特征在于，所述Decorder把低级特征经过1×1卷积将维度输出步距调整为4x，同时把高级特征进行上采样4倍，让输出步距从16x变为4x，最后将两个4x进行特征融合，再经过卷积以及上采样后得到输出密集预测。
8.根据权利要求7所述的基于深度学习的河道抛物行为检测的方法，其特征在于，所述DeeplabV3+分割结构的损失函数由交叉损失和Dice损失组成；交叉熵损失用于评估模型在像素级别上的预测准确度，是模型的输出与实际标签之间差异的标量化结果；Dice损失用于评估模型在图像级别上的预测准确度，模型预测的输出与真值标签的相似性程度。
9.根据权利要求8所述的基于深度学习的河道抛物行为检测的方法，其特征在于，步骤S5中，所述内存队列是生产者消费者模型，通过一个容器解决生产者和消费者的强耦合问题；取流进程作为生产者，及时往队列里添加待检测图像；当队列中存在未取出的图像时，将队列中的图像替换成新取流的图像来保证图像具有最新时效；预测进程作为消费者，轮询从队列里取出图像进行检测。
10.根据权利要求9所述的基于深度学习的河道抛物行为检测的方法，其特征在于，步骤S6中，若检测结果包含路人这一类别，则开启一个进程一直对此路摄像头进行不间断检测，以此来观测路人是否有河道抛物行为；若发现有漂浮物增加结果，则保存此段录像，若未发现河道抛物行为则丢弃。
...【技术特征摘要】
1.一种基于深度学习的河道抛物行为检测的方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的河道抛物行为检测的方法，其特征在于，步骤s3中，所述yolov5检测结构的输入端将图像经过mosaic增强并自适应缩放至预设大小，然后按批次输入到卷积神经网络；backbone层是特征提取网络，得到三个不同尺寸的特征图；neck层是将其中两个尺寸的特征图经过两次上采样后的特征图与另一尺寸的特征图进行特征融合，最后采用prediction层预测输出检测结果；其中，所述mosaic增强包括随机缩放、随机裁剪、随机排布的方式进行拼接。
3.根据权利要求2所述的基于深度学习的河道抛物行为检测的方法，其特征在于，所述neck层采用fpn+pan的结构，其中fpn层自顶向下传达强语义特征，pan层自底向上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合。
4.根据权利要求3所述的基于深度学习的河道抛物行为检测的方法，其特征在于，所述prediction层计算bounding box损失函数以及nms非极大值抑制；采用ciou_loss作为bounding box的损失函数：
5.根据权利要求4所述的基于深度学习的河道抛物行为检测的方法，其特征在于，所述deeplabv3+分割结构包括encoder和decorder两个结构，encoder用于将特征图的空间维数逐渐降低，从而让网络识别远距离的特征，decorder用于将目标细节和空间维数逐渐恢复。
6.根据权利要求5所述的基于深度学习的河道抛物行为检测的方法，其特征在于，所述encoder包括backbone、as...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。