一种面向城市河道监管的水面漂浮物自动检测方法及装置制造方法及图纸

本发明专利技术公开了一种面向城市河道监管的水面漂浮物自动检测方法及装置，方法包括：从水面监控视频流自动提取图像并基于自适应对比度增强图像；对图像中目标检测物尺寸进行聚类得到被检测目标的尺寸分布；构建改进的Faster R‑CNN网络模型，根据目标检测物的尺寸及卷积神经网络模型各层的感受野大小确定融合的特征层，并通过拼接方式融合跨特征层提取的特征；根据聚类结果确定RPN网络锚框大小及长宽比，生成不同尺寸目标的建议区域；通过迭代法优化网络模型参数并实现水上漂浮物的检测。本发明专利技术能够实现视频流中漂浮物的自动识别及标注，解决了检测准确率低、泛化能力差等问题，可以实现漂浮物的自动检测，从而可应用于实际工程如城市河道的自动监管等。

An automatic detection method and device for floating objects in urban river supervision

【技术实现步骤摘要】
一种面向城市河道监管的水面漂浮物自动检测方法及装置
本专利技术涉及一种面向城市河道监管的水面漂浮物自动检测方法及装置，属于人工智能、计算机视觉领域。
技术介绍
伴随着经济社会快速发展，水生态水环境问题成为群众最关注的民生议题之一。水面漂浮物的堆积不仅影响了城市的生活环境质量，也造成了水体污染及生态平衡的破坏，甚至威胁到饮用水安全。为了解决复杂的水环境问题，河长制中提出要加强水环境治理，相关部门能够对水面漂浮物情况及时报告并迅速响应，这就要求在河长制实施过程中漂浮物的检测需要智能化，不能仅仅依赖人工监管。已有的漂浮物检测方法主要包括：背景差分法和图像分割方法。前者对环境的改变较为敏感，当背景改变时，检测精度会大大降低。后者则对提取的特征较为敏感，需要对不同的检测目标提取特定的特征，这使得该方法泛化能力较差。近年来，基于深度学习的目标检测技术在多个领域得到广泛应用，如人脸识别、车辆检测、自动驾驶技术等，并取得了较好的效果。这是由于，在卷积神经网络中输入图像通过多个卷积层和池化层进行特征提取，可以替代传统的手工设计特征，且提取的特征拥有高级的语义表达能力、特征表达能力强、鲁棒性更好，大大提高了目标检测的精度。此外，基于深度学习的目标检测技术能够实现漂浮物地实时检测，真正实现智能化监管。
技术实现思路
专利技术目的：针对现有技术的不足，本专利技术的目的是提供一种面向城市河道监管的水面漂浮物自动检测方法及装置，以克服传统漂浮物检测方法存在的泛化能力差、检测精确度低等问题；并基于漂浮物的尺寸分布对网络模型进行改进，对网络跨特征层提取的特征进行融合，自动生成不同尺寸目标的建议区域，进一步提高漂浮物检测的精度。技术方案：为实现上述专利技术目的，本专利技术所述的一种面向城市河道监管的水面漂浮物自动检测方法，包括如下步骤：(1)从水面监控视频流中获取图像并基于自适应对比度进行图像的增强；(2)对图像中的漂浮物进行标注构建网络模型训练所需的样本集，并对图像中目标检测物尺寸进行聚类得到被检测目标的尺寸分布；(3)构建面向城市河道水面漂浮物检测的FasterR-CNN漂浮物检测模型，根据目标检测物尺寸的聚类结果中尺寸最小的两类的聚类中心及卷积神经网络模型各层的感受野大小确定与网络最后一个特征提取层融合的两个特征层，通过拼接方式融合跨特征层提取的特征；并利用聚类结果确定区域建议网络锚框大小及长宽比，自动生成不同尺寸目标的建议区域；(4)通过预训练得到的网络权重值，对改进的FasterR-CNN漂浮物检测模型参数初始化，基于步骤(2)得到的样本集通过迭代法优化调整模型参数，最终利用优化后的网络参数实现城市河道水面漂浮物的实时在线自动检测。进一步地，所述步骤(1)包括：(11)在摄像机中设置图像提取时间间隔对视频流进行视频帧截取，设置每隔时间自动提取一副图像，以获取不同时间的视频流中的图像信息；其中a为摄像机视野范围宽度，v为监控区域水流速度；(12)对步骤(11)所获取的图像集利用自适应对比度增强，使漂浮物在光照复杂的情况下更突出；具体算法如下：图像中每个像素点表示为x(i,j)，以x(i,j)为中心，在窗口大小为(2+1)*(2+1)的区域内，分别计算局部均值和方差：则像素点x(i,j)对应的自适应增强后的像素值为：其中，D为常数，σx(i,j)为局部均方差。进一步地，所述步骤(2)中通过k-means聚类分析被检测目标的尺寸分布，得到漂浮物尺寸分类结果；每类的聚类中心为(x,y)，x和y分别表示目标的长和宽。进一步地，所述步骤(3)中构建的FasterR-CNN漂浮物检测模型的网络结构包括特征提取模块、区域建议网络RPN模块及目标检测与回归模块；具体构建步骤包括：(31)计算网络中特征提取模块各层感受野的大小，感受野计算公式为：其中，RFi为第i层的感受野，RFi-1为第i-1层的感受野，stridep为第p层的步长，Ksizei为第i层卷积核的大小；(32)根据感受野与目标尺寸匹配的原则确定融合的特征层，在步骤(2)确定的漂浮物尺寸的聚类结果中，选择尺寸最小两类的聚类中心，根据其与计算所得的网络各层感受野尺寸接近的原则，确定与特征提取模块最后一层进行融合的卷积层第a层和第b层，其中a<b；(33)保持中间层b层的特征图大小不变，对a层特征进行下采样，同时利用双线性插值法对最后一层特征进行上采样，使他们与b层特征图大小相同；分别对三层的特征进行批归一化操作，并采用Relu激活函数进行非线性变换；采用拼接的方式进行特征融合，即特征的通道数增加，并通过1×1的卷积操作进行特征降维，得到最终融合后的新特征；(34)根据步骤(2)聚类分析结果，确定RPN网络模块在每个像素点生成的锚框大小分为k类，锚框的长宽比分为k类，从而能提升不同尺寸漂浮物的检测效果；k为聚类个数；(35)将步骤(33)提取的特征与步骤(34)RPN网络生成的建议区域进行匹配，经过ROI池化层和全连接层得到最终区域内的漂浮物分类得分及回归后的漂浮物目标定位。进一步地，所述步骤(4)包括：(41)利用ImageNet数据集进行预训练得到一组网络权重值，作为改进的FasterR-CNN的漂浮物检测模型网络权重的初始化参数；基于初始化参数及改进的FasterR-CNN的漂浮物检测模型采用迭代法优化网络模型的权重参数；(42)利用优化后的网络模型和IOU值实现检测及目标框标注，根据经验设定IOU的阈值，并根据网络模型输出结果对检测目标进行矩形框标注；IOU为真实框与预测框的交并比，即：其中，GT表示真实框，DR表示预测框。基于相同的专利技术构思，本专利技术所述的一种面向城市河道监管的水面漂浮物自动检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的面向城市河道监管的水面漂浮物自动检测方法。有益效果：本专利技术提供的一种面向城市河道监管的水面漂浮物自动检测方法，一方面，相对于传统的漂浮物检测方法，该方法具有较强的泛化能力和鲁棒性，对于光照、遮挡、尺度、背景干扰等具有较强的抗干扰能力，在复杂的自然场景下同样具有较高的检测精度；另一方面，改进的FasterR-CNN网络模型提高了不同尺度漂浮物的检测精度，进一步提高了模型检测效果。同时也可以实现漂浮物的自动检测，从而促进城市河道的自动监管，对河长制有很好的支撑作用。附图说明为了使本专利技术的内容更容易被理解，结合附图对本专利技术作进一步详细的说明，其中：图1为本专利技术的漂浮物检测过程示意图；图2为本专利技术的改进的FasterR-CNN网络结构图；图3为本专利技术的跨层提取的特征融合过程图。具体实施方式下面结合具体实施例和附图，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术本文档来自技高网...

【技术保护点】
1.一种面向城市河道监管的水面漂浮物自动检测方法，其特征在于，包括如下步骤：/n(1)从水面监控视频流中获取图像并基于自适应对比度进行图像的增强；/n(2)对图像中的漂浮物进行标注构建网络模型训练所需的样本集，并对图像中目标检测物尺寸进行聚类得到被检测目标的尺寸分布；/n(3)构建面向城市河道水面漂浮物检测的Faster R-CNN漂浮物检测模型，根据目标检测物尺寸的聚类结果中尺寸最小的两类的聚类中心及卷积神经网络模型各层的感受野大小确定与网络最后一个特征提取层融合的两个特征层，通过拼接方式融合跨特征层提取的特征；并利用聚类结果确定区域建议网络锚框大小及长宽比，自动生成不同尺寸目标的建议区域；/n(4)通过预训练得到的网络权重值，对改进的Faster R-CNN漂浮物检测模型参数初始化，基于步骤(2)得到的样本集通过迭代法优化调整模型参数，最终利用优化后的网络参数实现城市河道水面漂浮物的实时在线自动检测。/n

【技术特征摘要】
1.一种面向城市河道监管的水面漂浮物自动检测方法，其特征在于，包括如下步骤：
(1)从水面监控视频流中获取图像并基于自适应对比度进行图像的增强；
(2)对图像中的漂浮物进行标注构建网络模型训练所需的样本集，并对图像中目标检测物尺寸进行聚类得到被检测目标的尺寸分布；
(3)构建面向城市河道水面漂浮物检测的FasterR-CNN漂浮物检测模型，根据目标检测物尺寸的聚类结果中尺寸最小的两类的聚类中心及卷积神经网络模型各层的感受野大小确定与网络最后一个特征提取层融合的两个特征层，通过拼接方式融合跨特征层提取的特征；并利用聚类结果确定区域建议网络锚框大小及长宽比，自动生成不同尺寸目标的建议区域；
(4)通过预训练得到的网络权重值，对改进的FasterR-CNN漂浮物检测模型参数初始化，基于步骤(2)得到的样本集通过迭代法优化调整模型参数，最终利用优化后的网络参数实现城市河道水面漂浮物的实时在线自动检测。


2.根据权利要求1所述的一种面向城市河道监管的水面漂浮物自动检测方法，其特征在于，所述步骤(1)包括：
(11)在摄像机中设置图像提取时间间隔对视频流进行视频帧截取，设置每隔时间自动提取一副图像，以获取不同时间的视频流中的图像信息；其中a为摄像机视野范围宽度，v为监控区域水流速度；
(12)对步骤(11)所获取的图像集利用自适应对比度增强，使漂浮物在光照复杂的情况下更突出；具体算法如下：
图像中每个像素点表示为x(i，j)，以x(i，j)为中心，在窗口大小为(2n+1)*(2n+1)的区域内，分别计算局部均值和方差：






则像素点x(i，j)对应的自适应增强后的像素值为：



其中，D为常数，σx(i，j)为局部均方差。


3.根据权利要求1所述的一种面向城市河道监管的水面漂浮物自动检测方法，其特征在于，所述步骤(2)中通过k-means聚类分析被检测目标的尺寸分布，得到漂浮物尺寸分类结果；每类的聚类中心为(x，y)，x和y分别表示目标的长和宽。


4.根据权利要求1所述的一种面向城市河道监管的水面漂浮物自动检测方法，其特征在于，所述步骤(3)中构建的FasterR-CNN漂浮物检测模型的网络结构包括特征提取模块、区域建议网络RPN模块及目标检...

【专利技术属性】
技术研发人员：张丽丽，张毅，王慧斌，陈哲，沈洁，张振，高红民，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32