一种耦合上下文聚合网络的轻量化雨水篦子检测方法技术

本发明专利技术公开的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，包括图像预处理

【技术实现步骤摘要】
一种耦合上下文聚合网络的轻量化雨水篦子检测方法


[0001]本专利技术涉及图像目标检测领域，具体为一种耦合注意力和上下文的轻量化小目标检测方法。

技术介绍

[0002]雨水篦子是指位于不透水层用于排水的长方形器具，能够对雨水起到过滤，对滞留雨水中的体积较大的污物，如树叶、塑料袋、纸壳、食品垃圾等起到截留作用。然而，雨水篦子在长时间使用后会出现不同程度的缺损和变形以致产生安全隐患，在连续暴雨天气中，还会增加道路雨水截留，产生雨涝隐患，因此需要定期维护和更换。在城市道路中，雨水篦子的铺设与当地降雨量，道路宽度和道路面积等因素有关。在雨水篦子后期维护中，需要定期核查原有道路和新增道路中雨水篦子的位置、数量和状态。面对大范围的城市道路，目标检测技术是快速、低成本获取雨水篦子基本信息的主要手段。
[0003]现阶段，深度学习是目标检测技术的重要方向，并出现了两阶段模型和单阶段模型。前者通过提取建议区和对其进行分类完成检测任务，其代表性方法包括R
‑
CNN系列模型，如R
‑
CNN、Fast R
‑
CNN、Faster R
‑
CNN（Girshick等，2014；Girshick等，2015；Ren等，2015）等和SPP Net模型（He等，2015）。后者不需要提取建议区，只利用单一网络即可直接快速输出目标类别和相应的位置，其代表性模型包括单发多框检测（Single Shot Multibox Detector，SSD）模型（Liu等，2016）和YOLO（You Only Look Once）系列模型 V1
‑
V5（Redmon等，2016；Redmon等，2017；Redmon等，2018；Bochkovskiy等，2020）。两阶段模型的检测精度通常较高，但实时性较差，单阶段模型则刚好相反。然而无论哪种模型在小尺寸目标物方面的检测性能都不高，都与检测大目标物的性能差距甚大。
[0004]雨水篦子就是这样的小目标，在无人机或街景车拍摄的街景图像中，雨水篦子在单幅图像中的面积占比通常非常小。以百度地图街景图像为例，雨水篦子的面积占比平均不到8
‰
，远小于VOC 2007数据集中的最小目标物水瓶（Bottle）的尺寸（平均面积占比约为5%）。因此，面对如此小尺寸的雨水篦子检测，现有的深度学习模型具有较大的局限性。另外，雨水篦子在投入使用后会出现不同程度的退变，在真实场景中还可能遭受阴影遮挡，树叶和垃圾遮盖，石缝杂草侵占，道路交通标线涂盖等现象。这些现象会减弱雨水篦子与背景物的区分特征，进一步增加其检测难度。尽管目前出现了一些先进技术，比如特征金字塔（Lin等，2017），注意力机制（Wang等，2017；Woo等，2018）和上下文信息（Lin等，2019）等可被用于耦合到模型中以提高检测精度。但使用这些技术通常会提高模型的算力复杂度，增加模型的参数量，延长模型训练和运行时间。在考虑降低计算资源，保持同等检测精度，特别是面向嵌入式设备中，轻量化的检测方法有着更高的检测效率。因此，这需要对现有技术作进一步的技术优化。

技术实现思路

[0005]专利技术目的：本专利技术的目的是为了解决现有技术中的不足，提供了一种耦合上下文
聚合网络的轻量化雨水篦子检测方法，以解决现有的雨水篦子检测方法中存在的漏检率和误检率较高，模型参数量较大，运行效率低下等技术问题。
[0006]技术方案：本专利技术所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，包括以下步骤：（1）图像预处理：根据获取的街景图像数据，利用图像标注工具在街景图像中标注雨水篦子位置，生成雨水篦子图像
‑
标签数据；利用图像处理技术，对街景图像进行增强处理；（2）参数初始化：对检测方法中涉及到的参数进行初始化；（3）生成数据集：对步骤1的图像
‑
标签数据进行图像
‑
标签筛选，确保图像数据和标签数据一一对应；根据步骤2设置的初始参数，对图像进行尺寸调整和通道归一化，将标签数据转化为格网数据；根据训练样本和测试样本经验性比值将数据集划分为训练数据和测试数据；根据训练数据生成雨水篦子空间分布先验概率图；（4）构建雨水篦子检测模型：模型框架主要包括骨架网络和上下文聚合网络两部分，骨架网络由轻量级的Conv1模块，一系列串联的Block模块和Regressor模块构成；上下文聚合网络由浅层的上下文特征图和深层的目标特征图进行通道聚合构成；利用上下文聚合网络，可以将浅层的目标物细节信息和深层的目标物语义信息相融合，从而减缓目标物信息在网络传递中的衰减，特别是小目标物信息；（5）模型训练与预测：根据步骤2设置的初始参数，使用步骤3中生成的训练数据来训练检测模型直到收敛，记录并保存最优的模型权重；训练结束后，通过加载最优的模型权重，利用步骤4中构建的检测模型进行雨水篦子预测；（6）掩膜处理：根据模型预测的结果，利用雨水篦子空间分布先验概率图对其进行掩膜处理得到掩膜后的边框结果；（7）后处理：根据步骤2设置的初始参数，对步骤6的边框进行非极大值抑制去重处理，对边框的坐标进行空间变换，将其还原为图像绝对坐标，并使用步骤3中得到的测试数据进行测试。
[0007]优选的，在步骤（1）中，获取的街景图像数据包含近2000幅高清彩色图像，其分辨率为1024*512像素；该街景图像数据中的场景主要包括道路、人行道、行道树、道路隔离带、雨水篦子和建筑物；其中雨水篦子主要分布在道路两侧和人行横道上游，在整幅图像中的面积占比非常小，平均值仅为5
‰
，图像标注工具采用开源注释工具LabelMe，标签数据保存格式为JSON或XML；图像增强方法主要涉及图像去噪，图像锐化和图像均衡化操作；图像去噪方法主要采用卷积核为3
×
3的中值滤波消除椒盐噪声；图像锐化主要使用4领域的拉普拉斯算子Laplace Operator突出地物轮廓；图像均衡化方法主要为全局直方图均衡化，以此保持图像各区域亮度一致性及提高部分区域图像清晰度。
[0008]2.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：在步骤（2）中，需要初始化的参数主要包括：分类数量CLS_NUM=1，格子尺寸S=7，每个格子预测的边框数B=2，图像尺寸IMG_SIZE=448，批次大小BATCH_SIZE=8，学习率LR=2*10
‑4，损失阈值LOSS_THR=50，置信度阈值CONF_THR=0.8，交并比阈值IOU_THR=0.5。
[0009]优选的，在上述步骤（3）中，根据设置的图像尺寸IMG_SIZE对图像数据按最近邻域法进行重采样并对标签数据进行尺寸变换；图像数据经通道归一化后可转换为值域为[
‑
1,
1]的张量；根据设置的格网数S将标签数据转化为格网数据，同时将标签边框坐标由图像绝对坐标变换为格网相对坐标；根据训练数据，统计雨水篦子在图像中出现的空间位置信息，绘制雨水篦子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：包括以下步骤：（1）图像预处理：根据获取的街景图像数据，利用图像标注工具在街景图像中标注雨水篦子位置，生成雨水篦子图像
‑
标签数据；利用图像处理技术，对街景图像进行增强处理；（2）参数初始化：对检测方法中涉及到的参数进行初始化；（3）生成数据集：对步骤1的图像
‑
标签数据进行图像
‑
标签筛选，确保图像数据和标签数据一一对应；根据步骤2设置的初始参数，对图像进行尺寸调整和通道归一化，将标签数据转化为格网数据；根据训练样本和测试样本经验性比值将数据集划分为训练数据和测试数据；根据训练数据生成雨水篦子空间分布先验概率图；（4）构建雨水篦子检测模型：模型框架主要包括骨架网络和上下文聚合网络两部分，骨架网络由轻量级的Conv1模块，一系列串联的Block模块和Regressor模块构成；上下文聚合网络由浅层的上下文特征图和深层的目标特征图进行通道聚合构成；利用上下文聚合网络，可以将浅层的目标物细节信息和深层的目标物语义信息相融合，从而减缓目标物信息在网络传递中的衰减，特别是小目标物信息；（5）模型训练与预测：根据步骤2设置的初始参数，使用步骤3中生成的训练数据来训练检测模型直到收敛，记录并保存最优的模型权重；训练结束后，通过加载最优的模型权重，利用步骤4中构建的检测模型进行雨水篦子预测；（6）掩膜处理：根据模型预测的结果，利用雨水篦子空间分布先验概率图对其进行掩膜处理得到掩膜后的边框结果；（7）后处理：根据步骤2设置的初始参数，对步骤6的边框进行非极大值抑制去重处理，对边框的坐标进行空间变换，将其还原为图像绝对坐标，并使用步骤3中得到的测试数据进行测试。2.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：在步骤（1）中，获取的街景图像数据包含近2000幅高清彩色图像，其分辨率为1024*512像素；该街景图像数据中的场景主要包括道路、人行道、行道树、道路隔离带、雨水篦子和建筑物；其中雨水篦子主要分布在道路两侧和人行横道上游，在整幅图像中的面积占比非常小，平均值仅为5
‰
，图像标注工具采用开源注释工具LabelMe，标签数据保存格式为JSON或XML；图像增强方法主要涉及图像去噪，图像锐化和图像均衡化操作；图像去噪方法主要采用卷积核为3
×
3的中值滤波消除椒盐噪声；图像锐化主要使用4领域的拉普拉斯算子Laplace Operator突出地物轮廓；图像均衡化方法主要为全局直方图均衡化，以此保持图像各区域亮度一致性及提高部分区域图像清晰度。3.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：在步骤（2）中，需要初始化的参数主要包括：分类数量CLS_NUM=1，格子尺寸S=7，每个格子预测的边框数B=2，图像尺寸IMG_SIZE=448，批次大小BATCH_SIZE=8，学习率LR=2*10
‑4，损失阈值LOSS_THR=50，置信度阈值CONF_THR=0.8，交并比阈值IOU_THR=0.5。4.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：在上述步骤（3）中，根据设置的图像尺寸IMG_SIZE对图像数据按最近邻域法进行重采样并对标签数据进行尺寸变换；图像数据经通道归一化后可转换为值域为[
‑
1,1]的张量；根据设置的格网数S将标签数据转化为格网数据，同时将标签边框坐标由图像绝对坐标变换为格网相对坐标；根据训练数据，统计雨水篦子在图像中出现的空间位置信息，绘制雨
水篦子的空间分布先验概率图。5.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：在步骤（4）中，骨架网络主要由Conv1模块、Block1模块、Block2模块、Block3模块、Block4模块和Regressor模块串联构成；上...

【专利技术属性】
技术研发人员：车明亮，曹鑫亮，杨帆，郭有志，李凯隆，
申请(专利权)人：南通大学，
类型：发明
国别省市：