一种基于数据挖掘和深度学习的道路积水区域识别方法技术

本发明专利技术公开了一种基于数据挖掘和深度学习的道路积水区域识别方法。所述方法包括以下步骤：通过网络爬虫和数据挖掘技术，从互联网大数据平台获取城市道路内涝积水图像；对图像进行预处理，并对积水特征信息进行数据标签制作；采用图像处理算法和数据增强技术进行数据集扩充，生成大量的图像数据，并划分训练集和测试集；利用K

【技术实现步骤摘要】
一种基于数据挖掘和深度学习的道路积水区域识别方法


[0001]本专利技术涉及应用领域为城市内涝监测领域，尤其涉及一种基于数据挖掘和深度学习技术的道路积水区域识别方法。

技术介绍

[0002]近年来，在气候变化大背景下，城市化进程不断加快，受到城市建设和人类生活的影响，城市暴雨内涝灾害频繁发生，不仅对居民的日常生活和工作造成严重影响，而且造成严重的社会公共财产损失。为便于有关部门开展城市内涝的应急救援和灾害应急管理工作，并尽可能地减少城市暴雨内涝造成的生命安全和财产安全危害，亟需对城市内涝积水进行实时监测，提高应对城市暴雨洪涝灾害的应急管理能力，减少损失。而传统的人工或仪器监测方法不仅需要大量耗费人力物力财力，而且具有难以做到实时快速监测，仪器设备价格昂贵，易受外部环境影响，稳定性不足等问题。为此，需要寻求一种新型的内涝实时监测的技术方法。
[0003]深度学习作为一个新兴研究领域在近年备受瞩目，RCNN模型和YOLO模型的诞生，展现出了深度学习技术在计算机视觉领域的特征提取和模拟优化方面独特的优势，2017年He等(He K,Gkioxari G,Doll
á
r P,et al.Mask r
‑
cnn[C]//Proceedings of the IEEE international conference on computer vision.2017:2961
‑
2969.)提出了Mask RCNN目标检测网络模型，更是为城市内涝的监测提供了新的技术思路。对于深度学习在城市内涝监测中的应用，目前已有学者进行研究，如白岗岗等(白岗岗,侯精明,韩浩等.基于深度学习的道路积水智能监测方法[J].水资源保护,2021,37(05):75
‑
80.)探索了使用YOLOv2网络模型进行积水区域的自动识别和积水面积的提取；Jafari等(Jafari N H,Li X,Chen Q,et al.Real
‑
time water level monitoring using live cameras and computer vision techniques[J].Computers&Geosciences,2021,147:104642.)使用交通摄像头获取的城市水文图像，对基于深度学习的图像分割模型进行了训练，成功区分了暴雨积水和局部洪水的图像区域。然而，以上研究的图像来源依赖于固定的监控摄像头，存在数据来源单一、积水场景多样性差等局限，并且多个摄像头的布置也造成了图像获取难度增加、设备成本高等问题。
[0004]互联网的迅猛发展，使得网络大数据的提取和挖掘开始成为数据获取的新趋势。目前国内已有学者利用微博文本大数据开展内涝灾害相关研究，如吴先华等(吴先华,肖杨,王国复等.基于微博大数据的城市内涝灾害的灾情及公众情绪研究——以南京市为例[J].灾害学,2018,33(03):117
‑
122.)提出了一种基于微博大数据进行城市内涝灾害的灾情等级判别以及公众舆情研究的技术方法。但目前网络图像应用的相关研究仍相对较少，结合网络大数据以及深度学习技术的城市内涝监测技术研究仍是值得深入探索的方向之一。基于此提出一种基于数据挖掘和深度学习的道路积水区域识别方法，这对内涝灾情应急管理工作的有序开展，提高相关部门以及民众应对突发城市内涝灾害事件的能力，减少城市内涝造成的财产损失和人员伤亡具有重要意义。

技术实现思路

[0005]为解决传统城市内涝监测方式大量耗费人力物力财力、实时性差、稳定性不足，以及现有深度学习内涝检测技术方法图像数据来源单一、数据获取困难等问题，本专利技术的目的是提供一种基于数据挖掘和深度学习的道路积水区域识别方法，通过充分利用大数据和大众媒体平台作为数据获取渠道，采用深度学习图像识别技术解决城市内涝的实时化、快速化监测问题。
[0006]本专利技术的目的至少通过如下技术方案之一实现。
[0007]一种基于数据挖掘和深度学习的道路积水区域识别方法，包括如下步骤：
[0008]S1、通过网络爬虫和数据挖掘技术，从互联网大数据平台获取城市内涝积水图像，构建积水图像数据库，并通过筛选建立初始积水图像数据集；
[0009]S2、对初始积水图像数据集中的图像进行预处理，并对数据集中可见的积水范围进行边界描绘和标签制作；
[0010]S3、利用图像处理算法，同时对图像和标签进行数据增强，扩充数据集，并将标注后的数据集划分为训练集和测试集，转换为神经网络模型可读取的数据集格式；
[0011]S4、利用K
‑
means聚类算法，对训练集的目标边框进行聚类，自动生成一组更加适合自定义数据集的anchor框，在模型配置文件中调整anchor的尺寸和长宽比；
[0012]S5、将经过标记后的训练集和验证集输入到Mask RCNN实例分割模型进行学习，并评估训练完成后神经网络模型的积水检测性能，通过调整神经网络模型训练参数反复进行训练，直到模型训练效果达到最优即完成模型训练，得到最终模型训练权重文件；
[0013]S6、基于S5中训练好的权重文件，将测试图像或视频输入检测项目中，对图像积水特征进行提取，得到积水范围检测识别结果。
[0014]进一步地，步骤S1中，所述互联网大数据平台包括网络社交媒体和众包数据平台；
[0015]制定信息检索关键词，如选取较为宽泛的“内涝”“道路积水”“暴雨”等关键词，或选择特定的降雨场次作为检索范围，然后利用网络爬虫和数据挖掘技术，通过关键词检索从互联网大数据平台获取城市道路积水图像以及相关的位置时间信息，下载到本地数据库进行存放和整理。从图像数据库中对内涝积水图像进行筛选和提取，构成初始的城市道路积水图像数据集。
[0016]进一步地，步骤S2中，包括以下步骤：
[0017]S2.1、利用Opencv计算机视觉图像处理库，对初始积水图像进行图像操作，包括裁剪、尺寸扩大或缩放，将其调整为统一分辨率，以方便后续的图像处理和数据标签制作；
[0018]S2.2、使用Labelme数据标注软件进行积水区域特征提取，将图像导入Labelme中，选择创建多边形开始进行标注，对图像中可见的积水目标通过依次描点进行边界轮廓勾画和连线，最终首尾相连生成刚好囊括积水区域的封闭多边形，通过对生成的封闭多边形赋予分类标签信息，从而为每个图像创建对应的Labelme格式的json标签文件。
[0019]进一步地，步骤S3中，通过使用Opencv库中的图像处理算法和Augmentor语义分割数据增强方法，生成新的积水图像，实现图像数据集的数据增强，以提高数据集的多样性和泛化能力；
[0020]图像处理的方法包括颜色变换类方法和几何变换类方法，颜色变换类方法包括调整对比度、更改亮度、RGB数值修改、添加噪点、背景区域涂黑或替换；几何变换类方法包括
对图像进行放大或缩小、尺度变换、平移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据挖掘和深度学习的道路积水区域识别方法，其特征在于，包括如下步骤：S1、通过网络爬虫和数据挖掘技术，从互联网大数据平台获取城市内涝积水图像，构建积水图像数据库，并通过筛选建立初始积水图像数据集；S2、对初始积水图像数据集中的图像进行预处理，并对数据集中可见的积水范围进行边界描绘和标签制作；S3、利用图像处理算法，同时对图像和标签进行数据增强，扩充数据集，并将标注后的数据集划分为训练集和测试集，转换为神经网络模型可读取的数据集格式；S4、利用K
‑
means聚类算法，对训练集的目标边框进行聚类，自动生成一组更加适合自定义数据集的anchor框，在模型配置文件中调整anchor的尺寸和长宽比；S5、将经过标记后的训练集和验证集输入到Mask RCNN实例分割模型进行学习，并评估训练完成后神经网络模型的积水检测性能，通过调整神经网络模型训练参数反复进行训练，直到模型训练效果达到最优即完成模型训练，得到最终模型训练权重文件；S6、基于S5中训练好的权重文件，将测试图像或视频输入检测项目中，对图像积水特征进行提取，得到积水范围检测识别结果。2.根据权利要求1所述的一种基于数据挖掘和深度学习的道路积水区域识别方法，其特征在于，步骤S1中，所述互联网大数据平台包括网络社交媒体和众包数据平台；制定信息检索关键词，如选取较为宽泛的“内涝”、“道路积水”、“暴雨”等关键词，或选择特定的降雨场次作为检索范围，然后利用网络爬虫和数据挖掘技术，通过关键词检索从互联网大数据平台获取城市道路积水图像以及相关的位置时间信息，下载到本地数据库进行存放和整理；从图像数据库中对内涝积水图像进行筛选和提取，构成初始的城市道路积水图像数据集。3.根据权利要求1所述的一种基于数据挖掘和深度学习的道路积水区域识别方法，其特征在于，步骤S2中，具体包括如下内容：S2.1、利用Opencv计算机视觉图像处理库，对初始积水图像进行图像操作，包括裁剪、尺寸扩大或缩放，将其调整为统一分辨率，以方便后续的图像处理和数据标签制作；S2.2、使用Labelme数据标注软件进行积水区域特征提取，将图像导入Labelme中，选择创建多边形开始进行标注，对图像中可见的积水目标通过依次描点进行边界轮廓勾画和连线，最终首尾相连生成刚好囊括积水区域的封闭多边形，通过对生成的封闭多边形赋予分类标签信息，从而为每个图像创建对应的Labelme格式的json标签文件。4.根据权利要求1所述的一种基于数据挖掘和深度学习的道路积水区域识别方法，其特征在于，步骤S3中，通过使用Opencv库中的图像处理算法和Augmentor语义分割数据增强方法，生成新的积水图像，实现图像数据集的数据增强，以提高数据集的多样性和泛化能力；图像处理的方法包括颜色变换类方法和几何变换类方法，颜色变换类方法包括调整对比度、更改亮度、RGB数值修改、添加噪点、背景区域涂黑或替换；几何变换类方法包括对图像进行放大或缩小、尺度变换、平移图像、翻转、旋转；同时对步骤S2中生成的图像标签进行相应的变换增强处理：若仅进行颜色变换类的数据增强，而不涉及几何位置变换，则标签位置信息保持不变；若有进行几何变换类的数据增
强，则标签也需随图像变换进行对应的位置变化，具体如下：通过对标签文件中标记点的位置进行对应于图像变换方法的坐标位置变换，或对标签文件转化的掩膜图像运用数据增强方法进行相应的变换处理，从而生成对应新图像的标签，实现数据集图像数量的成倍扩充。5.根据权利要求1所述的一种基于数据挖掘和深度学习的道路积水区域识别方法，其特...

【专利技术属性】
技术研发人员：黄国如，廖宇鸿，郑嘉璇，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：