一种针对雨天图片的卷积神经网络降雨强度在线量化方法技术

本发明专利技术公开了一种针对雨天图片的卷积神经网络降雨强度在线量化方法，包括以下步骤：(1)通过图像处理软件合成降雨图片，得到合成数据集；(2)搭建并修改卷积神经网络的结构(CNN)，使用步骤(1)中的合成数据集对卷积神经网络进行预训练；(3)采集实际降雨图片，得到真实数据集；(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine‑tune)，得到训练好的模型；(5)将步骤(4)中训练好的模型用于实时降雨强度在线量化。本发明专利技术方法对于真实降雨图片和合成降雨图片的降雨强度的在线量化均具有较好的效果和较低的误差。

An on-line quantitative method of rainfall intensity based on convolution neural network

【技术实现步骤摘要】
一种针对雨天图片的卷积神经网络降雨强度在线量化方法
本专利技术属于市政工程雨水实时测量领域，尤其涉及一种针对雨天图片的卷积神经网络降雨强度在线量化方法。
技术介绍
目前，我国城市内涝频发，造成了巨大的经济财产损失甚至是人员伤亡。暴雨具有明显的空间不均匀性，造成城市各地区间受灾程度的差异性十分明显。准确获得各地区的实时降雨级别，对于城市内涝的监测防控以及应急响应具有基础性意义。目前的天气预报无法反应降雨的空间不均匀性，同时准确性也不够，无法达到实时调度的需求。而现有的雨强测量工具如雨量计等，虽能较为准确地测量雨强，但有着价格昂贵，难以实时传输数据，无法反映降雨的空间不均匀性等问题。卷积神经网络具有稀疏连接，权值共享等特点，可以有效降低神经网络模型的参数量；但是卷积神经网络的训练仍然需要大量的数据，而真实降雨图片以及真实的瞬时降雨强度的获取比较困难，难以大规模获取真实降雨图片。而现有的公开数据集又罕有相似的数据集。这极大地阻碍了卷积神经网络在雨天图片降雨强度在线量化上的应用。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种针对雨天图片的卷积神经网络降雨强度在线量化方法。为了实现上述目的，本专利技术采用以下技术方案：一种针对雨天图片的卷积神经网络降雨强度在线量化方法，包括以下步骤：(1)通过图像处理软件合成降雨图片，得到合成数据集；(2)搭建并修改卷积神经网络的结构(CNN)，使用步骤(1)中的合成数据集对卷积神经网络进行预训练；(3)采集实际降雨图片，得到真实数据集；(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine-tune)，得到训练好的模型；(5)将步骤(4)中训练好的模型用于实时降雨强度在线量化。进一步地，步骤(1)中，通过图像处理软件对原图分别添加不同的降雨强度，得到合成降雨图片。进一步地，步骤(1)中，选用的图像处理软件为Photoshop，对原图添加不同数目和大小的雨痕，以模拟不同降雨强度下的降雨图片。因为降雨强度仅与雨痕数目及大小这两个参数相关，故在合成降雨图片过程中，根据这两个参数的值确定合成图片的降雨强度；其他参数，比如雨痕角度，分布，对比度等参数则随机设定，以增强模型的鲁棒性。进一步地，图片处理软件参数的选定，以Photoshop为例，包括：雨痕密度，相对大小，分布，角度等参数，相对大小指的是：雨层(噪音层)相对于底图的大小，角度指的是：雨痕与水平线所夹锐角；其中，降雨强度大小只与雨滴数目以及大小有关，反映在Photoshop的参数上，即为雨痕密度与相对大小；设雨痕密度为x，相对大小为y，降雨强度为D，假设降雨强度与雨痕密度、相对大小之间的关系为：D＝kxy2其中，k为常数，这里k取为1，通过上述公式将降雨强度进行量化，得到的降雨强度数值作为合成降雨图片的降雨强度标签。该假设关系只用来对合成降雨图片的降雨强度数值进行量化；该式为假设的雨痕密度x，相对大小y与降雨强度D之间的映射关系，降雨强度D为一个数值，仅用作合成降雨图片的标签，无量纲。而在之后会使用真实数据集进行微调，降雨图片特征与降雨强度之间的映射会重构；所以该式是否能真实反映降雨强度与雨痕密度和相对大小的关系对最终的降雨强度预测结果影响不大，该式只用于模型的预训练过程，训练卷积神经网络对于降雨图片特征的提取能力。在一些优选的方式中，合成数据集包括六类合成降雨图片，六类合成降雨图片分别为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨的合成降雨图片；随机在合成数据集中抽取80％作为训练集，10％作为验证集，10％作为测试集；在一些优选的方式中，训练集中每类降雨图片的数量近似相等，验证集中每类降雨图片的数量近似相等，测试集中每类降雨图片的数量也近似相等。进一步地，步骤(2)的具体过程为：在得到合成数据集之后，利用卷积神经网络在合成数据集上预训练模型，包括卷积神经网络模型的搭建和修改，将卷积神经网络由分类模型改为回归模型，以便对降雨强度值进行量化，得到降雨强度的估计值。在一些优选的方式中，卷积神经网络对于图片的量化可以分为两个部分，特征提取和线性回归；特征提取部分通过经过多次卷积(Convolution)和降采样(Subsampling)操作，可高效地提取图片的特征，提取得到的图片特征存储在特征图(featuremap)中；线性回归则是将特征图展开为全连接(fullyconnected)网络，进而估算出降雨强度值；使用卷积神经网络在已合成的较大规模的数据集上进行预训练。进一步地，步骤(2)中，使用卷积神经网络，如ResNet50网络，该卷积神经网络层数为50，在卷积网络之后添加了线性回归层，以便输出具体的降雨强度值；将该网络在合成数据集上进行预训练，使用平均绝对百分误差(MAPE)来评价预测的准确性，如下式：式中yi为测试集中第i张照片的标签，此处的标签就是降雨强度的数值；为测试集中第i张照片的预测值，n为测试集中的合成降雨图片的个数。进一步地，步骤(3)的具体过程为：采集实际降雨图片包括建立图像采集网络，采集不同地点在不同降雨工况下的图片，同时使用雨量计记录瞬时降雨强度数据作为标签，此处的降雨强度单位为mm/h。具体地，24小时降水总量为0.1-9.9mm时，降雨强度等级为小雨；24小时降水总量为10.0-24.9mm时，降雨强度等级为中雨；24小时降水总量为25.0-49.9mm时，降雨强度等级为大雨；24小时降水总量为50.0-99.9mm时，降雨强度等级为暴雨；24小时降水总量为100.0-249.9mm时，降雨强度等级为大暴雨；24小时降水总量大于250.0mm时，降雨强度等级为特大暴雨。建立图像采集网络指的是，在不同地区分别布置雨量计，并在每个地区选用不同地点的监控摄像头用于采集真实降雨图片；将雨量计布置在无遮挡的地方即可，最好布置在楼顶。进一步地，步骤(4)的具体过程为：使用真实数据集对预训练模型进行微调包括将特征提取部分的各卷积以及池化层的参数固定，只训练线性回归部分的全连接层的参数，使用步骤(3)中采集的真实数据集进行训练。进一步地，步骤(5)的具体过程为：将步骤(4)中训练好的模型加载，并对实时采集的真实降雨图片进行实时在线量化。本专利技术的有益效果是：(1)本专利技术的降雨强度在线量化方法应用于雨天图片上，可以定量估计局部地区的降雨强度；本专利技术改变了在降雨强度信息获取方面需要依靠天气预报的方式；卷积神经网络对于图像的特征提取性能十分优异，可以提取出图片中的雨量信息并且能有效过滤背景的影响。(2)本专利技术采用图像处理软件可以快速合成大量的图片，可以将卷积神经网络训练到一个相当优异的程度；使用真实数据对卷积神经网络进行微调，能够更好地对真实雨天图片进行在线量化。未来随着真实降雨图片数据量的不断累积，可以直接在真实数据集上进行训练，对于真实降雨图片的降雨强度估计的准确度可能会有进一步的提升；训练好的模型在实际使用中运算速度会非常快速，可以直接用于实时本文档来自技高网...

【技术保护点】
1.一种针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，包括以下步骤：/n(1)通过图像处理软件合成降雨图片，得到合成数据集；/n(2)搭建并修改卷积神经网络的结构(CNN)，使用步骤(1)中的合成数据集对卷积神经网络进行预训练；/n(3)采集实际降雨图片，得到真实数据集；/n(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine-tune)，得到训练好的模型；/n(5)将步骤(4)中训练好的模型用于实时降雨强度在线量化。/n

【技术特征摘要】
1.一种针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，包括以下步骤：
(1)通过图像处理软件合成降雨图片，得到合成数据集；
(2)搭建并修改卷积神经网络的结构(CNN)，使用步骤(1)中的合成数据集对卷积神经网络进行预训练；
(3)采集实际降雨图片，得到真实数据集；
(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine-tune)，得到训练好的模型；
(5)将步骤(4)中训练好的模型用于实时降雨强度在线量化。


2.如权利要求1所述的针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，步骤(1)中，通过图像处理软件对原图分别添加不同的降雨强度，得到合成降雨图片。


3.如权利要求1所述的针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，步骤(1)中，选用合适的图像处理软件，如Photoshop，对原图添加不同数目和大小的雨痕，以模拟不同降雨强度下的降雨图片。


4.如权利要求1所述的针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，步骤(2)中，将卷积神经网络由分类模型修改...

【专利技术属性】
技术研发人员：郑飞飞，尹航，陶若凌，申永刚，张清周，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33