一种基于机器学习的晴雨检测与处理方法技术

本发明专利技术公开了一种基于机器学习的晴雨检测与处理方法，包括以下步骤：搜集N张无雨图像，同时搜集H张雨滴模板，利用图像合成的方法合成包含N张有雨图像及N张无雨图像构成的数据集，并根据类别设置标签，划分成训练图像与测试图像。将训练图像输入晴雨分类卷积神经网络，进行晴雨分类，并用测试图像进行训练效果检验；构造支持向量机晴雨图像分类器；构建宽度学习神经网络，输入训练图像到该网络，进行宽度学习训练，并使用测试图像检验训练效果；使用集成学习方法组合所述的晴雨分类卷积神经网络、SVM晴雨图像分类器和宽度学习神经网络，形成并行联合判别测试模型；使用该模型检测图像是否有雨，若无雨直接输出；若有雨则进行去雨处理。

【技术实现步骤摘要】
一种基于机器学习的晴雨检测与处理方法
本专利技术属于机器学习与图像去噪领域，涉及一种基于机器学习的晴雨检测与处理方法。
技术介绍
近年来随着人工智能与机器学习领域的迅猛发展，许多图像处理与目标识别算法相继涌出，并被大量用在自动驾驶、智能机器人的应用设计中。但是现有的图像处理算法大都是都是基于清晰图像来设计，但是在实际使用环境中物体景象会因为各种干扰而无法保证成像质量，雨是工作于室外环境中常见的不可忽略的干扰，在多雨的地方影响尤其大。图像处理已经广泛运用在生活的各个方面，如果在室外工作时无法有效排除雨点噪声干扰，将有可能导致识别错误的结果，甚至造成生命财产损失，势必影响其在室外环境的进一步运用。比如高度依赖图像识别的自动驾驶技术，错误的识别结果可能导致驾驶系统无法正确分析路况并规避危险，进而导致车毁人亡。去雨去雾应用可用于自动驾驶及航空业，能帮助我们去除不良天气的影响，提升交通行驶的安全性。同时也可用于各种摄像头，可消除雨对摄像头拍摄清晰度的影响，获得更好的拍摄效果。然而，当前大部分去雨算法，如ShuhangGu，JointConvolutionalAnalysisandSynthesisSparseRepresentationforSingleImageLayerSeparation，ICCV,2017中所提出的图层分离去雨算法、WenhanYang，JointRainDetectionandRemovalfromaSingleImagewithContextualizedDeepNetworks中的深度网络去雨算法以及HeZhang，ImageDe-rainingUsingaConditionalGenerativeAdversarialNetwork中的对抗生成神经网络去雨算法，都需要耗费较多时间进行去雨。当一张无雨图像输入去雨系统时，若对该图像进行去雨处理，则会浪费大量时间，还可能导致输出图像质量降低。
技术实现思路
本专利技术的目的是构建一个能够自动识别图像是否有雨且自动进行去雨处理的模型，作为单独的图像优化方法或者用于其他图像处理方法的预处理步骤。本专利技术所提出的晴雨分类器可以对图像完成晴雨分类，以使系统只对有雨图像进行处理，提高系统处理速度和处理效率。本专利技术至少通过如下技术方案之一实现。一种基于机器学习的晴雨检测与处理方法所述包括以下步骤：(1)搜集N张无雨图像，同时搜集H张雨滴模板，利用图像合成的方法合成包含N张有雨图像及N张无雨图像的数据集，对该数据集中的有雨图像和无雨图像设置对应标签，并分为训练图像与测试图像；(2)将训练图像与对应标签输入晴雨分类卷积神经网络(Clear-RainclassificationConvolutionalNeuralNetwork,CRCNN)，进行晴雨识别检测，并用测试图像进行训练效果检验；(3)构造基于HOG特征和LBP特征的支持向量机(SVM)晴雨图像分类器；(4)构建宽度学习神经网络，输入训练图像与其对应标签到宽度学习神经网络，进行宽度学习训练，并使用测试图像检验训练效果；(5)使用集成学习方法组合所述的CRCNN、SVM晴雨图像分类器和宽度学习神经网络，构成并行联合判别测试模型；(6)使用步骤(5)构建的并行联合判别测试模型检测图像是否有雨，若无雨直接输出；若有雨则进行去雨处理。进一步地，所述步骤(1)构建总共包含2N张图两个种类的数据集，其中包含N张无雨的图像，N张有雨的图像，并对其打上相应的标签；利用原始无雨的图像和如下光学模型公式生成有雨的图像：I(x)＝(J(x)+∑s(x))式中：x为图像像素索引，I(x)为输入图像，J(x)为无雨图像，s(x)为雨滴蒙板，利用该雨滴蒙板合成有雨的图像。进一步地，步骤(2)所述的CRCNN为6层的卷积神经网络，具体每层构成为：(3-1)、卷积层，卷积层一共有三层，第一层为n1个大小为M1×M1,步长为m1×m1的卷积核构成；第二层为n2个大小为M2×M2，步长为m2×m2的卷积核构成；第三层为n3个大小为M3×M3，步长为m3×m3的卷积核构成；(3-2)、池化层，采用平均池化的方法，池化层采用大小为M4×M4，步长为m4×m4；(3-3)、Relu层，激活函数采用是线性整流函数(Relu函数)；(3-4)、全连接层一共有两层，第一层为n4个神经元，第二层为n5个神经元；(3-5)、Softmax层，包括Softmax函数，Softmax函数的作用为将得到的结果归一化；在训练卷积神经网络时，选择训练的代数为r，学习率为lr。进一步地，所述步骤(3)构造基于HOG特征和LBP特征的支持向量机(SVM)晴雨图像分类器，包括以下步骤：(4-1)从步骤(1)构建的数据集中选取若干张训练图像作为SVM晴雨图像分类器的训练样本；(4-2)对步骤(4-1)中的训练样本进行LBP和HOG特征提取；(4-3)计算样本图像的HOG特征均值，并将HOG特征均值与LBP特征一起作为图像特征输入SVM进行训练，得到训练好的SVM晴雨分类器，SVM的目标函数为s.t.yi(ωTxi+b)≥1,i＝1,2,…,m.其中ωTx+b＝0为样本空间中划分的超平面，x为样本特征向量，ω为法向量，b为位移项，yi是xi所对应的标志项，m为特征向量x的最大维度；(4-4)使用测试图像检验SVM晴雨分类器效果。进一步地，对训练样本的图像进行LBP特征提取包括以下步骤：1)、将输入的图像从RGB格式转化为灰度图，提取出其灰度矩阵，提取灰度矩阵的局部纹理特征；2)、选择半径为R、采样点为k的LBP算子将输入图像进行分块，分别比较每个子块的中心像素点与k个采样点的灰度，若采样点的灰度大于中心点，则该采样点的位置置1，否则置0；3)、k个采样点共产生k位二进制数，转化为十进制即LBP码共2k个，再将该子块产生的LBP码除于2k进行归一化，得到该子块对应的LBP值，并用这个值来反映该子块的纹理信息；对训练样本的图像进行HOG特征提取的步骤包括：S1、将图像分成小细胞单元，每个细胞单元大小为R×R；然后采集每个细胞单元的梯度的或边缘的方向直方图；S2、对R×R大小的细胞单元每个像素点构建梯度直方图，以角度为横坐标，幅值为纵坐标，建立直方图，得到该细胞单元的HOG特征描述向量；S3、将邻近的h×h个细胞单元组成一个单元块，将单元块中的细胞单元的梯度直方图重新整合成该单元块的梯度直方图；S4、将图像所有的单元块的梯度直方图整合起来，得到输入图像的梯度直方图，即得到该输入图像的HOG特征描述向量。进一步地，所述步骤(4)构建宽度学习神经网络，具体为：采用增强节点的宽度网络，从步骤(1)构建的数据集中选取若干张训练图像作为训练样本，并将这些样本映射为特征，特征数目为N1个，每个映射层特征窗口数目为N2个，每个特征窗口内本文档来自技高网...

【技术保护点】
1.一种基于机器学习的晴雨检测与处理方法，其特征在于，所述包括以下步骤：/n(1)搜集N张无雨图像，同时搜集H张雨滴模板，利用图像合成的方法合成包含N张有雨图像及N张无雨图像的数据集，对该数据集中的有雨图像和无雨图像设置对应标签，并分为训练图像与测试图像；/n(2)将训练图像与对应标签输入晴雨分类卷积神经网络(CRCNN)，进行晴雨识别检测，并用测试图像进行训练效果检验；/n(3)构造基于HOG特征和LBP特征的支持向量机(SVM)晴雨图像分类器；/n(4)构建宽度学习神经网络，输入训练图像与其对应标签到宽度学习神经网络，进行宽度学习训练，并使用测试图像检验训练效果；/n(5)使用集成学习方法组合所述的CRCNN、SVM晴雨图像分类器和宽度学习神经网络，构成并行联合判别测试模型；/n(6)使用步骤(5)构建的并行联合判别测试模型检测图像是否有雨，若无雨直接输出；若有雨则进行去雨处理。/n

【技术特征摘要】
20200831 CN 20201089654081.一种基于机器学习的晴雨检测与处理方法，其特征在于，所述包括以下步骤：
(1)搜集N张无雨图像，同时搜集H张雨滴模板，利用图像合成的方法合成包含N张有雨图像及N张无雨图像的数据集，对该数据集中的有雨图像和无雨图像设置对应标签，并分为训练图像与测试图像；
(2)将训练图像与对应标签输入晴雨分类卷积神经网络(CRCNN)，进行晴雨识别检测，并用测试图像进行训练效果检验；
(3)构造基于HOG特征和LBP特征的支持向量机(SVM)晴雨图像分类器；
(4)构建宽度学习神经网络，输入训练图像与其对应标签到宽度学习神经网络，进行宽度学习训练，并使用测试图像检验训练效果；
(5)使用集成学习方法组合所述的CRCNN、SVM晴雨图像分类器和宽度学习神经网络，构成并行联合判别测试模型；
(6)使用步骤(5)构建的并行联合判别测试模型检测图像是否有雨，若无雨直接输出；若有雨则进行去雨处理。


2.根据权利要求书1所述的一种基于机器学习的晴雨检测与处理方法，其特征在于，所述步骤(1)构建总共包含2N张图两个种类的数据集，其中包含N张无雨的图像，N张有雨的图像，并对其打上相应的标签；利用原始无雨的图像和如下光学模型公式生成有雨的图像：
I(x)＝(J(x)+∑s(x))
式中：x为图像像素索引，I(x)为输入图像，J(x)为无雨图像，s(x)为雨滴蒙板，利用该雨滴蒙板合成有雨的图像。


3.根据权利要求书1所述的一种基于机器学习的晴雨检测与处理方法，其特征在于，步骤(2)所述的CRCNN为6层的卷积神经网络，具体每层构成为：
(3-1)、卷积层，卷积层一共有三层，第一层为n1个大小为M1×M1,步长为m1×m1的卷积核构成；第二层为n2个大小为M2×M2，步长为m2×m2的卷积核构成；第三层为n3个大小为M3×M3，步长为m3×m3的卷积核构成；
(3-2)、池化层，采用平均池化的方法，池化层采用大小为M4×M4，步长为m4×m4；
(3-3)、Relu层，激活函数采用是线性整流函数(Relu函数)；
(3-4)、全连接层一共有两层，第一层为n4个神经元，第二层为n5个神经元；
(3-5)、Softmax层，包括Softmax函数，Softmax函数的作用为将得到的结果归一化；
在训练卷积神经网络时，选择训练的代数为r，学习率lr。


4.根据权利要求书1所述的一种基于机器学习的晴雨检测与处理方法，其特征在于，所述步骤(3)构造基于HOG特征和LBP特征的支持向量机(SVM)晴雨图像分类器，包括以下步骤：
(4-1)从步骤(1)构建的数据集中选取若干张训练图像作为SVM...

【专利技术属性】
技术研发人员：张灿炜，梁凌宇，张通，何淇昌，黄张金，林子珩，许皓钧，陈帅琦，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44