一种基于CNN与多特征融合的天气图像识别方法技术

本发明专利技术公开了一种基于CNN与多特征融合的天气图像识别方法，包括以下步骤：针对输入的图片，提取六种表征不同天气现象的天气特征，并编码为特征向量；提取表征图像的高维CNN特征；将天气特征向量和CNN特征向量进行特征融合，组成整体特征向量；采用整体特征向量训练分类模型，并用训练后的分类模型对天气图像进行识别。本发明专利技术融合天气特征和CNN特征来进行训练与分类，识别准确率高。

A weather image recognition method based on CNN and multi feature fusion

The invention discloses a weather image recognition method based on CNN and multi feature fusion, which includes the following steps: for the input picture, extract six weather features representing different weather phenomena and code them as feature vectors; extract high-dimensional CNN features representing the image; fuse the weather feature vectors and CNN feature vectors to form an overall feature vector; adopt overall features The feature vector is used to train the classification model, and the trained classification model is used to recognize the weather image. The invention combines weather features and CNN features for training and classification, and has high recognition accuracy.

【技术实现步骤摘要】
一种基于CNN与多特征融合的天气图像识别方法
本专利技术涉及图像处理领域，特别是一种基于CNN与多特征融合的天气图像识别方法。
技术介绍
恶劣的天气条件经常导致船舶碰撞、森林火灾、电厂电网瘫痪、火车脱轨和飞机失事等灾难性事件发生。已经有不少的学者在探索和解决天气识别这类问题上已经做了一些工作：传统的天气识别方法依赖于特殊传感器(特殊微波传感器或卫星成像传感器)和人眼作为辅助来进行识别，然而这种方法消耗了大量人力物力，并且这种半自动化的识别精度较低。最近，卷积神经网络(CNN)在计算机视觉尤其是图像识别领域取得了重大突破，基于CNN的天气现象自动识别研究受到了广泛关注。此技术利用卷积算法提取大量图像特征，从而提高了传统图像识别的准确性。然而对于天气图像的识别，与传统的图像识别或者目标检测不同，识别天气图像更加依赖于图像中特定的天气线索，例如光照变化、对比度变化、背景多样性等。CNN能获取图像大部分基本信息然而对于能够表征天气现象的敏感线索获取能力较弱。目前还没有一种识别方法融合CNN特征和天气特征。
技术实现思路
本专利技术提供一种基于CNN特征和天气特征的多特征融合天气分类方法，融合天气特征和CNN特征来进行训练与分类，识别准确率高。为解决上述技术问题，本专利技术采用的技术方案是：一种基于CNN与多特征融合的天气图像识别方法，包括以下步骤：步骤1：针对输入的图片，提取六种表征不同天气现象的天气特征，并编码为特征向量，天气特征包括天气图像中的亮度值、图像中最大和最小像素强度之间的差值，即对比度值、天气图像中雾因子、图像锐度值、图像中的白色像素值以及图像的颜色直方图；步骤2：提取表征图像的高维CNN特征；步骤3：将天气特征向量和CNN特征向量进行特征融合，组成整体特征向量；步骤4：采用整体特征向量训练分类模型，并用训练后的分类模型对天气图像进行识别。进一步的，六种天气特征具体编码如下：1)亮度值将亮度Y′信息编码为特征向量，计算RGB三通道图像每个像素点的亮度值，然后求其均值Y′＝0.299r+0.587g+0.114b；式中：r、g、b分别代表图像每个像素点在红色red、绿色green、蓝色blue三颜色通道的像素值。2)对比度值通过下式将对比度信息编码成特征向量：c＝d-b式中：dI(x)是红、绿、蓝三个通道中的最小像素值，bI(x)是最大值；d和b分别是dI(x)和bI(x)的平均值，X代表像素数；Sx×Sy是图像大小；I表示单张图像，In表示图像I的某一个颜色通道；c是对比度值；3)雾因子通过以下公式估算不同的雾度，得到雾因子fog：式中：σ，μ，ν，λ为经验常值，在本专利技术中分别取：0.2461，5.1，2.9，1/3；c，d，b等的值分别为计算对比度中所得的值，A0为大气光亮度值；4)锐度值通过以下公式得到锐度值T：这里i表示单张图像，SX，SY为sobel滤波器参数；5)白色像素值选择像素175和更高值的像素作为白色像素，其他为黑色像素，再计算给定图像中的白色像素值，并且将其编码为特征向量；6)颜色直方图计算RGB三个通道的图像直方图的值，将它们连接起来编码得到一个特征向量。进一步的，在步骤2中，提取表征图像的高维CNN特征具体为：首先进行卷积，在卷积层中，前一层的特征图与一个能够学习的核进行卷积，得到的结果通过一个激活函数输出形成这一层的神经元，从而构成这层的特征图；卷积层计算公式如下：式中：l表示当前层，kernel表示卷积核，Mj为特征图集合，j为特征图的一个选择，i表示单张图像，f代表某一种激活函数，B代表每一层唯一的偏置系数；其次，进行池化计算，在池化层中输入特征图的数目和输出特征图的数目相同；池化层计公式如下：式中：down()代表收缩函数，b代表偏置系数，池化层中每一个输出的特征图对应一个权重系数β和一个池化层偏置系数，j为特征图的一个选择，f代表某一种激活函数。进一步的，所述全连接层计算公式：xl＝f(ul),ul＝ωlxl-1+bl式中：l代表当前层，f()代表激活函数，ω是全连接层的权重系数，b在全连接层时代表全连接层的偏置系数，ul代表当前全连接层的得分函数。进一步的，所述步骤4还包括：当卷积神经网络输出的结果与期望值不相符时，则进行反向传播过程；即求出结果与期望值的误差，再将误差一层一层的返回，计算出每一层的误差，然后进行权值更新，反复的更新权值得到最终训练模型。进一步的，在步骤4的在网络训练过程中，使用Adma(自适应学习率方法的一种)优化器依靠对梯度的一阶期望和二阶期望对学习率进行动态调整。进一步的，在步骤4的在网络训练过程中，使用了随机失活(Dropout)方法抑制过拟合，关键思想是在训练期间从神经网络中随机丢弃单位(及其连接)。进一步的，在步骤4的在网络训练过程中，模型损失函数使用的是交叉熵函数，表达式如下：其中，yi是真实值，y′i是对应的预测结果值，n为分类数，loss为损失函数值。与现有技术相比，本专利技术的有益效果是：相对于国外使用相同数据集的技术手段，本专利技术使用的算法提高了约3％的训练模型准确率。对传统图像识别而言，本专利技术利用特征融合及CNN卷积神经网络技术提取更全面的图像特征，图像识别可靠性更高。附图说明图1是CNN特征提取流程图。图2是本专利技术流程框图。图3是本专利技术流程图。图4是显示了天气示例图像。图5是对Foggy类别的评估结果。图6是对sunny类别的评估结果。图7是对snowy类别的评估结果。图8是对cloudy类别的评估结果。图9对rainy类别的评估结果。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细的说明。一、提取六种能够表征不同天气现象的天气特征，并编码为特征向量，天气特征包括天气图像中的亮度值、图像中最大和最小像素强度之间的差值，即对比度值、天气图像中雾因子、图像锐度值、图像中的白色像素值以及图像的颜色直方图。1、亮度值Y′亮度可以很好地解释天气图像，是最重要的像素属性之一。例如，晴天图像的亮度通常较高，而多云和雾霾通常较低。将亮度信息编码为特征向量：Y′＝0.299r+0.587g+0.114b，式中：r、g、b代表图像每个像素点在红色、绿色、蓝色三颜色通道的像素值；计算RGB三通道图像每个像素点的亮度值，然后求其均值，得到一个一维的特征向量。2、对比度值对比度通常可以解释为图像中最大和最小像素强度之间的差异。差异范围越大，对比度越高。对比度可以有效地识别不同类型的天气现象，在足够光线下捕获的图像(晴天图像)普遍具有高对比度，而在弱光下捕本文档来自技高网...

【技术保护点】
1.一种基于CNN与多特征融合的天气图像识别方法，其特征在于，包括以下步骤：/n步骤1：针对输入的图片，提取六种表征不同天气现象的天气特征，并编码为特征向量，天气特征包括天气图像中的亮度值、图像中最大和最小像素强度之间的差值，即对比度值、天气图像中雾因子、图像锐度值、图像中的白色像素值以及图像的颜色直方图；/n步骤2：提取表征图像的高维CNN特征；/n步骤3：将天气特征向量和CNN特征向量进行特征融合，组成整体特征向量；/n步骤4：采用整体特征向量训练分类模型，并用训练后的分类模型对天气图像进行识别。/n

【技术特征摘要】
1.一种基于CNN与多特征融合的天气图像识别方法，其特征在于，包括以下步骤：
步骤1：针对输入的图片，提取六种表征不同天气现象的天气特征，并编码为特征向量，天气特征包括天气图像中的亮度值、图像中最大和最小像素强度之间的差值，即对比度值、天气图像中雾因子、图像锐度值、图像中的白色像素值以及图像的颜色直方图；
步骤2：提取表征图像的高维CNN特征；
步骤3：将天气特征向量和CNN特征向量进行特征融合，组成整体特征向量；
步骤4：采用整体特征向量训练分类模型，并用训练后的分类模型对天气图像进行识别。


2.根据权利要求1所述的一种基于CNN与多特征融合的天气图像识别方法，其特征在于，六种天气特征具体编码如下：
1)亮度值
将亮度值Y′信息编码为特征向量，计算RGB三通道图像每个像素点的亮度值，然后求其均值Y′＝0.299r+0.587g+0.114b，式中：r、g、b分别代表图像每个像素点在红色、绿色、蓝色三颜色通道的像素值；
2)对比度值
通过下式将对比度信息编码成特征向量：






c＝d-b
式中：dI(x)是红、绿、蓝三个通道中的最小像素值，bI(x)是最大值；d和b分别是dI(x)和bI(x)的平均值，X代表像素数；Sx×Sy是图像大小；I表示单张图像，In表示图像I的某一个颜色通道；c是对比度值；
3)雾因子
通过以下公式估算不同的雾度，得到雾因子fog：






式中：c、d、b等的值分别为计算对比度中所得的值，A0为大气光亮度值；
4)锐度值
通过以下公式得到锐度值T：



式中，i表示单张图像，SX，SY为sobel滤波器参数；
5)白色像素值
选择像素175和更高值的像素作为白色像素，其他为黑色像素，再计算给定图像中的白色像素值，并且将其编码为特征向量；
6)颜色直方图
计算RGB三个通道的图像直方图的值，将它们连接起来编码得到一个特征向量。


3.根据权利要求1所述的一种基于CNN与多特征融合的天气图像识别方法，其特征...

【专利技术属性】
技术研发人员：李英祥，李志强，任堃，钟剑丹，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：四川;51