一种面向恶劣天气图像的细粒度分类方法技术

本发明专利技术公开了一种面向恶劣天气图像的细粒度分类方法，提出了一种基于通道注意力的改进残差网络。首先，使用不同方式对天气数据集进行数据增广，其次采用合适的残差网络对天气场景进行特征提取，最后采用通道注意力机制对判别性特征加以关注。采用数据增广和基于通道注意力的改进残差网络实现天气图像细粒度方法，一方面解决了现有的恶劣天气精细粒度的分类困难，另一方面，解决了不同数据集的数据不均衡性导致的分类任务复杂的问题。均衡性导致的分类任务复杂的问题。均衡性导致的分类任务复杂的问题。

【技术实现步骤摘要】
一种面向恶劣天气图像的细粒度分类方法


[0001]本专利技术属于计算机视觉
，具体涉及一种面向恶劣天气图像的细粒度分类方法。

技术介绍

[0002]天气对于人们工作和生活中的各个方方面面均发挥着至关重要的影响和作用，无论是工业生产经济活动，社会行政活动，军事行政活动及其他日常行政活动等，均可能受到这些因素的影响。了解不同的气候和天气情况就相当于掌握在未来的时间和方向。它直接影响了许多户外视觉系统的功能，包括户外视频监控、车辆辅助驾驶系统、机器人导航及无人驾驶。
[0003]基于室外场景图像的天气细粒度分类是计算机视觉中一个比较新的课题。不幸的是，有限的能见度经常发生在日常生活中(如大雨、大雾和大雪这些恶劣天气)，也已知目前对这方面的研究十分之少几乎没有针对性的研究。国内外关于细粒度图像分类多数研究集中在鸟类，汽车，飞机等具象的物体划分上，而对于细粒度的天气分类研究几乎空白。因此，需尝试对于天气问题进行细粒度划分，以满足更多的户外视觉任务或者人类日常活动。
[0004]随着深度学习方法在天气分类领域的广泛应用，深度神经网络能够有效提取恶劣天气中的特征，并进行分析替代了传统人为定义的方式。但目前现有的数据集中数据的极度不均衡造成的对于数据量少的类别学习不到更多有用的信息。同时，复杂的残差网络无法很好地完成天气分类任务。天气分类的关键就是使用完善的数据集和具有最佳参数设置的深度网络模型。

技术实现思路

[0005]本专利技术的目的是提供一种面向恶劣天气图像的细粒度分类方法，解决现有的恶劣天气精细粒度的分类困难，以及不同数据集的数据不均衡性导致的分类任务复杂的问题。
[0006]本专利技术所采用的技术方案是，一种面向恶劣天气图像的细粒度分类方法，具体包括以下步骤：
[0007]步骤1、采集图像，构建增广数据的精细粒度数据集；
[0008]步骤2、将增广数据的精细粒度数据集中数据作为训练样本；
[0009]步骤3、将训练样本输入ResNet20网络中，提取深度特征F；
[0010]步骤4、对深度特征F的原始通道信息重新规范，对通道的不同重要程度的进行标定，得到通道特征F
SE
，通道特征F
SE
的集合为特征集 F＝(F
out1
，...；F
outN
)；
[0011]步骤5、将利用特征集F＝(F
out1
，...；F
outN
)输入到全连接层中，最后经 softmax输出为标签L＝(l1，l2，...，l
N
)训练恶劣天气细分类模型，通过该模型对恶劣天气图像的细粒度进行分类。
[0012]步骤1中构建增广数据的精细粒度数据集的具体过程为：
[0013]步骤1.1、原始数据集建立：
[0014]选用5个注释者来对multi
‑
class weather dataset、Image2weather以及 WeatherDataset
‑
4三个数据集中的三类恶劣天气：雾、雨、雪进行精细粒度重标注，包含雾的精细粒度：大雾、小雾；雨的精细粒度：大雨、小雨；雪的的精细粒度：大雪、小雪，最终恶劣天气的数据集划分为 Fine
‑
grained_foggy_datasets；Fine
‑
grained_rainy_datasets；Fine
‑
grained_snowy_d atasets共三个；
[0015]步骤1.2、增广数据集：
[0016]分别取每个数据集中的两类图像数量接近或者相等，使用翻转、移位、旋转、噪声、裁剪五种方法进行数据增广，获得增广数据的精细粒度数据集。
[0017]步骤1.2具体过程为：翻转：水平翻转，垂直翻转，水平和垂直同时翻转；移位：向右移动100像素，且向下移动100像素两个方位；旋转：旋转角度设置为60，
‑
60，45，
‑
45，90，
‑
90，200，
‑
200，240，
‑
240；噪声：加入高斯噪声；裁剪：随机大小的裁剪。
[0018]步骤2具体过程为：将增广数据的精细粒度数据集中数据分别进行原始情感标注值和身体标注值，获得标注的数据作为训练样本I为训练样本，l为样本标签，N为训练样本数。
[0019]步骤3ResNet20网络是对ResNet34网络的简化，简化过程为：保留原始ResNet34的第一个卷积和池化操作只是将卷积核个数统一换为16；将4 组残差模块中第1层的3个残差块保留，第二层的4个残差块去掉一个，第三层的6个残差块去掉三个，最后一层的3个残差块不用；对应的恒等残差块和卷积残差块换成对应残差块的个数，最终命名网络为ResNet20层。
[0020]步骤4具体过程为：
[0021]步骤4.1、将能表征全局的空间方位信息压缩到通道描述符里，对于深度特征F＝[f1，f2，...f
C
]，其维度为H
×
W
×
C，通过空间维H
×
W压缩F生成统计量则z中的第c个元素计算方法如下：
[0022][0023]公式(1)中，z
c
表示F的全局统计特征；f
c
(i，j)表示(i，j)处的特征图；
[0024]步骤4.2、对C个通道降维再升维，进行瓶颈操作：在通道注意力网络的瓶颈结构中的两个全连接层后面分别插入一个非线性函数，两个非线性函数分别是ReLU和Sigmoid，来进行参数化门控机制操作，即参数为W1的降低维度层，降维比为r，一个ReLU和参数为W2的增加维度层，具体如下：
[0025]ω
c
＝σ(W2δ(W1z
c
))
ꢀꢀꢀ
(2)
[0026]公式(2)中：δ表示激活函数，ReLU函数；σ表示激活函数，Sigmoid 函数；表示两个全连接层的权重；
[0027]步骤4.3、学习到的这一些权重就相当是对原始通道信息的重新规范，加到原始通道上，也就是完成通道的不同重要程度的标定，会通过一个乘法操作完成这个目的，则各通道的特征表示如下：
[0028]F
SE
＝ω
n
·
f
c
ꢀꢀꢀ
(3)。
[0029]本专利技术的有益效果是：
[0030]本专利技术是一种面向恶劣天气图像的细粒度分类方法，提出了一种通道注意力的改进残差网络。首先，使用不同方式对天气数据集进行数据增广，其次采用合适的残差网络对天气场景进行特征提取，最后采用通道注意力机制对判别性特征加以关注。采用基于数据增广和通道注意力的改进残差网络的天气细粒度方法，一方面解决了现有的恶劣天气精细粒度的分类困难，另一方面，解决了不同数据集的数据不均衡性导致的分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向恶劣天气图像的细粒度分类方法，其特征在于，具体包括以下步骤：步骤1、采集图像，构建增广数据的精细粒度数据集；步骤2、将增广数据的精细粒度数据集中数据作为训练样本；步骤3、将训练样本输入ResNet20网络中，提取深度特征F；步骤4、对深度特征F的原始通道信息重新规范，对通道的不同重要程度的进行标定，得到通道特征F
SE
，通道特征F
SE
的集合为特征集F＝(F
out1
，...；F
outN
)；步骤5、将利用特征集F＝(F
out1
，...；F
outN
)输入到全连接层中，最后经softmax输出为标签L＝(l1，l2，...，l
N
)训练恶劣天气细分类模型，通过该模型对恶劣天气图像的细粒度进行分类。2.根据权利要求1所述一种面向恶劣天气图像的细粒度分类方法，其特征在于，步骤1中构建增广数据的精细粒度数据集的具体过程为：步骤1.1、原始数据集建立：选用5个注释者来对multi
‑
class weather dataset、Image2weather以及WeatherDataset
‑
4三个数据集中的三类恶劣天气：雾、雨、雪进行精细粒度重标注，包含雾的精细粒度：大雾、小雾；雨的精细粒度：大雨、小雨；雪的精细粒度：大雪、小雪，最终恶劣天气的数据集划分为Fine
‑
grained_foggy_datasets；Fine
‑
grained_rainy_datasets；Fine
‑
grained_snowy_datasets共三个；步骤1.2、增广数据集：分别取每个数据集中的两类图像数量接近或者相等，使用翻转、移位、旋转、噪声、裁剪五种方法进行数据增广，获得增广数据的精细粒度数据集。3.根据权利要求1所述一种面向恶劣天气图像的细粒度分类方法，其特征在于，步骤1.2具体过程为：翻转：水平翻转，垂直翻转，水平和垂直同时翻转；移位：向右移动100像素，且向下移动100像素两个方位；旋转：旋转角度设置为60，
‑
60，45，
‑
45，90，
‑
90，200，
‑
200，240，
...

【专利技术属性】
技术研发人员：孙强，李茂会，李正，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：