基于多尺度特征与特征增强的深度学习场景识别方法技术

本发明专利技术提供了一种基于多尺度特征与特征增强的深度学习场景识别方法，包括：对待识别的原始图片进行预处理，获得适应网络输入尺寸和通道的待识别图像；基于EfficientNet构建用于场景识别的深度学习网络，并训练所述深度学习网络，获得收敛的网络模型，其中，所述深度学习网络包括场景识别网络、多尺度特征提取模块、特征增强模块和分类层；将待识别图像输入收敛的网络模型中，获得图像的场景分类结果。本发明专利技术从多尺度特征角度出发，提取场景的多尺度特征，从而捕获丰富的上下文信息，有利于识别复杂的场景图像；提出一种特征增强模块，增强图像特征的局部细节信息，提高深度学习网络的特征表达能力，有效的提高了识别的准确率。有效的提高了识别的准确率。有效的提高了识别的准确率。

【技术实现步骤摘要】
基于多尺度特征与特征增强的深度学习场景识别方法


[0001]本专利技术属于场景识别
，是一种基于多尺度特征与特征增强的深度学习场景识别方法。

技术介绍

[0002]在计算机视觉技术所包含的技术中，场景识别技术无疑是分析和理解图像语义信息的关键技术。场景识别技术在照片和视频的自动化处理、智能监控和灾害监测方面均有应用，对我们的生活、工作具有十分重要的意义。场景识别是指对图像中的场景进行识别，预测出预先定义的场景类别标签，常见的场景类别分为：自然场景漠等、人工场景和室内场景。由于场景图像表现复杂，同时具有类内差异性大、类间相似性高的特点，目前场景识别的效果并不理想。
[0003]早期的基于手工特征的场景识别方法主要依据图像的基础属性设计特征，如尺度不特征变换(Scale
‑
Invariant FeatureTransform，SIFT)、方向梯度直方图(Histogram of Oriented Gradient，HOG)、金字塔方向梯度直方图(Pyramid Histogram of Oriented Gradient，PHOG)等，根据图像的纹理、形状、颜色等来描述图像。这些刻画图像基础属性的特征是以像素点为基础提取的，也称为底层特征，在简单的场景识别任务上是一种有效的表示，但其缺乏足够的语义信息使得在复杂场景下的表现较差。随着深度学习的发展，基于卷积神经网络的场景识别方法取得了不错的效果，通过训练过程卷积神经网络可以在数据集上自动学习特征，获取不同卷积层的特征，然后进行场景分类。r/>[0004]基于卷积神经网络的场景识别方法通过训练获取图像的整体特征，根据整体特征输出分类结果，但完全不同的场景类可能共享相似对象，产生了相似的场景表示进而影响判别，以致产生错误的识别结果，所以这种方法提取的特征不是有效的特征表示，从而识别的准确率降低。

技术实现思路

[0005]为了解决现有技术存在的问题，本专利技术提出一种基于多尺度特征与特征增强的深度学习场景识别方法，能够对场景图像进行有效的特征表示，增强网络的泛化能力，从而提高场景识别的准确率。
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]一种基于多尺度特征与特征增强的深度学习场景识别方法，该方法包括以下步骤：
[0008]步骤S1：对待识别图像进行预处理，获得适应网络输入尺寸和通道的待识别图像；
[0009]步骤S2：基于EfficientNet构建用于场景识别的深度学习网络，并训练所述深度学习网络，获得训练后收敛的网络模型，其中，所述深度学习网络包括场景识别网络、多尺度特征提取模块、特征增强模块和分类层；所述场景识别网络用于获得所述待识别图像的场景特征向量；所述多尺度特征提取模块用于提取所述待识别图像的多尺度场景特征向
量；所述特征增强模块用于增强所述多尺度场景特征向量的局部细节信息；所述分类层用于并获得场景分类结果；
[0010]步骤S3：将待识别图像输入训练后收敛的网络模型中，获得图像的场景分类结果。
[0011]所述步骤S1包括：
[0012]将待识别图像的大小设置为224*224；调整所述待识别图像的通道；
[0013]所述步骤S2包括：
[0014]所述场景识别网络为去掉最后全连接层的EfficientNet网络；
[0015]所述多尺度特征提取模块包括扩张因子分别为1、3、5的空洞卷积层，全局平均池化层和通道注意力模块，其中，
[0016]所述多尺度特征提取模块由扩张因子分别为1、3、5的空洞卷积层与所述全局平均池化层进行级联，获得级联特征，再与通道注意力模块连接，其中，所述空洞卷积层用于对所述场景特征向量进行扩张卷积，获得不同尺度下的特征信息，所述全局平均池化层用于对所述场景特征向量进行全局平均，获得一个包含全局上下文信息的特征向量，所述通道注意力模块用于关注级联特征中重要通道信息，抑制弱相关的通道信息，通过计算公式获得通道注意力权重系数Mc，将级联特征与所述权重系数相乘便可得到基于通道注意力机制的特征分布；
[0017]所述特征增强模块包括空间注意力残差模块和全局平均池化层，其中，
[0018]所述空间注意力残差模块用于增强所述场景特征向量的局部细节信息，优化网络学习过程，获得注意力权重，所述全局平均池化层用于根据所述注意力权重提取特征信息；
[0019]所述步骤S2对所述深度学习网络进行训练，包括：获取具有场景标签的大量图像，组成图像训练集；利用所述图像训练集中的图片对所述深度学习网络模型进行训练，获得训练后收敛的深度学习网络模型；
[0020]进一步地，所述多尺度特征提取模块中空洞卷积的计算公式为：
[0021][0022]其中，F为输入的特征图，K为卷积核大小，d为扩张因子，本实施例中，设置K＝1，d＝1，3，5，S为输出特征图，i、j为特征图F的元素坐标，m、n为卷积核K的元素坐标；
[0023]进一步地，所述通道注意力模块中权重系数Mc的计算公式为：
[0024][0025]其中，F为级联特征，σ(
·
)为Sigmoid激活函数；W0为多层感知器MLP中的隐藏层权重；W1为MLP中的输出层权重；F
cavg
表示全局平均池化，F
cmax
表示全局最大池化。
[0026]所述分类层包括一层带有softmax函数的全连接层，用于进行最终分类。
[0027]本专利技术的有益效果在于：本专利技术提出的方法具有较高的场景识别精度，设计的网络具有较强的特征表达能力，可以为场景识别领域的提供方法基础。
[0028]本专利技术的其他优点在于：利用改进的EfficientNet网络模型对场景图像进行多尺度特征提取，多尺度模块利用不同尺度下的特征信息，同时结合全局上下文信息，形成了有效的特征表示，增强了网络的泛化能力；特征增强模块增强了图像特征中的局部细节信息，所包含的残差结构优化了网络学习过程，显著提高了识别准确率。
附图说明
[0029]通过以下附图对非限制性实施例所作的详细描述，本专利技术的其他特征、目的以及有点将变得更加明显：
[0030]图1为本专利技术实施例提供的基于多尺度特征与特征增强的深度学习场景识别方法的流程图；
[0031]图2为本专利技术实施例提供的一种深度学习网络的结构示意图；
[0032]图3为本专利技术实施例提供的多尺度特征提取模块的结构示意图；
[0033]图4为本专利技术实施例提供的特征增强模块结构示意图；
[0034]图5为是不同的识别方法对MIT Indoor67数据集进行场景识别的准确率对比。
具体实施方式
[0035]下面结合附图与实施例对本专利技术做进一步说明。
[0036]需要注意的是，这里所运用的属于仅是为了描述具体实施方法，而非具有对本专利技术进行限制意图。如所使用的，除非在上下文中有明确指出，否则单复数可以互相代表，此外，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度特征与特征增强的深度学习场景识别方法，其特征在于，包括步骤S1：对待识别图像进行预处理，获得适应网络输入尺寸和通道的待识别图像；步骤S2：基于EfficientNet构建用于场景识别的深度学习网络，并训练所述深度学习网络，获得训练后收敛的网络模型，其中，所述深度学习网络包括场景识别网络、多尺度特征提取模块、特征增强模块和分类层；所述场景识别网络用于获得所述待识别图像的场景特征向量；所述多尺度特征提取模块用于提取所述待识别图像的多尺度场景特征向量；所述特征增强模块用于增强所述多尺度场景特征向量的局部细节信息；所述分类层用于获得场景分类结果；步骤S3：将待识别图像输入训练后收敛的网络模型中，获得图像的场景分类结果。2.根据权利要求1所述的基于多尺度特征与特征增强的深度学习场景识别方法，其特征在于，所述步骤S1包括：将待识别图像的大小设置为224*224；调整所述待识别图像的通道。3.根据权利要求1所述的基于多尺度特征与特征增强的深度学习场景识别方法，其特征在于，所述步骤S2中场景识别网络为去掉最后全连接层的EfficientNet网络。4.根据权利要求1所述的基于多尺度特征与特征增强的深度学习场景识别方法，其特征在于，所述步骤S2中多尺度特征提取模块包括：扩张因子分别为1、3、5的空洞卷积层，全局平均池化层和通道注意力模块，其中，所述多尺度特征提取模块由扩张因子分别为1、3、5的空洞卷积层与所述全局平均池化层进行级联，获得级联特征，再与通道注意力模块连接，其中，所述空洞卷积层用于对所述场景特征向量进行扩张卷积，获得不同尺度下的特征信息，所述全局平均池化层用于对所述场景特征向量进行全局平均，获得一个包含全局上下文信息的特征向量，所述通道注意力模块用于关注级联特征中重要通道信息，抑制弱相关的...

【专利技术属性】
技术研发人员：张丽丽，解志强，
申请(专利权)人：河海大学，
类型：发明
国别省市：