一种城市街景广告图像分割方法技术

本发明专利技术属于图像分割技术领域，公开了一种城市街景广告图像分割方法，具体包括：城市街景广告图像数据集收集；图像预处理；模型构建；模型训练；分割性能评估。本发明专利技术利用城市街景广告图像的全局上下文信息进行建模，实现更精准的城市街景广告图像分割；解决广告图像分割计算复杂度高、开销大问题，引入CSWin Transformer方法构建编码器进行特征提取，在对全局信息建模的同时降低计算开销；本发明专利技术提出了特征融合模块，能够更好的融合来自编码器的细节特征和解码器的语义信息；在跳跃连接处，提出了ASPP多尺度融合模块，有利于提取深层语义信息；提出了增强分割头模块，有利于提升分割精度。升分割精度。升分割精度。

【技术实现步骤摘要】
一种城市街景广告图像分割方法


[0001]本专利技术属于图像分割
，尤其涉及一种城市街景广告图像分割方法。

技术介绍

[0002]城市街景图像作为旅游广告的重要背景元素，在广告中扮演者重要的角色，不仅可以作为广告的地理标识符，让广告更加具体、形象化，还可以为广告添加更多地理情感，提升广告的文化价值。对城市街景图像进行分割，即对城市街景图像进行像素级别的类别标注，在广告学领域中有重要的应用价值。通过图像分割技术可以分离广告中的不同元素，以便在后期制作中进行编辑和合成，使广告制作和投放更加精准和高效。
[0003]近年来，随着无人机技术和现代卫星遥感技术的发展，城市街景图像在分辨率、观测尺度、成像方式都取得了进一步的发展，呈现出背景复杂、分辨率较高、空间细节和纹理信息更丰富的特点，使对其精准分割的可能性有所提高。然而，由于城市街景中地物尺度变化大、高类间相似性和地物相互遮挡的特性，对城市街景广告图像进行图像分割的难度较大。
[0004]目前，随着芯片、图形处理单元等硬件的发展，深度学习在图像分割等图像处理等领域取得了显著的成就。其中，卷积神经网络（CNN）捕获细节定位信息能力较强，可以用于层级结构的图像特征表示，已经成为城市街景图像分割的主流技术。但是由于卷积操作感受野受到限制，难以对图像全局上下文信息建模，不能构建长程语义依赖关系，对于背景复杂、地物语义模糊、高分辨率的城市街景广告图像，分割效果并不理想。Transformer以及Swin Transformer由于其具有强大的全局建模能力，对图像的全局信息进行提取建模，为计算机视觉领域的研究打开了新的研究思路。虽然Transformer以及Swin Transformer模型可以有效的对全局信息建模，但是模型计算复杂度较高，严重影响了其在高分辨率的城市街景图像上应用的可能性。
[0005]基于以上分析，本专利技术专利提出了一种城市街景广告图像分割方法，可以在对城市街景广告图像进行全局信息建模的同时，将计算复杂度控制在任务可承受的限度内。该模型采用U型网络结构，使用计算复杂度低、全局建模能力强的CSWin Transformer构建编码器用于特征提取，以CNN为主体构建解码器用于特征图恢复，同时在编码器和解码器之间添加跳跃连接。特别地，为了更好的融合来自编码器的局部语义特征和来自深层网络的全局语义特征，在CNN解码器的每个阶段中设计了特征融合模块；并且在跳跃连接部分设计了空洞空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）多尺度特征融合模块，以便于全局语义理解；最后，提出了一个增强的分割头，以轻量注意力机制实现高效分割。
[0006]现有技术存在以下缺点：1)目前现有CNN架构网络模型，以经典网络Unet为例。因为Unet模型中全部采用CNN卷积操作，导致卷积操作感受野受到限制，难以对城市街景广告图像全局上下文信息建模，不能构建长程语义依赖关系。2)目前现有技术SwinUnet缺点。此技术基于Unet模型进行改进，在编码器阶段引入Swin Tranformer对全局图像进行建模，获取全局图像上下文信
息。解码阶段同样使用Swin Tranformer构建，进行特征图上采样还原。缺点如下：A.Swin Tranformer的计算复杂度非常高，整个网络都采用Swin Tranformer构建，模型庞大、训练困难。B.Swin Transformer对于全局信息建模能力强，可以提取深层语义信息，但对于局部信息提取效果不如CNN网络。同时，在解码器阶段使用Swin Transformer构建，进行上采样还原，效果也不如CNN更高效。C.因为SwinUnet应用于医疗图像领域，模型没有针对城市街景广告图像的应用场景进行设计，无法解决城市街景中存在的地物尺度差异大、高度相似、相互遮挡的问题，因此应用于城市街景广告图像的效果不佳。

技术实现思路

[0007]针对现有技术存在的问题，本专利技术提供了一种城市街景广告图像分割方法。
[0008]本专利技术是这样实现的，一种城市街景广告图像分割方法，所述一种城市街景广告图像分割方法具体包括：S1：城市街景广告图像数据集收集；S2：图像预处理；S3：基于CSWin Transformer的图像模型构建；S4：模型训练；S5：城市街景广告图像分割性能评估。
[0009]进一步，所述S1具体包括：选取ISPRS提供的德国Vaihingen地区和Potsdam地区航空遥感高分辨率图像数据集；数据集中图像具有人工标注的地物类别标签图，共有五个前景类和一个背景类，其中五个前景类分别是不透明水面、建筑物、低矮植被、树木、汽车；所述Vaihingen是一个小而分散的村庄，数据集包含33张不同大小的城市街景图像，图像平均尺寸是2494
×
2064像素，选取编号ID为2、4、6、8、10、12、14、16、20、22、24、27、29、31、33、35、38为测试集，其余16张图像为训练集；所述Potsdam是一个典型的历史城市，有着庞大的建筑群、狭窄的街道和密集建筑结构，数据集中包含38张大小相同的城市街景图像，数据集图像尺寸是6000
×
6000像素，选取编号为2_13、2_14、3_13、3_14、4_13、4_14、4_15、5_13、5_14、5_15、6_13、6_14、6_15、7_13为测试集，其余24张为训练集。
[0010]进一步，所述S2具体包括：S201：图像裁剪：由于每张图像的尺寸不一致，为了方便后续网络的训练，首先对城市街景图片进行裁剪，对训练集数据影像采用256
×
256大小的窗口进行裁剪；S202：数据增强：为了提高模型的鲁棒性和泛化能力，对于训练数据集中的所有图片进行随机缩放、随机垂直翻转、随机水平翻转数据增强技术。
[0011]进一步，所述S3具体包括：一种城市街景广告图像分割方法，整体采用简单、有效的U型网络结构，主要包括编码器、解码器、跳跃连接、分割头这四个部分；所述CSWin Transformer的图像模型包括CSWin Transformer模块、特征融合模块、ASPP多尺度特征融合模块和增强分割头模块。
[0012]进一步，所述一种城市街景广告图像分割方法整体架构具体如下：对于给定的城市街景图像，首先经过阶段1中由7
×
7大小、步长为4卷
积组成的序列映射层，得到大小的图片分块序列,通道数为C，随后经过CSWinTransformer模块学习全局信息；为了获得多尺度、层级性的特征表示，编码器中划分为四个阶段，每个阶段包括一个由3
×
3大小、步长为2的卷积组成的下采样模块和由CSWinTransformer块组成的CSWinTransformer模块。
[0013]每个阶段的CSWinTransformer块数量为，下采样模块用于减少图片序列数量，并将通道数目翻倍。因此，对于第i个阶段，由对应数目的序列组成的特征图大小本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种城市街景广告图像分割方法，其特征在于，该方法具体包括：S1：城市街景广告图像数据集收集；S2：图像预处理；S3：基于CSWin Transformer的图像模型构建；S4：模型训练；S5：城市街景广告图像分割性能评估。2.如权利要求1所述一种城市街景广告图像分割方法，其特征在于，所述S1具体包括：选取ISPRS提供的德国Vaihingen地区和Potsdam地区航空遥感高分辨率图像数据集；数据集中图像具有人工标注的地物类别标签图，共有五个前景类和一个背景类，其中五个前景类分别是不透明水面、建筑物、低矮植被、树木、汽车；所述Vaihingen是一个小而分散的村庄，数据集包含33张不同大小的城市街景图像，图像平均尺寸是2494
×
2064像素，选取编号ID为2、4、6、8、10、12、14、16、20、22、24、27、29、31、33、35、38为测试集，其余16张图像为训练集；所述Potsdam是一个典型的历史城市，有着庞大的建筑群、狭窄的街道和密集建筑结构，数据集中包含38张大小相同的城市场景图像，数据集图像尺寸是6000
×
6000像素，选取编号为2_13、2_14、3_13、3_14、4_13、4_14、4_15、5_13, 5_14、5_15, 6_13、6_14、6_15、7_13为测试集，其余24张为训练集。3.如权利要求1所述一种城市街景广告图像分割方法，其特征在于，所述S2具体包括：S201：图像裁剪：由于每张图像的尺寸不一致，为了方便后续网络的训练，首先对城市街景图片进行裁剪，对训练集数据影像采用256
×
256大小的窗口进行裁剪；S202：数据增强：为了提高模型的鲁棒性和泛化能力，对于训练数据集中的所有图片进行随机缩放、随机垂直翻转、随机水平翻转数据增强技术。4.如权利要求1所述一种城市街景广告图像分割方法，其特征在于，所述S3具体包括：基于CSWin Transformer的城市街景广告图像分割方法，整体采用简单、有效的U型网络结构，主要包括编码器、解码器、跳跃连接、分割头这几个部分；所述CSWin Transformer的图像模型包括CSWin Transformer模块、特征融合模块、ASPP多尺度特征融合模块和增强分割头模块。5.如权利要求3所述一种城市街景广告图像分割方法，其特征在于，所述基于CSWin Transformer的城市街景广告图像分割方法整体架构具体如下：对于给定的城市街景图像，首先经过阶段1中由7
×
7大小、步长为4卷积组成的序列映射层，得到大小的图片块序列,通道数为C，随后经过CSWin Transformer模块学习全局信息；为了获得多尺度、层级性的特征表示，编码器中划分为四个阶段，每个阶段包括一个由3
×
3大小、步长为2的卷积组成的下采样模块和由CSWin Transformer block组成的CSWin Transformer模块，每个阶段的CSWin Transformer block数量为，下采样模块用于减少token数量，并将通道数目翻倍；经过四个阶段的编码器阶段，得到大小的特征图，随后将特征度送入解码器阶段；解码器于编码器呈对称结构，同样包含四个阶段，每个阶段包括一个CNN上采样模块
和特征融合模块；所述CNN上采样模块由大小反卷积组成，用于将特征图大小翻倍、通道数减半；所述特征融合模块采用设计了轻量级的注意力机制，以自适应权重的方式融合来自于编码器的低维细节特征和高维语义特征；在编码器和解码器对应四个阶段，遵循经典Unet网络设计，添加4次跳跃连接，用于辅助位置等细节信息的恢复；由于阶段3和阶段4中特征具有较大的感受野，包含丰富的深层语义特征，若能对深层语义信息进行多尺度理解，有助于模型更好的理解多尺度物体信息；在阶段3和阶段4的跳跃连接中，基于注意力机制，设计一个ASPP多尺度特征融合模块；最后，将解码器四个阶段的输出上采样到统一大小，全部作为输入，送入增强的分割头中，经过大小卷积和ReLU激活函数输出与原输入图像分辨率大小相同的分割图。6.如权利要求3所述一种城市街景广告图像分割方法，其特征在于，所述CSWinTransformer模块具体如下：将CSWinTransformer作为城市街景广告图像分割网络的编码器主干网络，此网络具有十字形窗口的自注意力机制，不仅可以有效的对全局上下文信息进行建模，还可以有效的降低计算开销，它通过水平和垂直两个方向的条带状窗口分块形成一个十字形窗口；对于水平方向来说，输入的被划分为不重叠且具有相同宽度的水平条带，即，其中每个条带包括个序列，特别的，每个阶段中sw宽度可以根据计算复杂度和模型情况进行调整，并非固定大小；假设Transformer中查询Q、键值K和值V的维度都是，多头注意力头数为，水平方向的注意力结果定义...

【专利技术属性】
技术研发人员：王浚丞，张婕，
申请(专利权)人：青岛理工大学，
类型：发明
国别省市：