融合语义流场的编解码网络港口影像分割方法技术

本发明专利技术涉及融合语义流场的编解码网络港口影像分割方法，属于图像分割技术领域，该方法包括将待分割图像输入至训练好的融合语义流场的编解码网络，将港口影像分割为海、陆以及舰船三种类别；编解码网络包括依次连接的编码层、空洞卷积层和解码层，编码层包括N层依次连接的卷积模块，解码层包括N层依次连接的反卷积模块，各反卷积模块中均设置有流对齐模块，各流对齐模块的输入与编码层中相应层级的卷积模块进行跳跃相连。本发明专利技术利用流对齐模块，通过预测特征图间的语义流场，监督上采样过程，以提高特征信息传递的有效性，并利用空洞卷积层获取影像的多尺度信息，使其更加适合港口影像分割任务，从而得到平滑、完整的分割结果，分割精度较高。分割精度较高。分割精度较高。

【技术实现步骤摘要】
融合语义流场的编解码网络港口影像分割方法


[0001]本专利技术属于图像分割
，具体涉及融合语义流场的编解码网络港口影像分割方法。

技术介绍

[0002]随着遥感技术的快速发展，利用遥感影像进行海陆分割和海洋近岸目标检测逐渐成为当前研究的热点，在海岸线提取、海域交通管制、军事监测等方面具有重要的应用。然而，遥感影像港口区域的影像特征复杂，存在海浪、云层、阴影等诸多干扰因素，存在码头与舰船边界模糊不清的情况，导致港口影像分割中容易产生像素分类错误和边界模糊定位等问题，因此，准确的海陆分割和鲁棒的舰船检测具有挑战性。
[0003]传统海陆影像分割方法主要包括阈值分割法、区域生长法、活动轮廓模型法、基于马尔科夫随机场法等，这些利用影像的单一特征进行提取的方法，虽然在简单场景下可获得较高的分割精度，但易受到噪声干扰，出现海陆边界分割不准确或者错误分类的情况；另外遥感影像中舰船等海洋近岸目标类型多样、尺寸不一，导致传统检测方法鲁棒性较差，且在复杂场景中难以得到准确的检测结果。
[0004]近年来，已有学者将深度学习中的语义分割技术应用于港口影像海陆分割中，例如采用 SegNet、U
‑
Net、Deeplabv3+、DenseASPP等语义分割网络，这些网络一般均包括编码结构、解码结构，其中解码结构通过上采样操作恢复特征图分辨率，双线性插值、转置卷积等没有考虑特征图像素间的关系，特征在编码过程中经残差网络多次池化后造成的特征信息丢失，加大了高低层特征图间的语义差异，造成特征融合时产生大量无效信息的传递，同时使得计算时间和所需的硬件资源大幅增加，影响分割精度。

技术实现思路

[0005]本专利技术的目的是提供融合语义流场的编解码网络港口影像分割方法，用于解决现有技术中港口影像分割精度低的问题。
[0006]基于上述目的，一种融合语义流场的编解码网络港口影像分割方法的技术方案如下：
[0007]将待分割图像输入至加载最优训练权重的融合语义流场的编解码网络，将港口影像分割为海、陆以及舰船三种类别；
[0008]所述融合语义流场的编解码网络的最优训练权重是通过训练样本及样本标签进行训练得到的，并且，所述融合语义流场的编解码网络包括依次连接的编码层、空洞卷积层和解码层，其中，编码层包括N层依次连接的卷积模块，N>2；解码层包括N层依次连接的反卷积模块，每个反卷积模块中均设置有一个流对齐模块，各流对齐模块的输入与编码层中相应层级的卷积模块进行跳跃相连。
[0009]上述技术方案的有益效果是：
[0010]本专利技术将港口影像中海、陆及舰船置于同一语义分割框架内，提出了融合语义流
场的编码
‑
解码网络(SFD
‑
LinkNet)，该网络利用流对齐模块，通过预测特征图间的语义流场，监督上采样过程，以提高特征信息传递的有效性，并利用空洞卷积层获取影像的多尺度信息，使其更加适合港口影像分割任务，从而得到平滑、完整的分割结果，分割精度较高。
[0011]进一步的，为了保证编码效果，所述的编码层采用ResNet34网络，包括一层卷积核为 7
×
7的卷积操作，以及由残差模块分别叠加3、4、6、3次组成的Conv1、Conv2、Conv3、 Conv4模块。
[0012]进一步的，为提高高层语义信息的传递有效性，所述的解码层包括四个依次连接的反卷积模块Deconv1、Deconv2、Deconv3、Deconv4，每个反卷积模块包含两个大小为3
×
3的卷积核、Relu激活函数以及上采样过程，每次上采样过程中均加入一个流对齐模块；
[0013]第一个FAM模块的两个输入分别为空洞卷积层输出的特征图、编码层的Conv4模块，第一个FAM模块的输出作为第二个FAM模块的输入；同理，第二个FAM模块的两个输入分别为第一个FAM模块输出的特征图、编码层的Conv3模块，第二个FAM模块的输出作为第三个FAM模块的输入；以此类推，直到第四个FAM模块的输出，经过4
×
4的转置卷积层，输出图像分割结果。
[0014]进一步的，为提高图像分割效果，在训练编解码网络之前，得到训练样本及样本标签的过程包括：
[0015]获取原始影像及样本标签，对原始影像及其样本标签以设定像素值进行裁剪，得到若干张切片，并采用数据增强方式对各切片进行处理，扩充训练数据，得到最终参与网络训练的训练样本及样本标签。
[0016]具体的，所述的数据增强方式包括：随机旋转、水平翻转和垂直翻转。
[0017]进一步的，为维持特征图分辨率的同时扩大感受野，所述的空洞卷积层包括：空洞率设置分别为1、2、4的三个卷积模块，将三个卷积模块串行连接，并通过跳跃连接将各卷积层并联，从而向解码层输出特征图。
附图说明
[0018]图1是本专利技术实施例中的编解码网络港口影像分割方法流程图；
[0019]图2是本专利技术实施例中的融合语义流场的编解码网络结构图；
[0020]图3是本专利技术实施例中的空洞卷积层示意图；
[0021]图4
‑
1、图4
‑
2和图4
‑
3分别为空洞率依次为1、2、4的空洞卷积原理图；
[0022]图5是本专利技术实施例中的FAM模块的结构图；
[0023]图6
‑
1～图6
‑
4为本专利技术实施例中获取的数据集中部分样本的训练数据示意图；
[0024]图6
‑
5～图6
‑
8为与图6
‑
1～图6
‑
4一一对应的样本标签示意图；
[0025]图7
‑
a1～图7
‑
a5为本专利技术实施例中一组五张的原始影像图；
[0026]图7
‑
b1～图7
‑
b5为与图7
‑
a1～图7
‑
a5中该五张原始影像一一对应的标签示意图；
[0027]图7
‑
c1～图7
‑
c5为U
‑
Net网络对图7
‑
a1～图7
‑
a5中影像图的预测结果图；
[0028]图7
‑
d1～图7
‑
d5为Deeplabv3++网络对图7
‑
a1～图7
‑
a5中影像图的预测结果图；
[0029]图7
‑
e1～图7
‑
e5为D
‑
LinkNet网络对图7
‑
a1～图7
‑
a5中影像图的预测结果图；
[0030]图7
‑
f1～图7
‑
f5为SFD
‑
LinkNet网络对图7...

【技术保护点】

【技术特征摘要】
1.融合语义流场的编解码网络港口影像分割方法，其特征在于，包括以下步骤：将待分割图像输入至加载最优训练权重的融合语义流场的编解码网络，将港口影像分割为海、陆以及舰船三种类别；所述融合语义流场的编解码网络的最优训练权重是通过训练样本及样本标签进行训练得到的，并且，所述融合语义流场的编解码网络包括依次连接的编码层、空洞卷积层和解码层，其中，编码层包括N层依次连接的卷积模块，N>2；解码层包括N层依次连接的反卷积模块，每个反卷积模块中均设置有一个流对齐模块，各流对齐模块的输入与编码层中相应层级的卷积模块进行跳跃相连。2.根据权利要求1所述的融合语义流场的编解码网络港口影像分割方法，其特征在于，所述的编码层采用ResNet34网络，包括一层卷积核为7
×
7的卷积操作，以及由残差模块分别叠加3、4、6、3次组成的Conv1、Conv2、Conv3、Conv4模块。3.根据权利要求2所述的融合语义流场的编解码网络港口影像分割方法，其特征在于，所述的解码层包括四个依次连接的反卷积模块Deconv1、Deconv2、Deconv3、Deconv4，每个反卷积模块包含两个大小为3
×
3的卷积核、Relu激活函数以及上采样过程，每次上采样过程中均加...

【专利技术属性】
技术研发人员：郭海涛，卢俊，高慧，林雨准，龚志辉，余东行，袁洲，牛艺婷，饶子昱，王家琪，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：