一种结合边界感知和语义分割的复杂场景检测方法技术

本发明专利技术公开了一种结合边界感知和语义分割的复杂场景检测方法，包括如下步骤：S1、创建图像的数据集；S2、对数据集中的图像数据进行预处理；S3、设计检测网络；S4、训练检测网络得到最优的收敛模型；S5、加载训练得到的最优收敛模型，将待预测图像输入预测网络中进行预测得到分割图；S6、对分割图进行后处理得到最终的水岸线。该方法解决了物体和水面反射之间的相似性造成检测失败问题，该方法可以有效检测出不同结构以及不同光照条件下的水岸线，同时具有较高检测速度。具有较高检测速度。具有较高检测速度。

【技术实现步骤摘要】
一种结合边界感知和语义分割的复杂场景检测方法


[0001]本专利技术涉及视觉图像处理
，具体指一种结合边界感知和语义分割的复杂场景检测方法。

技术介绍

[0002]无人船是一种无需遥控，借助自身传感即可按照预设任务在水面航行的自动水面机器人，其执行危险和耗时任务的能力日益突出。来自商业界、科学界和环境界的大量需求，研究人员加速了无人船应用的发展，如水文测量和制图、水质监测、漂浮废物清除和水上搜救行动等。内陆河流的水岸线相当于海面环境所检测的海天线，具有重要意义。
[0003]近年来，随着机器学习理论和计算机设备的发展，各种基于机器学习的方法被提出用于无人船的环境感知。然而现有的无人船视觉研究大都基于海洋环境，与沿海和海洋无人船相比，内河环境中的无人船与人类生活的关系更为密切，具有巨大的潜在价值。
[0004]然而相比海洋而言，内河环境更加复杂，河岸树木草丛、建筑的阴影会覆盖水面，导致水面的亮度值将显著降低，亮度分布不均匀必然会降低分割的精度。因此，沿海和海洋无人船无法直接运用至内河的水岸线检测。另外，内河的水岸线检测与海洋海天线检测任务不同，河岸上的物体和水面反射之间的相似性使得很难准确检测水域边界。内河环境的复杂性使得很难建立一个可靠的水岸线检测网络。此外，现有方法很难部署在无人船上实时运行。综上，亟需一种结合边界感知和语义分割的复杂场景检测方法。

技术实现思路

[0005]本专利技术针对现有技术的不足，提出一种结合边界感知和语义分割的复杂场景检测方法，该方法解决了物体和水面反射之间的相似性造成检测失败问题，该方法可以有效检测出不同结构以及不同光照条件下的水岸线，同时具有较高检测速度。
[0006]为了解决上述技术问题，本专利技术的技术方案为：
[0007]一种结合边界感知和语义分割的复杂场景检测方法，包括如下步骤：
[0008]S1、创建图像的数据集；
[0009]S2、对数据集中的图像数据进行预处理；
[0010]S3、构建检测网络，所述检测网络采用双流式结构，由pytorch框架搭建深度神经网络结构，所述检测网络包括编码器网络、解码器网络和边界感知网络，
[0011]编码器网络用于对特征进行提取，编码器网络采用预训练的ResNet
‑
18网络，可以快速对特征信息进行下采样，以获得大的感受野，采用4个卷积块对图像进行下采样，每次下采样得到不同尺度的特征图，
[0012]边界感知网络用于关注水域边界，丢弃大量冗余信息，边界感知网络通过边界卷积，来促进语义信息转换到边界信息，
[0013]解码器网络将不同尺寸的特征与边界信息融合，提出的基于全局平均池和最大池操作，并将其细化为最后分割结果；
[0014]S4、训练检测网络得到最优的收敛模型
[0015]S4
‑
1、设计双损失函数
[0016]所述双损失函数中语义损失采用标准交叉熵，边界损失采用二元交叉熵和骰子损失联合优化边界学习，表达式如下：
[0017]L
boundary
(p
d
,g
d
)＝λ1L
dice
(p
d
,g
d
)+λ1L
bce
(p
d
,g
d
)
[0018][0019]其中，L
boundary
表示边界损失，H和W分别表示数据集中图像的长和宽，L
bce
表示二元交叉熵损失，L
dice
表示骰子损失，p
d
∈R
H
×
W
表示预测边界图，g
d
∈R
H
×
W
表示从标记的分割掩码中得到的真实边界图，其中i表示第i个像素，λ1、λ2、c为超参数；
[0020]S4
‑
2、确定超参数，采用Adam优化器对检测网络进行训练，使检测网络损失最小，即最优收敛模型；
[0021]S5、加载训练得到的最优收敛模型，将待预测图像输入最优收敛模型中进行预测得到分割图；
[0022]S6、对分割图进行后处理得到最终的水岸线。
[0023]作为优选，所述步骤S1中创建的数据集采用USVInland数据集作为水岸线检测数据集。
[0024]作为优选，所述图像数据预处理的方法为：通过数据增强的方法提高图像的数量和多样性，所述数据增强方法包括裁剪、镜像、亮度和对比度调节。
[0025]作为优选，所述步骤S3中搭建的网络包括编码器网络、边界感知网络和解码器网络，所述编码器网络包括4个依次连接的卷积层和1个池化层，所述边界感知网络包括2个边界卷积块，所述解码器网络包括注意力细化模块、特征融合模块和上采样，所述编码器网络中第一和第三个卷积层分别插入两个边界卷积块生成边界特征图，所述注意力细化模块分别与池化层和第四个卷积层相连接获取语义信息，所述特征融合模块读取边界特征图和语义信息进行融合，并通过上采样输出分割图。。
[0026]作为优选，所述编码器网络尾部增大感受野所使用的池化层采用全局平均池。平均池化可以汇总空间信息，最大池化可以得到更精细的通道注意。
[0027]作为优选，所述步骤S6中后处理方法为通过边缘检测算法提取分割图中的水岸线。
[0028]本专利技术具有以下的特点和有益效果：
[0029]采用上述技术方案，利用轻量级骨干网络来提取特征以满足USV的实时性要求。本专利技术设计了一个由全局平均池和最大池激活的注意力细化模块以及一个专注于感兴趣区域特征信息的边界感知模块，从而改进阴影和反射区域的检测精度，另外还引入了一个特征融合模块，以更好地融合解码器网络中的特征信息。此外，本专利技术设计一个了边界感知损失函数，它允许网络专注于场景边界并加强网络学习有关感兴趣区域的细节信息。该方法可以在水域边界处产生更明确的预测，并提高水岸线检测的性能。与传统海天线检测方法相比，无人船用水岸线检测方法提出了一种新的检测思路，通过图像语义分割获得像素点的类别信息，再结合边界感知对边界像素进行修正，最后对分割结果图后处理得到水岸线，
这种检测方法在保持较好的检测精度的同时，可以有效避免因为阴影、反射等干扰而导致的错检现象。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]图1结合边界感知和语义分割的复杂场景检测方法流程图；
[0032]图2水岸线检测网络结构示意图；
[0033]图3边界卷积块、注意力细化模块和特征融合模块。
具体实施方式
[0034]需要说明的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合边界感知和语义分割的复杂场景检测方法，其特征在于，包括如下步骤：S1、创建图像的数据集；S2、对数据集中的图像数据进行预处理；S3、构建检测网络，所述检测网络采用双流式结构，由pytorch框架搭建深度神经网络结构，所述检测网络包括编码器网络、解码器网络和边界感知网络，编码器网络用于对特征进行提取，编码器网络采用预训练的ResNet
‑
18网络，可以快速对特征信息进行下采样，以获得大的感受野，采用4个卷积块对图像进行下采样，每次下采样得到不同尺度的特征图，边界感知网络用于关注水域边界，丢弃大量冗余信息，边界感知网络通过边界卷积，来促进语义信息转换到边界信息，解码器网络将不同尺寸的特征与边界信息融合，提出的基于全局平均池和最大池操作，并将其细化为最后分割结果；S4、训练检测网络得到最优的收敛模型S4
‑
1、设计双损失函数所述双损失函数中语义损失采用标准交叉熵，边界损失采用二元交叉熵和骰子损失联合优化边界学习，表达式如下：L
boundary
(p
d
,g
d
)＝λ1L
dice
(p
d
,g
d
)+λ1L
bce
(p
d
,g
d
)其中，L
boundary
表示边界损失，H和W分别表示数据集中图像的长和宽，L
bce
表示二元交叉熵损失，L
dice
表示骰子损失，p
d
∈R
H
×
W
表示预测边界图，g
...

【专利技术属性】
技术研发人员：陈丰农，丁云帅，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：