一种多编码器融合的多光谱图像语义分割方法技术

本发明专利技术公开了一种多编码器融合的多光谱图像语义分割方法，本发明专利技术基于对不同通道数的多光谱图像提出了一种自适应的语义分割方法，先将多光谱图像的红、绿、蓝三个通道组合成类普通光学图像通过RGB编码器进行编码，然后将其余的多光谱通道通过各编码器进行编码，将各编码器特征图像融合输入解码器中，解码过程中使用跨层连接，将RGB编码器和解码器的特征图像进行拼接融合，最后输出语义分割的结果。本发明专利技术基于多光谱图像提出了一种自适应的语义分割方法，语义分割的结果在精确率、准确率等方面有明显提升。方面有明显提升。方面有明显提升。

【技术实现步骤摘要】
一种多编码器融合的多光谱图像语义分割方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种多编码器融合的多光谱图像语义分割方法。

技术介绍

[0002]图像的语义分割一直是计算机视觉领域的研究重点，语义分割是对图像中的每一个像素进行分类，目前广泛应用于医学图像、无人驾驶与地理图像等。最早语义分割使用一些非深度学习的传统方法，但是分类器需要人工设计，而且如果分割类别很多会造成复杂的计算。随着深度学习的发展让语义分割领域有了重大突破，使用卷积神经网络对图像进行语义分割在准确率和效率上都超过了传统方法。
[0003]目前，UNet模型是深度学习领域用于语义分割的经典模型。UNet模型基于FCN(全卷积神经网络)改进与延伸，保留了FCN利用卷积层、池化层对图像进行特征提取的操作，UNet提出了跨层的跳跃连接的拼接融合操作。使用“U”型网络结构可以同时获取上下文信息和位置信息。
[0004]普通彩色光学图像是一个三通道的图像，只包含红、绿、蓝三波段的信息。多光谱图像则是由多通道组成的图像，一般由几个到十几个通道图像组成。多光谱图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多编码器融合的多光谱图像语义分割方法，其特征在于，包括以下步骤：S1:采集多光谱图像数据，对多光谱图像进行预处理，制作相应的数据训练集；S2:建立卷积神经网络模型，所述的卷积神经网络包括一个RGB编码器、多个多光谱编码器和一个解码器；S3:使用所述数据训练集对所述卷积神经网络模型进行训练，生成已训练完成的卷积神经网络模型；S4:将多光谱图像输入步骤S3中训练完成的模型，得到语义分割结果。2.根据权利要求1所述的一种多编码器融合的多光谱图像语义分割方法，其特征在于：所述S1具体包括，采集多光谱图像数据利用多光谱相机采集多光谱图像数据，将采集到的多光谱图像的红色、绿色和蓝色通道图像在深度维度上进行融合得到类普通光学图像的RGB图像，其余多光谱通道图像不变，人工对RGB图像进行标注。3.根据权利要求1所述的一种多编码器融合的多光谱图像语义分割方法，其特征在于，所述S2具体包括：建立卷积神经网络模型，其中包括一个RGB编码器、多个多光谱编码器和一个解码器；所述编码器和解码器都为5层；每层编码器包括卷积层、批标准化和激活函数，所述卷积层是卷积核大小3
×
3的卷积核，所述激活函数采用ReLU函数，重复n次，每层编码器之间使用最大池化进行连接；其中RGB编码器对输入的RGB图像进行编码，多个多光谱编码器对剩余的...

【专利技术属性】
技术研发人员：张淇婷，商智高，徐帆，林泽彬，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：