基于深度学习的可见光图像和红外图像融合的船舶分类方法和装置，涉及计算机视觉分类与图像处理技术领域，本发明专利技术首先设计了能够获得更多的船舶图像全局信息的双流对称卷积神经网络来提取可见光图像和红外图像的深层特征，通过对网络进行训练得到最优训练模型1和最优训练模型2，之后将待分类的可见光图像和红外图像进行预处理和数据增强后分别调用训练好的最优训练模型1和最优训练模型2对可见光图像和红外图像进行测试，得到对应的Softmax函数的概率值，并进行线性加权决策融合，得到船舶分类结果。本发明专利技术有效利用多模态图像的互补信息进行融合分类，提高了船舶图像分类的准确率，在目标识别和智能交通等领域具有广阔的应用前景。有广阔的应用前景。有广阔的应用前景。
【技术实现步骤摘要】
基于深度学习的可见光图像和红外图像融合的船舶分类方法与装置
[0001]本专利技术涉及计算机视觉分类与图像处理
，具体涉及一种基于深度学习的可见光图像和红外图像融合的船舶分类方法与装置，可用于对多模态图像进行融合分类。
技术介绍
[0002]船舶分类技术在海上搜救、海洋污染监控以及渔船监控等方面都有着重要的应用，快速分类各种船只，有利于提高海事巡航救助能力。可见光图像提供的视觉信息比较丰富，对船舶目标的区分度好，但容易受光照情况的影响。红外图像不受光照影响，可全天候获取，但图像的分辨率低，边缘模糊，一般将红外图像作为可见光图像的补充信息进行船舶分类。
[0003]目前的船舶分类方法主要有两大类，一类是传统的船舶分类方法，另一类是基于深度学习的船舶分类方法。传统的船舶分类方法中使用的是人工设计特征，人工设计特征的提取不仅依赖专家知识，而且泛化能力差，分类性能有限。近年来，深度学习方法发展迅速，并在计算机视觉领域引起了广泛关注。典型的深度学习结构主要有：深度置信网络、层叠自动编码机、卷积神经网络和深度递归神经网络。其中，卷积神经网络主要用在图像分类领域。基于卷积神经网络的船舶分类方法将船舶图像作为网络的输入，自动地从船舶图像中提取出更深层、更抽象的特征，具有自主学习的能力，避免了传统方法中复杂的特征提取过程。
[0004]目前大多数的基于卷积神经网络的船舶分类方法是对单一波段的可见光图像或者红外图像进行处理，船舶分类准确率有待进一步提升。
技术实现思路
[0005]本专利技术目的是提供一种基于深度学习的可见光图像和红外图像融合的船舶分类方法，以解决现有分类方法所存在的准确率偏低的问题。
[0006]为了实现上述目的，本专利技术采用如下技术方案：基于深度学习的可见光图像和红外图像融合的船舶分类方法，包括以下步骤：
[0007]S1、从现有船舶分类数据集中获取可见光图像和红外图像并将其作为训练集，将训练集中配对的可见光图像和红外图像进行预处理和数据增强后分别输入到可见光子网络和红外子网络中提取船舶图像的深层特征，在输出层使用Softmax函数进行分类，利用交叉熵损失函数计算预测类别标签与真实类别标签之间的误差，通过反向传播算法计算卷积神经网络的各层的权重与偏置，不断迭代训练卷积神经网络，直到损失函数收敛，得到最优训练模型1和最优训练模型2并保存；
[0008]S2、将需要进行船舶分类的图像作为测试集，将测试集中配对的可见光船舶图像和红外船舶图像预处理和数据增强后分别利用所述最优训练模型1和最优训练模型2对测试集中待分类的配对图像进行测试，得到可见光子网络和红外子网络的Softmax函数的输
出概率值；
[0009]S3、利用线性加权决策融合方法对可见光子网络和红外子网络的Softmax函数的输出概率值进行处理，得到最终的分类结果。
[0010]其中，对所述训练集和测试集中可见光图像和红外图像进行预处理的方式为：采用双三次插值方法将船舶图像的大小预处理为合适的像素大小。
[0011]进一步地，对预处理后的可见光图像和红外图像进行数据增强的方式为：将训练集的图像随机裁剪为227
×
227像素，并使用随机水平翻转和z
‑
score标准化；将测试集的图像中心裁剪为227
×
227像素。
[0012]在步骤S1中，以训练集的可见光图像和红外图像作为样本数据对可见光子网络和红外子网络组成的双流对称卷积神经网络进行训练，得到最优训练模型1和最优训练模型2，具体方式为：将预处理后的可见光图像和红外图像先进行数据增强，再分别输入所述双流对称卷积神经网络，提取不同类型船舶的深层特征，在输出层利用Softmax函数得到预测类别的标签，利用交叉熵损失函数计算所述预测类别标签与所述样本的真实类别标签之间的误差，根据反向传播算法调整所述双流对称卷积神经网络的权值和偏置，不断的迭代训练，直到损失函数收敛，分别得到所述可见光子网络的最优训练模型1和红外子网络的最优训练模型2并保存。
[0013]其中，所述卷积神经网络为由可见光子网络和红外子网络构成的双流对称卷积神经网络，其中提取可见光图像的特征的卷积神经网络为可见光子网络，提取红外图像的特征的卷积神经网络为红外子网络，可见光子网络和红外子网络的网络结构一致，由4个卷积层、3个池化层、3个全连接层和Softmax输出层组成。
[0014]在步骤S1中，利用交叉熵损失函数计算所述预测类别标签与所述真实类别标签之间的误差，具体为：
[0015][0016]其中，J(θ)为误差，m为进行训练的船舶图像的数量，x
(i)
为样本数据，i＝1,2,
…
,m，y
(i)
为真实类别标签，h
θ
(x
(i)
)是针对每一船舶类别估算出的概率值的假设函数，j为船舶类型的数量，j＝1,2,
…
,6，1{true}＝1，1{false}＝0；
[0017]θ为模型参数：
[0018][0019]所述假设函数为：
[0020][0021]其中，p(y＝j|x)是针对第j类船舶估算的概率值。
[0022]进一步地，利用交叉熵损失函数计算所述预测类别标签与所述真实类别标签之间的误差时，在交叉熵损失函数后面加上正则化项，以减少过拟合，所采用l2正则化表示为：
[0023][0024]其中，λ表示权重系数，加了正则化项的交叉熵损失函数的公式如下：
[0025][0026]另外，在步骤S1中，是根据反向传播算法调整所述双流对称卷积神经网络的权值和偏置，通过采用随机梯度下降优化算法求解交叉熵损失函数的最小值，不断的迭代训练，直到误差最小化，最终分别得到所述可见光子网络的最优训练模型1和红外子网络的最优训练模型2。
[0027]在步骤S3中，利用线性加权决策融合方法对可见光子网络和红外子网络的Softmax函数的输出概率值进行处理的方式为：
[0028][0029]其中，p
1j
(x)表示对输入样本x在最优训练模型上测试后得到的可见光子网络的Softmax函数的输出概率值，p
2j
(x)表示输入样本x在最优训练模型上测试后得到的红外子网络的Softmax函数的输出概率值，α为权重因子，在0到1之间取值，j表示船舶类型数。
[0030]最后，本专利技术还涉及一种基于深度学习的可见光图像和红外图像融合的船舶分类装置，其包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序通过处理器执行时，实现如上面所述的船舶分类方法。
[0031]与现有技术相比，本专利技术在进行可见光图像和红外图像特征提取时，设计了双流对称卷积神经网络，能够获得更多的船舶图像的全局信息，同时，本专利技术将可见光子网络的Softmax函数的输出概率值和红外子网络的Softmax函数的输出概率值进行线性决策融合，综合考虑了可见光图像和红本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于深度学习的可见光图像和红外图像融合的船舶分类方法，其特征在于，包括以下步骤：S1、从现有船舶分类数据集中获取可见光图像和红外图像并将其作为训练集，将训练集中配对的可见光图像和红外图像进行预处理和数据增强后分别输入到可见光子网络和红外子网络中提取船舶图像的深层特征，在输出层使用Softmax函数进行分类，利用交叉熵损失函数计算预测类别标签与真实类别标签之间的误差，通过反向传播算法计算卷积神经网络的各层的权重与偏置，不断迭代训练卷积神经网络，直到损失函数收敛，得到最优训练模型1和最优训练模型2并保存；S2、将需要进行船舶分类的图像作为测试集，将测试集中配对的可见光船舶图像和红外船舶图像预处理和数据增强后分别利用所述最优训练模型1和最优训练模型2对测试集中待分类的配对图像进行测试，得到可见光子网络和红外子网络的Softmax函数的输出概率值；S3、利用线性加权决策融合方法对可见光子网络和红外子网络的Softmax函数的输出概率值进行处理，得到最终的分类结果。2.根据权利要求1所述的船舶分类方法，其特征在于，对所述训练集和测试集中可见光图像和红外图像进行预处理的方式为：采用双三次插值方法将船舶图像的大小预处理为合适的像素大小。3.根据权利要求2所述的船舶分类方法，其特征在于，对预处理后的可见光图像和红外图像进行数据增强的方式为：将训练集的图像随机裁剪为227
×
227像素，并使用随机水平翻转和z
‑
score标准化；将测试集的图像中心裁剪为227
×
227像素。4.根据权利要求1所述的船舶分类方法，其特征在于：步骤S1中，以训练集的可见光图像和红外图像作为样本数据对可见光子网络和红外子网络组成的双流对称卷积神经网络进行训练，得到最优训练模型1和最优训练模型2，具体方式为：将预处理后的可见光图像和红外图像先进行数据增强，再分别输入所述双流对称卷积神经网络，提取不同类型船舶的深层特征，在输出层利用Softmax函数得到预测类别的标签，利用交叉熵损失函数计算所述预测类别标签与所述样本的真实类别标签之间的误差，根据反向传播算法调整所述双流对称卷积神经网络的权值和偏置，不断的迭代训练，直到损失函数收敛，分别得到所述可见光子网络的最优训练模型1和红外子网络的最优训练模型2并保存。5.根据权利要求1所述的船舶分类方法，其特征在于：所述卷积神经网络为由可见光子网络和红外子网络构成的双流对称卷积神经网络，其中提取可见光图像的...
【专利技术属性】
技术研发人员：任永梅，贾雅琼，俞斌，李欣，杜鸣笛，王晓丽，彭琴，
申请(专利权)人：湖南工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。