一种基于多波段遥感图像融合的船舶目标识别方法及系统技术方案

本发明专利技术公开了一种基于多波段遥感图像融合的船舶目标识别方法及系统，方法包括如下步骤：获取经过多波段配准的多波段遥感图像，通过卷积神经网络提取多个波段的遥感图像特征，基于生成式模型，通过不断反向传播，不断更新融合图像的像素，达到最佳效果后，输出融合后的图像给船舶目标检测步骤；接收多波段图像融合步骤输出的融合后的图像，基于一个端到端的目标检测网络，完成对融合图像中船舶目标的检测，输出船舶目标的切片图像和船舶类别的粗分类结果给船舶目标识别步骤；获取船舶目标检测步骤输出的船舶目标的切片图像，经过精细化判别网络后，输出船舶类别的最终识别结果。本发明专利技术强化了船舶目标的特征，弥补了单一波段成像易受干扰的缺陷。易受干扰的缺陷。易受干扰的缺陷。

【技术实现步骤摘要】
一种基于多波段遥感图像融合的船舶目标识别方法及系统
[0001]

[0002]本专利技术涉及一种基于多波段遥感图像融合的船舶目标识别方法及系统，属于多波段图像融合技术、目标检测和目标识别


技术介绍

[0003]随着遥感技术的不断进步，光学遥感图像的质量也在不断提高，对遥感图像进行合理而充分地利用，既对土地资源管理、城市建设规划和生态环境保护等民用方面有所贡献，也对军事方面有所帮助。遥感图像具有丰富的地物纹理信息，因此，对遥感图像进行目标识别是航空和卫星图像分析领域中的重要问题。船舶目标识别技术由于海洋表面的大气、光照、云层、岛屿等不确定性条件，传统的船舶识别方法识别精度低、稳定性差，因此研究一种高精度、高稳定性的船舶识别技术具有十分重要的价值。
[0004]现有的光学遥感图像船舶目标识别技术，特别是基于深度学习来开展的研究工作，采用的方法多为：对输入的光学遥感图像，直接利用卷积神经网络，提取图像的深度特征，构建分类器，利用特征进行分类和回归，得到船舶目标所在区域的外接矩形坐标和船舶目标的类别。

技术实现思路

[0005]现有的光学遥感图像船舶目标识别方法，大多是基于单一波段图像的，能利用的信息相对较少，船舶识别的精度不高，且易受光照、云雾等因素干扰，船舶识别的鲁棒性不高。本专利技术的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出一种基于多波段遥感图像融合的船舶目标识别方法及系统，该方法和系统充分利用多波段图像信息，对多个波段的遥感图像进行融合，增加了图像中的有效信息量，强化了船舶目标的特征，同时弥补了单一波段成像易受干扰的缺陷，相比单一波段的船舶目标检测方法具有更高的精准度和鲁棒性。
[0006]本专利技术具体采用如下技术方案：一种基于多波段遥感图像融合的船舶目标识别方法，包括如下步骤：多波段图像融合步骤，具体包括：获取经过多波段配准的多波段遥感图像，通过卷积神经网络提取多个波段的遥感图像特征，基于生成式模型，通过不断反向传播，不断更新融合图像的像素，达到最佳效果后，输出融合后的图像给船舶目标检测步骤；船舶目标检测步骤，具体包括：接收所述多波段图像融合步骤输出的融合后的图像，基于一个端到端的目标检测网络，完成对融合图像中船舶目标的检测，输出船舶目标的切片图像和船舶类别的粗分类结果给船舶目标识别步骤；船舶目标识别步骤，具体包括：获取所述船舶目标检测步骤输出的船舶目标的切片图像，经过精细化判别网络后，输出船舶类别的最终识别结果。
[0007]作为一种较佳的实施例，所述多波段图像融合步骤包括：通过一个卷积神经网络框架完成多波段遥感图像的融合，所述卷积神经网络包含特征提取网络和融合网络，具体包括：首先，对输入的同一时相下的多波段遥感图像数据进行配准，得到像素对齐后的各波段图像；然后，经过所述特征提取网络完成对各波段图像的深度特征提取，该所述特征提取网络为一个深度卷积神经网络，输入图像经过卷积后，可输出特征图；其次，各波段特征图经过融合网络融合后，最终生成融合后的图像。
[0008]作为一种较佳的实施例，所述融合网络是一个生成式网络，初始输入为多波段图像的特征图和一张随机噪声图像，利用反向传播不断更新噪声图像的像素值，通过融合损失函数控制该噪声图像的像素更新，经过多次迭代后损失降至最小，网络完成像素更新，生成一张新的图像即输出的融合后的图像。
[0009]作为一种较佳的实施例，所述船舶检测步骤包括：通过一个卷积神经网络框架完成对多波段遥感融合图像中船舶目标的检测，所述卷积神经网络包含特征提取网络、区域推荐网络、特征对齐网络和分类回归网络，具体包括：首先，将融合后的多波段遥感图像输入特征提取网络，所述特征提取网络对图像进行卷积提取融合图像的高层特征；然后，将提取的高层特征输入到区域推荐网络中，所述区域推荐网络利用高层特征图进行预测，输出目标的推荐区域框；然后，将目标的推荐区域框输入特征对齐网络进行特征对齐；最后，将特征对齐后的特征输入分类回归网络，修正船舶目标框，预测目标类别，最终输出修正后的船舶目标位置和粗分类结果，即目标框和其所对应的各类别的置信度。
[0010]作为一种较佳的实施例，所述船舶识别步骤具体包括：首先，船舶检测步骤的输出经过切片后，每个船舶的切片图像作为所述船舶识别步骤的输入图像；然后，利用特征提取网络提取切片图像的深度特征，对特征提取网络提取得到的最后一层特征图送入分类器1进行分类，同时，提取多个不同尺度下的特征图送入多尺度分支中，该多尺度分支中通过分类器2对多尺度特征图进行分类，得到多尺度下的分类结果；最后，将分类器1和分类器2的输出的分类结果，以及所述船舶检测步骤的粗分类结果利用决策级融合算法进行融合，进一步优化各类的置信度，最终输出置信度最高的类别作为船舶识别步骤的输出结果。
[0011]本专利技术还提出一种基于多波段遥感图像融合的船舶目标识别系统，包括：多波段图像融合模块，具体执行：获取经过多波段配准的多波段遥感图像，通过卷积神经网络提取多个波段的遥感图像特征，基于生成式模型，通过不断反向传播，不断更新融合图像的像素，达到最佳效果后，输出融合后的图像给船舶目标检测模块；船舶目标检测模块，具体执行：接收所述多波段图像融合模块输出的融合后的图像，基于一个端到端的目标检测网络，完成对融合图像中船舶目标的检测，输出船舶目标的切片图像和船舶类别的粗分类结果给船舶目标识别模块；船舶目标识别模块，具体执行：获取所述船舶目标检测模块输出的船舶目标的切
片图像，经过精细化判别网络后，输出船舶类别的最终识别结果。
[0012]作为一种较佳的实施例，所述多波段图像融合模块具体执行：通过一个卷积神经网络框架完成多波段遥感图像的融合，所述卷积神经网络包含特征提取网络和融合网络，具体包括：首先，对输入的同一时相下的多波段遥感图像数据进行配准，得到像素对齐后的各波段图像；然后，经过所述特征提取网络完成对各波段图像的深度特征提取，该所述特征提取网络为一个深度卷积神经网络，输入图像经过卷积后，可输出特征图；其次，各波段特征图经过融合网络融合后，最终生成融合后的图像。
[0013]作为一种较佳的实施例，所述融合网络是一个生成式网络，初始输入为多波段图像的特征图和一张随机噪声图像，利用反向传播不断更新噪声图像的像素值，通过融合损失函数控制该噪声图像的像素更新，经过多次迭代后损失降至最小，网络完成像素更新，生成一张新的图像即输出的融合后的图像。
[0014]作为一种较佳的实施例，所述船舶检测模块具体执行：通过一个卷积神经网络框架完成对多波段遥感融合图像中船舶目标的检测，所述卷积神经网络包含特征提取网络、区域推荐网络、特征对齐网络和分类回归网络，具体包括：首先，将融合后的多波段遥感图像输入特征提取网络，所述特征提取网络对图像进行卷积提取融合图像的高层特征；然后，将提取的高层特征输入到区域推荐网络中，所述区域推荐网络利用高层特征图进行预测，输出目标的推荐区域框；然后，将目标的推荐区域框输入特征对齐网络进行特征对齐；最后，将特征对齐后的特征输入分类回归网络，修正船舶目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多波段遥感图像融合的船舶目标识别方法，其特征在于，包括如下步骤：多波段图像融合步骤，具体包括：获取经过多波段配准的多波段遥感图像，通过卷积神经网络提取多个波段的遥感图像特征，基于生成式模型，通过不断反向传播，不断更新融合图像的像素，达到最佳效果后，输出融合后的图像给船舶目标检测步骤；船舶目标检测步骤，具体包括：接收所述多波段图像融合步骤输出的融合后的图像，基于一个端到端的目标检测网络，完成对融合图像中船舶目标的检测，输出船舶目标的切片图像和船舶类别的粗分类结果给船舶目标识别步骤；船舶目标识别步骤，具体包括：获取所述船舶目标检测步骤输出的船舶目标的切片图像，经过精细化判别网络后，输出船舶类别的最终识别结果。2.根据权利要求1所述的一种基于多波段遥感图像融合的船舶目标识别方法，其特征在于，所述多波段图像融合步骤包括：通过一个卷积神经网络框架完成多波段遥感图像的融合，所述卷积神经网络包含特征提取网络和融合网络，具体包括：首先，对输入的同一时相下的多波段遥感图像数据进行配准，得到像素对齐后的各波段图像；然后，经过所述特征提取网络完成对各波段图像的深度特征提取，该所述特征提取网络为一个深度卷积神经网络，输入图像经过卷积后，可输出特征图；其次，各波段特征图经过融合网络融合后，最终生成融合后的图像。3.根据权利要求2所述的一种基于多波段遥感图像融合的船舶目标识别方法，其特征在于，所述融合网络是一个生成式网络，初始输入为多波段图像的特征图和一张随机噪声图像，利用反向传播不断更新噪声图像的像素值，通过融合损失函数控制该噪声图像的像素更新，经过多次迭代后损失降至最小，网络完成像素更新，生成一张新的图像即输出的融合后的图像。4.根据权利要求1所述的一种基于多波段遥感图像融合的船舶目标识别方法，其特征在于，所述船舶检测步骤包括：通过一个卷积神经网络框架完成对多波段遥感融合图像中船舶目标的检测，所述卷积神经网络包含特征提取网络、区域推荐网络、特征对齐网络和分类回归网络，具体包括：首先，将融合后的多波段遥感图像输入特征提取网络，所述特征提取网络对图像进行卷积提取融合图像的高层特征；然后，将提取的高层特征输入到区域推荐网络中，所述区域推荐网络利用高层特征图进行预测，输出目标的推荐区域框；然后，将目标的推荐区域框输入特征对齐网络进行特征对齐；最后，将特征对齐后的特征输入分类回归网络，修正船舶目标框，预测目标类别，最终输出修正后的船舶目标位置和粗分类结果，即目标框和其所对应的各类别的置信度。5.根据权利要求1所述的一种基于多波段遥感图像融合的船舶目标识别方法，其特征在于，所述船舶识别步骤具体包括：首先，船舶检测步骤的输出经过切片后，每个船舶的切片图像作为所述船舶识别步骤的输入图像；然后，利用特征提取网络提取切片图像的深度特征，对特征提取网络提取得到的最后一层特征图送入分类器1进行分类，同时，提取多个不同尺度下的特征图送入多尺度分支
中，该多尺度分支中通过分类器2对多尺度特征图进行分类，得到多尺度下的分类结果；最后，将分类器1和分类器2的输出的分类结果，以及所述船舶检测步骤的粗分类结果利用决策级融合算法进行融合，进一步优化各类的置信度，最终输出置信度最高的类别作为船舶识别步骤的输出结果。6.一种...

【专利技术属性】
技术研发人员：谢春宇，王建社，方四安，赵鑫，徐传辉，方堃，汪小斌，徐鑫鑫，刘海波，柳林，徐承，占建波，
申请(专利权)人：合肥讯飞数码科技有限公司，
类型：发明
国别省市：