一种基于部件匹配与距离约束的光学遥感图片船舶检测方法技术

为了解决由于光学遥感图像易受天气、陆地或船舶尾迹的影响，图像内容复杂导致大量虚警框的问题，通过对数据集进行部件和整体双重标注，引入部件位置信息，再通过部件和整体之间的距离约束，有效减少检测虚警框。本发明专利技术公开了一种基于部件匹配与距离约束的光学遥感图片船舶检测方法，通过对数据集进行部件标注的添加，从而提高训练图像数据中的可学习信息；将训练过程中输出的目标候选框相互进行部件匹配，找到每个船舶目标对应的部件框；接着在网络计算损失函数并将梯度反传时，将船舶目标与之部件之间的距离作为参数约束结合到检测网络的参数学习过程中，使得训练过程中目标定位更加准确。

A ship detection method of optical remote sensing image based on component matching and distance constraint

【技术实现步骤摘要】
一种基于部件匹配与距离约束的光学遥感图片船舶检测方法
本专利技术属于图像处理
，特别涉及一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法。
技术介绍
光学遥感图像具有空间分辨率高，图像内容丰富、几何变形小、易直观理解等特点。其在很多领域具有重要研究价值，在如资源调查、地质结构研究、海洋研究、军事探测等任务中备受关注。其中遥感图像中的目标识别更是图像处理领域里的热点和难点问题，其主要任务是判断光学遥感图像中物体目标的类别以及具体坐标位置。而对于拍摄的海上遥感图像来说，船舶作为海上的主要运输载体和运动目标，对其进行目标检测是遥感图像领域最受关注的课题之一，在民用、军用以及科研领域都具有重要意义。例如，在渔业管控、环境污染监控、海上救援等民用领域发挥助力；在军事领域可作为分析敌情、收集情报、监视动向的重要工具；另外在科研领域也可为海域资源研究提供更多目标信息。同时随着近年来卫星通信技术、空间定位技术、遥感技术和地理信息系统等技术的不断发展，使得人们能够快速获取大量地表图像观测信息，例如美国的WorldView-I卫星是全球分辨率最高、响应最敏捷的商业成像卫星，每天可拍摄多达50万平方千米的0.5m分辨率图像，能够精准定位拍摄目标并快速响应。由此可以看出，光学遥感图像数据正在飞速增长，无法再单纯依靠传统人工办法完成海上船舶目标检测任务。目前已经有一些公开报道或投入使用的船舶检测方法，主要是将检测与识别任务分开来，针对不同场景遥感图片首先提取疑似目标的候选区域，再通过区域图像特征进一步分析确定真实船舶目标。虽然这些船舶检测方法已经取得一定成果，但在光学遥感图像应用上仍旧存在一些难题。例如由于光学遥感图像内容丰富，往往会存在海陆共存、陆地背景复杂、自然环境中天气(云层、海雾等)和海况(海浪等)的影响，同时由于船舶特征与港口特征区分性较差，云层存在遮挡、阴影等问题，使得复杂背景中检测出大量虚警框。另外由于船舶运动形成的尾迹在图像中特征表现与船舶目标相似，往往也容易被错分为船舶目标，使得检测任务虚警率升高。本专利技术提供的基于部件匹配以及距离约束的改进检测方法能够有效的减少光学遥感图像中船舶检测的虚警框，同时在低阈值配置下，提高检测准确率。通过对数据集进行部件标注的添加，从而提高训练图像数据中的可学习信息；将训练过程中输出的目标候选框相互进行部件匹配，找到每个船舶目标对应的部件框；接着在网络计算损失函数并将梯度反传时，将船舶目标与之部件之间的距离作为参数约束结合到检测网络的参数学习过程中，使得训练过程中目标定位更加准确。
技术实现思路
本专利技术的目的在于在数据集中添加部件框信息，同时引入船舶主体与部件之间的距离约束参数，解决传统方法中由于图片质量限制导致大量虚警框的问题。本专利技术的技术方案为一种基于部件匹配与距离约束的光学遥感图片船舶检测方法，包括以下步骤：步骤1，准备检测光学遥感图像船舶数据集，收集成像条件各异、图片背景不同的光学遥感船舶图像数据，在图像中对船舶目标进行整体标注以及对应船头、船尾的标注，将整体框和部件框标注为两类；步骤2，构建添加了基于部件匹配层的船舶检测网络模型，其中基于部件匹配层的船舶检测网络模型包含基础特征提取网络和部件匹配层，具体实现方式如下：其中基础特征提取网络为YOLO-V3网络结构，在YOLO-V3网络最后一个特征输出层后添加一层部件匹配层，该层主要用于训练过程；部件匹配层中首先统计YOLO-V3网络输出的不同尺度特征图中对应检测到的所有检测框并根据类别进行区分，包括船舶检测框以及部件检测框；然后对每一个船舶检测框采用K邻近算法，搜索两个坐标距离最近的部件检测框；接着找到船舶检测框中心点到对应匹配上的两个部件检测框连线的投影点，并分别计算船舶检测框中心点与投影点横纵坐标的距离偏移量(DX,DY)；步骤3，训练步骤2中构建的基于部件匹配层的船舶检测网络模型，将步骤2中计算得到的坐标偏移量(DX,DY)添加到损失函数的计算中；步骤4，利用训练好的网络模型对待检测光学遥感图片进行检测，得到最终的检测结果。进一步的，所述步骤1中，具体的数据标注方式为：对每张图片上的船舶目标添加标注框，记录船舶目标在整图上的中心点横纵坐标(Xb,Yb)以及目标框长宽(Wb,Hb)来写入此张图片的标签文件；同时将每个船舶目标对应的船头和船尾部分也进行标注框标注，记录对应中心点坐标(Xc,Yc)和标注框长宽(Wc,Hc)数据写入同一标签文件；在标签文件中将船舶目标的类别标号记为‘0’，将船头、船尾的类别标号都标记为‘1’；所有图片标注完成后每一张图片文件都有一个对应的同名标签文件，然后将整个数据集按照1：3的比例分为训练集和测试集。进一步的，步骤2中首先统计YOLO-V3网络输出的不同尺度特征图中对应检测到的所有检测框并根据类别进行区分的具体实现方式如下，在YOLO-V3结构中存在三个输出尺度不同的[yolo]层，它们输出特征图为M1,M2,M3,特征图尺度分别为13*13，26*26，52*52；在最小的13*13特征图M1上由于其具有最大的感受野因此能更多的检测到大的目标，指的是船舶类目标；而最大的52*52特征图M3上由于其具有较小的感受野故其更适合检测较小的目标，指的是船头和船尾类目标；在训练过程中每一个尺度的特征图上都会检测到船舶目标以及部件目标，也即：其中，i表示第i个[yolo]层，boxMi表示每一个[yolo]输出层输出特征图中目标框的集合，表示当前层输出特征图中船舶检测框的集合，表示当前层输出特征图中部件检测框的集合；YOLO-V3网络输出的检测框除了包含框的坐标信息之外，还包含目标置信度参数P(f)以及在包含目标的情况下框属于每一个类别的概率P(c)，目标置信度参数P(f)表示当前检测框存在目标的概率，取值范围为(0,1)；为了使船舶目标框能够匹配上对应的两个部件框，在训练网络的最后加入部件匹配层；首先，部件匹配层计算三个[yolo]层输出的所有检测框的类别置信度P(class|object)：P(class|object)＝P(c)*P(f)(2)接着，将每个检测框中类别置信度P(class|object)最大的类别c确定为检测框的类别，根据检测框的类别将所有检测框分为船舶检测框以及部件类检测框：进一步的，所述步骤3中，损失函数的计算公式为：Loss(object)＝Loss(coordinate)+Loss(confident)+Loss(classes)(5)其中，Loss(coordinate)表示检测框位置误差，Loss(confident)表示目标置信度误差，Loss(classes)表示目标类别误差；在Loss(coordinate)中，添加对检测框中心点坐标(x,y)的距离约束项T，距离约束项T的计算公式如下：则检测框位置误差为：具体损失函数计算公式为：...

【技术保护点】
1.一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法，其特征在于，包含以下步骤：/n步骤1，准备检测光学遥感图像船舶数据集，收集成像条件各异、图片背景不同的光学遥感船舶图像数据，在图像中对船舶目标进行整体标注以及对应船头、船尾的标注，将整体框和部件框标注为两类；/n步骤2，构建添加了基于部件匹配层的船舶检测网络模型，其中基于部件匹配层的船舶检测网络模型包含基础特征提取网络和部件匹配层，具体实现方式如下：/n其中基础特征提取网络为YOLO-V3网络结构，在YOLO-V3网络最后一个特征输出层后添加一层部件匹配层，该层主要用于训练过程；/n部件匹配层中首先统计YOLO-V3网络输出的不同尺度特征图中对应检测到的所有检测框并根据类别进行区分，包括船舶检测框以及部件检测框；然后对每一个船舶检测框采用K邻近算法，搜索两个坐标距离最近的部件检测框；接着找到船舶检测框中心点到对应匹配上的两个部件检测框连线的投影点，并分别计算船舶检测框中心点与投影点横纵坐标的距离偏移量(D

【技术特征摘要】
1.一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法，其特征在于，包含以下步骤：
步骤1，准备检测光学遥感图像船舶数据集，收集成像条件各异、图片背景不同的光学遥感船舶图像数据，在图像中对船舶目标进行整体标注以及对应船头、船尾的标注，将整体框和部件框标注为两类；
步骤2，构建添加了基于部件匹配层的船舶检测网络模型，其中基于部件匹配层的船舶检测网络模型包含基础特征提取网络和部件匹配层，具体实现方式如下：
其中基础特征提取网络为YOLO-V3网络结构，在YOLO-V3网络最后一个特征输出层后添加一层部件匹配层，该层主要用于训练过程；
部件匹配层中首先统计YOLO-V3网络输出的不同尺度特征图中对应检测到的所有检测框并根据类别进行区分，包括船舶检测框以及部件检测框；然后对每一个船舶检测框采用K邻近算法，搜索两个坐标距离最近的部件检测框；接着找到船舶检测框中心点到对应匹配上的两个部件检测框连线的投影点，并分别计算船舶检测框中心点与投影点横纵坐标的距离偏移量(DX,DY)；
步骤3，训练步骤2中构建的基于部件匹配层的船舶检测网络模型，将步骤2中计算得到的坐标偏移量(DX,DY)添加到损失函数的计算中；
步骤4，利用训练好的网络模型对待检测光学遥感图片进行检测，得到最终的检测结果。


2.如权利要求1所述的一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法，其特征在于：所述步骤1中，具体的数据标注方式为：
对每张图片上的船舶目标添加标注框，记录船舶目标在整图上的中心点横纵坐标(Xb,Yb)以及目标框长宽(Wb,Hb)来写入此张图片的标签文件；同时将每个船舶目标对应的船头和船尾部分也进行标注框标注，记录对应中心点坐标(Xc,Yc)和标注框长宽(Wc,Hc)数据写入同一标签文件；在标签文件中将船舶目标的类别标号记为‘0’，将船头、船尾的类别标号都标记为‘1’；所有图片标注完成后每一张图片文件都有一个对应的同名标签文件，然后将整个数据集按照1：3的比例分为训练集和测试集。


3.如权利要求1或2所述的一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法，其特征在于：步骤2中首先统计YOLO-V3网络输出的不同尺度特征图中对应检测到的所有检测框并根据类别进行区分的具体实现方式如下，
在YOLO-V3结构中存在三个输出尺度不同的[yolo]层，它们输出特征图为M1,M2,M3,特征图尺度分别为13*13，26*26，52*52；在最小的13*13特征图M1上由于其具有最大的感受野因此能更多的检测到大的目标，指的是船舶类目标；而最大的52*52特征图M3上由于其具有较小的感受野故其更适合检测较小的目标，指的是船头和船尾类目标；在训练过程中每一个尺度的特征图上都会检测到船舶目标以及部...

【专利技术属性】
技术研发人员：何楚，何博琨，童鸣，刘唐波，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42