基于两次迁移学习和数据增广的船舶目标检测方法技术

本发明专利技术公开了基于两次迁移学习和数据增广的船舶目标检测方法，包括建立船舶目标的图像数据集；利用固定步长旋转与图像拼接技术扩充图像数据集；对增广后的图像数据集进行标注，划分训练集和测试集；对Darknet网络模型进行预训练，从Coco数据集中筛选出Boat类图像及标签文件，在预训练好的Darknet网络模型上进行第一次迁移学习，获得船舶检测初步模型；用训练集在初步模型上进行第二次迁移学习，用测试集对学习后的模型进行测试，获得最终船舶检测模型；对待检测视频图像序列进行检测，获得船舶目标检测结果。解决了棘手场景中样本数据难以大量获得、基于深度学习的船舶目标检测中小样本学习困难的问题，提高了船舶目标检测的鲁棒性、准确性和快速性。准确性和快速性。准确性和快速性。

【技术实现步骤摘要】
基于两次迁移学习和数据增广的船舶目标检测方法


[0001]本专利技术属于计算机视觉和人工智能
，具体涉及基于两次迁移学习和数据增广的船舶目标检测方法。

技术介绍

[0002]目标检测是计算机视觉和人工智能领域的研究热点，从传统的检测算法Viola
‑
Jones Detector、HOG、DPM等到当今RCNN、YOLO等深度学习土壤孕育下的GPU暴力美学，整个目标检测技术和算法的发展可谓是计算机视觉领域的一部浓缩史，其在智能视频监控、人机交互、图像搜索、自主导航等方面有着广泛应用。
[0003]近年来，基于深度学习的目标检测算法由于其突出的特征描述能力、检测和定位精度，正逐渐成为目标检测
的主要研究方向之一。已有算法可分为两阶段(Two
‑
stage)和单阶段(One
‑
stage)两类；其中Two
‑
stage算法如R
‑
CNN、Fast R
‑
CNN、Faster R
‑
CNN，首先生成候选区域(region proposal)，然后将其分成不同的目标类别，该类算法的定位和检测准确率较高，但运算速度较慢；2016年6月，Dai J,Li Y等在INPS上发表的文章R
‑
FCN:Object Detection via Region
‑
based Fully Convolutional Networks中对Faster R
‑<br/>CNN进行了改进，进一步精简了模型，使其精度和速度都有所提升，但是耗时还是较多，无法满足多目标检测系统的实时性要求。One
‑
stage算法如YOLO、SSD、YOLO900等依据回归思想，使实时检测成为可能，但其在检测精度方面与Two
‑
stage算法相比，要逊色一些。此外，在棘手环境下，如风浪导致的船舶剧烈颠簸或姿态巨变、遮挡和目标模糊等，由于数据集样本较少，通常叠加使用镜像、旋转、裁剪等技术以增广数据集，由于参数多为随机选取，可能因无法全覆盖各种目标状态导致重复训练某个范围内的目标状态，引起训练效率低以及误检测与漏检测等问题。
[0004]针对上述问题，通过实验发现：采用One
‑
stage框架中的YOLO V3算法框架结合两次迁移学习，可以提高检测速度与精度，使检测系统满足实时性要求；采用固定步长旋转，实现覆盖360
°
目标状态，可以提高其检测精度；采用增广与拼接可以提高不同尺度目标在混杂场景中的小目标检测精度。

技术实现思路

[0005]本专利技术所要解决的技术问题是针对上述现有技术的不足，提供基于两次迁移学习和数据增广的船舶目标检测方法，解决棘手场景中样本数据难以大量获得、基于深度学习的船舶目标检测中小样本学习困难的问题，提高鲁棒性、准确性和快速性，可用于智慧海洋、港口监控、智慧城市等人工智能领域。
[0006]为实现上述技术目的，本专利技术采取的技术方案为：
[0007]基于两次迁移学习和数据增广的船舶目标检测方法，包括：
[0008]步骤1.建立船舶目标的小样本图像数据集；
[0009]步骤2.对步骤1数据集进行数据增广，以扩充图像数据集的总样本数量；
[0010]步骤3.对步骤2增广后的图像数据集中的每个图像进行标注，得到符合Pascal VOC格式的xml标签文件，将标注后的数据集按比例划分为训练集和测试集；
[0011]步骤4.采用两次迁移学习技术来构建以YOLO V3为框架的船舶检测模型：对Darknet网络模型进行预训练，从Coco数据集中筛选出Boat类图像及标签文件，并将其应用在预训练好的Darknet网络模型上，进行第一次迁移学习，得到船舶检测初步模型；
[0012]步骤5.利用步骤3训练集图像在步骤4船舶检测初步模型上进行第二次迁移学习，并利用步骤3测试集对第二次迁移学习后得到的模型进行测试，获得最终的船舶检测模型；
[0013]步骤6.利用步骤5最终船舶检测模型，对待检测视频图像序列进行检测，获得船舶目标检测结果。
[0014]为优化上述技术方案，采取的具体措施还包括：
[0015]上述的步骤2中，利用固定步长全覆盖旋转和图像拼接对步骤1数据集进行数据增广，以扩充图像数据集的总样本数量。
[0016]上述的固定步长覆盖旋转，如式(1)所示：
[0017][0018]式中：(x0,y0)为原始图像坐标；(x,y)为旋转后图像坐标；H
rotate
为旋转矩阵；旋转范围为[0
°
，360
°
]；表示每次旋转的步长；i∈[0、1、2、...n
‑
1]表示旋转的序数；n∈[36、45、60、90、180]为总旋转次数，以使旋转范围全覆盖。
[0019]上述的图像拼接，具体为：
[0020]首先按照每隔三张图像选取一张图像为步长来抽取一定数量的图像进行图像拼接，即：每四幅图像分为一组，然后对组内每幅图像的宽高按照1/2
×
1/2的比例进行缩小如式(2)所示，使四幅图像拼接后的尺度等于原始图像尺度；
[0021]再进行拼接的公式如式(3)所示，最后将拼接图像放进图像数据集中：
[0022][0023][0024]其中：(x,y)为旋转后图像坐标；为缩放后图像坐标；H
scale
为尺度缩放矩阵；
[0025]为缩小后得到的四幅对应图像,，可作为一组构成拼接图像A'
w*h
；w，h表示原始图像的宽高尺度。
[0026]上述的步骤3中，采用Labeling标注工具对图像逐个进行标注，生成与图像相对应的xml标签文件。
[0027]上述的步骤3还包括：
[0028]利用式(4)～(5)对标注后的目标外接矩形框参数进行归一化处理，并通过式(6)～(7)得到归一化后的矩形框中心坐标：
[0029][0030][0031][0032][0033]其中：w
i
、h
i
表示当前图像中第i个目标外接矩形框归一化后的宽度和高度；表示当前图像中第i个目标外接矩形框归一化后的宽度和高度；分别表示归一化处理之前的目标外接矩形框左上角坐标和右下角坐标；W、H表示图像数据集中任一图像的宽度和高度；x
i
、y
i
分别表示目标i归一化后的外接矩形框中心横、纵坐标。
[0034]上述的步骤4和步骤5的迁移学习过程中，参数的学习更新基于小批量梯度下降算法(Mini
‑
Batch Gradient Descent)，具体为：
[0035]首先计算小批量样本数据B
t
在目标函数f(θ)位于θ
t
‑1处的梯度g
t
，如式(8本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于两次迁移学习和数据增广的船舶目标检测方法，其特征在于，包括：步骤1.建立船舶目标的小样本图像数据集；步骤2.对步骤1数据集进行数据增广，以扩充图像数据集的总样本数量；步骤3.对步骤2增广后的图像数据集中的每个图像进行标注，得到符合Pascal VOC格式的xml标签文件，将标注后的数据集按比例划分为训练集和测试集；步骤4.采用两次迁移学习技术来构建以YOLO V3为框架的船舶检测模型：对Darknet网络模型进行预训练，从Coco数据集中筛选出Boat类图像及标签文件，并将其应用在预训练好的Darknet网络模型上，进行第一次迁移学习，得到船舶检测初步模型；步骤5.利用步骤3训练集图像在步骤4船舶检测初步模型上进行第二次迁移学习，并利用步骤3测试集对第二次迁移学习后得到的模型进行测试，获得最终的船舶检测模型；步骤6.利用步骤5最终船舶检测模型，对待检测视频图像序列进行检测，获得船舶目标检测结果。2.根据权利要求1所述的基于两次迁移学习和数据增广的船舶目标检测方法，其特征在于，所述步骤2中，利用固定步长全覆盖旋转和图像拼接对步骤1数据集进行数据增广，以扩充图像数据集的总样本数量。3.根据权利要求2所述的基于两次迁移学习和数据增广的船舶目标检测方法，其特征在于，所述固定步长覆盖旋转，如式(1)所示：式中：(x0,y0)为原始图像坐标；(x,y)为旋转后图像坐标；H
rotate
为旋转矩阵；旋转范围为[0
°
，360
°
]；表示每次旋转的步长；i∈[0、1、2、...n
‑
1]表示旋转的序数；n∈[36、45、60、90、180]为总旋转次数，以使旋转范围全覆盖。4.根据权利要求2所述的基于两次迁移学习和数据增广的船舶目标检测方法，其特征在于，所述图像拼接，具体为：首先按照每隔三张图像选取一张图像为步长来抽取一定数量的图像进行图像拼接，即：每四幅图像分为一组，然后对组内每幅图像的宽高按照1/2
×
1/2的比例进行缩小如式(2)所示，使四幅图像拼接后的尺度等于原始图像尺度；再进行拼接的公式如式(3)所示，最后将拼接图像放进图像数据集中：再进行拼接的公式如式(3)所示，最后将拼接图像放进图像数据集中：
其中：(x,y)为旋转后图像坐标；为缩放后图像坐标；H
scale
为尺度缩放矩阵；为缩小后得到的四幅对应图像,，可作为一组构成拼接图像A'
w*h
；w，h表示原始图像的宽高尺度。5.根据权利要求...

【专利技术属性】
技术研发人员：路红，邱春，杜一君，刘义亭，彭俊，花湘，万文明，秦彬鑫，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：