一种基于深度学习的船舶特征重识别方法、应用方法及系统技术方案

本发明专利技术公开一种基于深度学习的船舶特征重识别方法、应用方法及系统，采用对图像感知领域具有高效的处理能力的深度特征提取网络提取有区分度的深度特征，自主提取具备高层感知语义，不依赖于像素级别的改变，关注整体特征；解决了由于匹配不准确、检测错误率高造成的水上监管、船舶信息查询效率低等问题，能有效进行目标船舶甄别；采用PCB分块及矩阵式运算匹配，对于只出现部分的船舶也具有很好的识别效果，且匹配速度高；解决船舶变换、隐藏身份逃避监管等问题，对海事交通管理、事故调查，水利打击非法采砂，航道船舶过闸收费，海关打击走私活动等都有智能辅助作用，与现有技术中的船舶识别方法相比，在效率、成本、准确率上均具备明显优势。

A Method, Application Method and System of Ship Feature Recognition Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的船舶特征重识别方法、应用方法及系统
本专利技术涉及计算机视觉与图像识别领域，具体涉及一种基于深度学习的船舶特征重识别方法、应用方法及系统。
技术介绍
目前水上交通主要包括以下特点：一、水面背景具有波动性，且对光照十分敏感；二、江面没有像路面一样划定行驶线，船舶运动在江面呈现角度范围较车辆大得多；三、江面船舶行驶场景广阔，且船舶体积相差大，甚至可以达到10倍以上；因此，船舶目标在尺度检测方面难度较大，智能视频图像分析在水上船舶监管的应用上受到限制。现有技术中，海事监管普遍利用AIS系统和雷达系统，在直观程度上，AIS和雷达系统并不能给管理人员直观的信息感知。且二者在应用上也存在着一定的不足，具体的包括，一、不能像视频一样直观监控水上船舶现场，从而加大了水上交通事故调查及搜救指挥来的难度及效率；二、AIS系统是主动发送船舶信息的设备，船主可以随意修改AIS信息，或关闭AIS设备，不利于水上执法的监管；三、构建一个雷达系统的代价比较昂贵，而且雷达检测对于环境的依赖严重，容易受到建筑物、高大植物影响。公开号为CN108806334A的专利技术专利公开了一种基于图像的智能船舶身份识别方法，对于首次经过航道的船舶建立基于图像的船舶信息数据库，把抓拍区域的船舶特征与船舶数据库的船舶信息进行匹配，以判定船舶身份，主要是利用surf(SpeededUpRobustFeatures,加速稳健特征)对在航道内抓拍到的船舶进行特征提取作为待检索的船舶特征，再对待检索的船舶特征与船舶特征库进行暴力匹配，获取匹配点最多的船舶图像；该申请采用的特征是十几年前的人工设计特征surf，而surf特征主要关注图像的边缘特征点，不足以应对复杂的海面情况，对于在海面雾天拍摄到的图像，并不能提供足够的细节，且人工设计特征在一定程度上是机械性的，也就是说，只关注于特征点的局部信息，导致两张不同的图像，有某局部相似也能得到高的匹配分数。公开号为CN107886051A的专利技术专利公开了一种基于图像的船舶身份识别方法，主要利用背景差分法将原始图像与参考背景图像进行差分，从而获得在原始图像中的船舶目标二值图像，然后从船舶目标的二值图像中提取运动船舶目标的参数信息，所述参数信息包括船舶的位置、尺寸及颜色，将这些信息当成船舶的特征，再与船舶自身返回的AIS信息做比对，判断该船舶是否修改了AIS信息，若修改了信息则报警；该申请采用传统的背景差分方法作为图像处理手段获取海事领域船舶图像，检测率受到海面影响非常大，且由于海面具有波动性，水面反光会引起摄像头像素的剧烈变化，很容易引起误检。
技术实现思路
为了解决现有技术中的上述问题，即为了解决由于匹配不准确、检测错误率高造成的水上监管、船舶信息查询效率低等问题，本申请提供了一种基于深度学习的船舶特征重识别方法、应用方法及系统。本专利技术实施例一方面提供了一种基于深度学习的船舶特征重识别方法，所述方法包括：训练包括不同类型船舶图像构成的初始数据集，生成深度特征提取网络；按照预设样本数量采集首次经过航道的船舶图像样本，标识所述船舶图像样本，并将所述船舶图像样本输入深度特征提取网络提取船舶图像的深度特征构建船舶特征数据库；收集海面船舶图像建立船舶目标检测数据集，进行单一船舶目标检测，通过YOLO算法训练船舶目标检测网络；利用所述深度特征提取网络、船舶特征数据库及船舶目标检测网络进行船舶特征重拾别。进一步优选的，所述“训练包括不同类型船舶图像构成的初始数据集，生成深度特征提取网络”的包括：收集不同类型的船舶图像；搭建训练网络结构，采用随机梯度下降法进行训练。进一步优选的，所述“标识所述船舶图像样本，并将所述船舶图像样本输入深度特征提取网络提取船舶图像特征构建船舶特征数据库”，其方法包括：获取船舶自动识别系统标识和/或人工标识的基础信息；关联存储所述基础信息与所述船舶图像样本的深度特征。作为本专利技术的又一方面，本专利技术实施例还提供一种船舶特征重识别的应用方法，所述应用方法包括，获取视频流，采用船舶目标检测网络进行检测，获得船舶定位信息，分割目标区域；将所述目标区域输入深度特征提取网络，提取表示所述船舶图像的深度特征；采用PCB分块匹配对比所述表示所述船舶图像的深度特征与所述船舶特征数据库，确定所述船舶身份数据。进一步优选的，所述“获取视频流，采用船舶目标检测网络进行检测，获得船舶定位信息，分割目标区域”的方法包括，将所述视频流输入所述船舶目标检测网络，依次定位所述视频流的原始图像帧中的船体区域，判断所述船体区域的位置是否满足预设条件；若是，获得网络输出类标签及所述船体区域的坐标位置；采用图像处理函数库将所述船体区域分割，获得目标区域；若否，则进行下一图像帧的检测。进一步优选的，所述方法还包括，训练所述深度特征提取网络的初始数据集至少包括一个背景类，所述背景类至少包括水面、桥梁或浮漂中的一种或多种样本数据。进一步优选的，所述“采用PCB分块匹配对比所述表示所述船舶图像的深度特征与所述船舶特征数据库，确定所述船舶身份数据”方法包括，将所述表示所述船舶图像的深度特征与所述船舶特征数据库中存储的船舶图像特征进行基于部分的卷积基线网络的分块处理；计算余弦距离，并根据所述余弦距离确定匹配度。作为本专利技术的又一方面，本专利技术实施例一种基于深度学习的船舶特征重识别系统，所述系统包括：深度特征提取网络，用于提取船舶图像的深度特征；船舶特征数据库，用于关联存储预设样本船舶的基础信息与所述船舶图像的深度特征；船舶目标检测网络，用于检测视频流中的船舶，获得船舶定位信息，分割目标区域；基于部分的卷积基线网络，用于采用PCB分块匹配对比所述表示所述船舶图像的深度特征与所述船舶特征数据库，确定所述船舶身份数据。作为本专利技术的第四方面，本专利技术实施例一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时，实现如上述实施例的基于深度学习的船舶特征重识别方法，和/或所述程序被处理器执行时实现如上述实施例的基于深度学习的船舶特征重识别的应用方法。作为本专利技术的又一方面，本专利技术实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意实施例所述的基于深度学习的船舶特征重识别方法，和/或实现如上述任意实施例所述的基于深度学习的船舶特征重识别的应用方法。本专利技术实施例至少实现了如下技术效果：一、本专利技术实施例采用对图像感知领域具有高效的处理能力的深度特征提取网络提取有区分度的深度特征，再利用训练好的船舶目标检测网络对特定时期出现的船舶进行信息检索，将检测出的目标区域与船舶特征数据库中的深度特征做匹配进行船舶重识别；利用深度特征提取网络自主提取具备高层感知语义，不依赖于像素级别的改变，而关注于整体特征，解决了由于匹配不准确、检测错误率高造成的水上监管、船舶信息查询效率低等问题，能有效进行目标船舶甄别，其中，目标船舶包括存在有违法行为或信息不明的船舶。二、本专利技术实施例采用PCB分块方式进行匹配，在通过深度特征提取网络关注整体特征之余能兼顾局部特征，对于只出现部分的船舶也具有很好的识别效果；采用矩阵式运算匹配，匹配速度高。三、本专利技术实施例还能够解决船舶变本文档来自技高网...

【技术保护点】
1.一种基于深度学习的船舶特征重识别方法，其特征在于，所述方法包括：训练包括不同类型船舶图像构成的初始数据集，生成深度特征提取网络；按照预设样本数量采集首次经过航道的船舶图像样本，标识所述船舶图像样本，并将所述船舶图像样本输入深度特征提取网络提取船舶图像的深度特征构建船舶特征数据库；收集海面船舶图像建立船舶目标检测数据集，进行单一船舶目标检测，通过YOLO算法训练船舶目标检测网络；利用所述深度特征提取网络、船舶特征数据库及船舶目标检测网络进行船舶特征重拾别。

【技术特征摘要】
1.一种基于深度学习的船舶特征重识别方法，其特征在于，所述方法包括：训练包括不同类型船舶图像构成的初始数据集，生成深度特征提取网络；按照预设样本数量采集首次经过航道的船舶图像样本，标识所述船舶图像样本，并将所述船舶图像样本输入深度特征提取网络提取船舶图像的深度特征构建船舶特征数据库；收集海面船舶图像建立船舶目标检测数据集，进行单一船舶目标检测，通过YOLO算法训练船舶目标检测网络；利用所述深度特征提取网络、船舶特征数据库及船舶目标检测网络进行船舶特征重拾别。2.根据权利要求1所述的方法，其特征在于，所述“训练包括不同类型船舶图像构成的初始数据集，生成深度特征提取网络”的包括：收集不同类型的船舶图像；搭建训练网络结构，采用随机梯度下降法进行训练。3.根据权利要求1所述的方法，其特征在于，所述“标识所述船舶图像样本，并将所述船舶图像样本输入深度特征提取网络提取船舶图像的深度特征构建船舶特征数据库”，其方法包括：获取船舶自动识别系统标识和/或人工标识的基础信息；关联存储所述基础信息与所述船舶图像的深度特征。4.一种如权利要求1-3任意一项所述船舶特征重识别的应用方法，其特征在于，所述应用方法包括，获取视频流，采用船舶目标检测网络进行检测，获得船舶定位信息，分割目标区域；将所述目标区域输入深度特征提取网络，提取表示所述船舶图像的深度特征；采用PCB分块匹配对比所述表示所述船舶图像的深度特征与所述船舶特征数据库，确定所述船舶身份数据。5.根据权利要求4所述的方法，其特征在于，所述“获取视频流，采用船舶目标检测网络进行检测，获得船舶定位信息，分割目标区域”的方法包括，将所述视频流输入所述船舶目标检测网络，依次定位所述视频流的原始图像帧中的船体区域，判断所述船体区域的位置是否满足预设条件；若是，获得网络输出...

【专利技术属性】
技术研发人员：仙清光，豆昌秀，毛茹，
申请(专利权)人：厦门兴康信科技股份有限公司，广州创亿源智能科技有限公司，
类型：发明
国别省市：福建,35