一种基于多模态数据融合补偿自适应优化的船舶检测方法技术

本发明专利技术公开了一种基于多模态数据融合补偿自适应优化的船舶检测方法，涉及船舶目标检测领域。该方案包括对齐监控摄像头画面坐标和AIS经纬度坐标；根据AIS信息获取船只位置，并转变成画面中船只的位置；通过图像目标检测算法检测监控画面所有船只的位置和大小；比对AIS所检测的船只位置和图像检测的船只位置，进行补偿修正；利用修正后的船只位置对图像目标检测算法进行增量学习，从而提升船只检测的准确率；该船舶检测方法充分利用AIS信息，对图像检测模型进行增量优化学习，无须人工标注即可改善船舶图像检测算法性能，并提高对关闭AIS船只的检测能力，具有适用性强、可靠性高的优点。

【技术实现步骤摘要】
一种基于多模态数据融合补偿自适应优化的船舶检测方法
本专利技术涉及船舶目标检测领域，具体涉及一种基于多模态数据融合补偿自适应优化的船舶检测方法。
技术介绍
通过视频自动分析的方法，自动检测水面船舶，提取船舶的位置、大小、及外形特征，是作为船舶身份自动识别的必要阶段，因其具备实时、无须人工干预的特点，能极大程度降低海事管理人力成本，成为船舶交通、港口管理等领域重要的信息采集手段。然而，基于视频图像的船舶目标检测方法容易受到光照、气象条件、遮挡等方面因素的影响，导致检测准确率下降，通常需要基于人工标注的方法，对部署现场的船只图像进行大量人工标注，并对图像检测算法进行增量训练来提升检测的准确率。近年来，提出了一些结合AIS和监控视频的船舶检测方法，例如：专利文献CN201811360912.4公布的基于AIS与视频数据融合的船舶身份识别方法，通过匹配AIS中船舶位置与图像中检测到的船舶位置，确定图像中的船舶的身份信息。专利文献CN201510066588.5公布的基于AIS和CCTV的海事智能监控方法及系统，通过AIS信息计算船舶进入监控区域的时间，调度摄像头进行图像识别。但是，已有方法仍存在以下三方面不足：1)依赖AIS信息，无法对部分关闭AIS的船只进行准确检测；2)基于图像的船舶检测算法没有根据现场环境的自适应优化功能，容易受到光照、气象条件、遮挡等方面因素的影响；3)AIS与图像处理只是阶段性融合，AIS信息的引入并没有改善船舶图像检测算法本身的性能。
技术实现思路
为了解决上述技术问题，本专利技术的目的在于提供一种基于多模态数据融合补偿自适应优化的船舶检测方法，其包括对齐监控摄像头画面坐标和AIS经纬度坐标；根据AIS信息获取船只位置，并转变成画面中船只的位置；通过图像目标检测算法检测监控画面所有船只的位置和大小；比对AIS所检测的船只位置和图像检测的船只位置，进行补偿修正；利用修正后的船只位置对图像目标检测算法进行增量学习，从而提升船只检测的准确率；该船舶检测方法充分利用AIS信息，对图像检测模型进行增量优化学习，无须人工标注即可改善船舶图像检测算法性能，并提高对关闭AIS船只的检测能力，具有适用性强、可靠性高的优点。为实现上述专利技术目的，本专利技术采取的技术方案如下：一种基于多模态数据融合补偿自适应优化的船舶检测方法，包括以下步骤：步骤S1：对齐监控摄像头画面坐标和AIS(AutomaticIdentificationSystem，船舶自动识别系统)经纬度坐标，建立AIS经纬度坐标和监控摄像头画面坐标的映射关系；步骤S2：实时处理所接收到的过往船只的AIS信息，将船只的经纬度坐标转变成监控画面中船只的位置坐标；步骤S3：通过图像目标检测算法实时检测监控画面所有船只的位置和大小；步骤S4：利用步骤S2中得到的船只位置对步骤S3所获得的船只位置进行补偿修正，并将修正结果输出作为最终船只检测结果；步骤S5：利用步骤S4中所获得的补偿修正结果对图像目标检测算法进行增量学习。作为优选，所述步骤S1中，所述AIS经纬度坐标和监控摄像头画面坐标的映射关系的建立过程具体如下：步骤2.1：根据Haversine公式，计算摄像头所在的位置在水平面上的垂直投影位置O′和摄像头可视范围内的水面任意位置Ai的直线水平距离di，单位为m，O′和Ai的经度水平距离si，单位为m：其中：a、b均为中间变量值，O′(λ0，ψ0)为摄像头所在的位置在水平面上的垂直投影位置，Ai(λi，ψi)为摄像头可视范围内的水面任意位置，r为地球半径，单位为m；步骤2.2：由步骤2.1，计算O′和Ai的连线和地理真北方向的夹角βi：步骤2.3：由步骤2.1，计算O′和Ai的连线和垂直线的夹角θi：其中，H为摄像头距离水平面的高度，单位为m；步骤2.4：计算Ai在监控摄像头画面坐标(xi，yi)：其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像分辨率为X×Y，可得X和Y的参数值；θ为摄像头中心线与垂直线的夹角，β为摄像头中心线在水平面上的投影和地理真北方向的夹角，ωx为摄像头水平视场角，ωy为摄像头垂直视场角。作为优选，所述步骤S2中，根据AIS经纬度坐标和监控摄像头画面坐标映射关系计算得到Ai在监控摄像头画面坐标(xi，yi)即为过往船只在监控画面中的位置坐标。作为优选，ti时刻，第i艘船的AIS船只信息集合为{＜ti,λi,ψi＞}，根据步骤S1转换得到AIS船只画面位置信息集合Ωais＝{＜ti,xi,yi＞}。作为优选，通过步骤S3中的图像目标检测算法对监控视频中的画面进行实时检测，定位画面中船只的位置和大小，得到图像检测船只位置信息集合Ωimg＝{＜tk,xk,yk＞}，(xk,yk)指tk时刻第k艘船在监控画面中的位置。作为优选，所述步骤S4中对位置补偿修正过程为：利用步骤S2中转换后的AIS船只位置坐标Ωais对步骤S3所获得的图像检测船只位置坐标Ωimg进行补偿修正，具体过程如下：对于在Ωimg＝{＜tk,xk,yk＞}中查找时间戳等于ti的船只位置获得集合：其中α1和α2是两个正常数，当集合Θi为空的时候，将＜ti,xi,yi＞补偿到Ωimg中，也即是：Ωimg′←Ωimg∪＜ti,xi,yi＞，并将修正结果Ωimg′输出作为最终船只检测结果。作为优选，所述步骤S5中的增量学习为采用YOLOV3检测ti时刻对应的图像Ii，得到输出候选矩形区域中包含位置且置信度最大的区域，采用所有这些检测区域的集合作为模型输出来训练YOLOV3模型。相对于现有技术，本专利技术取得了有益的技术效果：1、根据摄像头的物理参数，对齐AIS经纬度坐标和摄像头画面坐标；2、利用AIS船只位置对图像检测所得的船只位置进行补偿修正，该补偿修正结果同时融合了AIS船只位置信息和监控图像检测获得的船只位置信息，对关闭AIS的船只也能准确检测，从而提高检测精度和可靠性；3、利用融合补偿修正结果对图像检测分类器进行增量训练，无须额外人工标注，即可改善船舶图像检测算法本身的性能。附图说明图1是本专利技术实施例中基于多模态数据融合补偿自适应优化的船舶检测方法的流程图。图2是本专利技术实施例中AIS经纬度坐标和监控摄像头画面坐标的映射关系计算方法示意图一；图3是本专利技术实施例中AIS经纬度坐标和监控摄像头画面坐标的映射关系计算方法示意图二；图4是本专利技术实施例中待检测的船只在画面中的位置示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例对本专利技术进行进一步详细说明，但本专利技术要求保护的范围并不局限于下述具体实施例。实施例参考图1，本实施例公本文档来自技高网...

【技术保护点】
1.一种基于多模态数据融合补偿自适应优化的船舶检测方法，其特征在于，包括以下步骤：/n步骤S1：对齐监控摄像头画面坐标和AIS经纬度坐标，建立AIS经纬度坐标和监控摄像头画面坐标的映射关系；/n步骤S2：实时处理所接收到的过往船只的AIS信息，将船只的经纬度坐标转变成监控画面中船只的位置坐标；/n步骤S3：通过图像目标检测算法实时检测监控画面所有船只的位置和大小；/n步骤S4：利用步骤S2中得到的船只位置对步骤S3所获得的船只位置进行补偿修正，并将修正结果输出作为最终船只检测结果；/n步骤S5：利用步骤S4中所获得的补偿修正结果对图像目标检测算法进行增量学习。/n

【技术特征摘要】
1.一种基于多模态数据融合补偿自适应优化的船舶检测方法，其特征在于，包括以下步骤：
步骤S1：对齐监控摄像头画面坐标和AIS经纬度坐标，建立AIS经纬度坐标和监控摄像头画面坐标的映射关系；
步骤S2：实时处理所接收到的过往船只的AIS信息，将船只的经纬度坐标转变成监控画面中船只的位置坐标；
步骤S3：通过图像目标检测算法实时检测监控画面所有船只的位置和大小；
步骤S4：利用步骤S2中得到的船只位置对步骤S3所获得的船只位置进行补偿修正，并将修正结果输出作为最终船只检测结果；
步骤S5：利用步骤S4中所获得的补偿修正结果对图像目标检测算法进行增量学习。


2.根据权利要求1所述的船舶检测方法，其特征在于，所述步骤S1中，所述AIS经纬度坐标和监控摄像头画面坐标的映射关系的建立过程具体如下：
步骤2.1：根据Haversine公式，计算摄像头所在的位置在水平面上的垂直投影位置O′和摄像头可视范围内的水面任意位置Ai的直线水平距离di，单位为m，O′和Ai的经度水平距离si，单位为m：












其中：a、b均为中间变量值，O′(λ0，ψ0)为摄像头所在的位置在水平面上的垂直投影位置，Ai(λi，ψi)为摄像头可视范围内的水面任意位置，r为地球半径，单位为m；
步骤2.2：由步骤2.1，计算O′和Ai的连线和地理真北方向的夹角βi：



步骤2.3：由步骤2.1，计算O′和Ai的连线和垂直线的夹角θi：



其中，H为摄像头距离水平面的高度，单位为m；
步骤2.4：计算Ai在监控摄像头画面坐标(xi，yi)：






其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像...

【专利技术属性】
技术研发人员：梁华，吕建明，李晓威，
申请(专利权)人：广州市赋安电子科技有限公司，
类型：发明
国别省市：广东;44