一种船舶航行多信息融合方法技术

本发明专利技术公开了一种船舶航行多信息融合方法，包括：步骤1：多目标船信息预处理；步骤2：船舶AIS信息中目标船状态插值；步骤3：雷达与AIS信息初步融合；步骤4：视觉图像信息再融合；步骤5：融合目标实时更新。本发明专利技术考虑了雷达、AIS、视觉图像三种信息，比以往仅考虑雷达和AIS目标融合算法相比，扩展了融合信息类别，可得到更为准确的融合目标信息；通过设定雷达和AIS融合后，再与视觉图像融合的步骤和策略，避免预先设定众多假设条件、主观约定等非客观情况，保证了融合目标的准确性和快速性；本发明专利技术通过视觉图像二维可视化方式，利用图像、文字和数据综合显示方式，更为直观反映目标融合的结果，提供了友好的人机交互模式。

【技术实现步骤摘要】
一种船舶航行多信息融合方法
本专利技术涉及一种船舶航行多信息融合方法，属于信息融合

技术介绍
船舶航行过程中可通过雷达、AIS和摄像头取周边船舶的信息，为驾驶人员提供多种信息源，雷达的主动扫描、AIS被动接收以及摄像头的主动拍摄，可以提供各有侧重的信息，提高船舶航行安全性。但是固态雷达扫描获得的信息较少，AIS信息虽然信息多，但有时目标船不启动发送AIS信息，摄像头的信息虽然直观，但是不能直接提供目标的位置信息，为此需要一种可将全部或部分雷达信息、AIS信息以及图像信息融合在一起的方法。目前典型的船舶航行多信息融合方法主要基于属性特征的多信息信息融合方法。如刘芳武在文献《一种多智能体信息融合船舶避碰系统》中，提出一种基于船舶属性的多数据融合方法，将多数据源的信息属性划分，相同属性叠加融合处理；再比如申其兵在文献《船舶导航系统中雷达与AIS信息融合系统分析》中，提出一种雷达与AIS信息融合算法，采用分布式方式构建信息属性，在标准属性基础上完成雷达和AIS信息融合。以上文献在信息融合过程中存在如下问题：一是融合信息大多是2种，主要以雷达和AIS信息融合为主；二是需要对信息做复杂的预处理，比如提前划分信息属性，主观因素影响较大。
技术实现思路
针对上述现有技术，本专利技术要解决的技术问题是提供一种船舶航行多信息融合方法，船舶在航行过程中，在获取雷达目标、AIS目标、图像目标后，可实现对以上三种目标完成信息融合，形成可靠的目标结果。为解决上述技术问题，本专利技术一种船舶航行多信息融合方法，包括以下步骤：步骤1：多目标船信息预处理：按照时间戳每个时间点均在系统内存中划分出雷达、AIS和视觉目标，并对每一个目标设定变量，包括：目标ID号、目标检测时间、目标在本船坐标系下距离、方位、目标的经纬度、AIS编号、目标所在全景视觉系统中某一路相机编号及图像中的位置坐标；步骤2：船舶AIS信息中目标船状态插值：获取AIS解码后的目标船状态，采用对目标船状态线性插值方法，将AIS目标运动平滑化处理；步骤3：雷达与AIS信息初步融合，具体为：步骤3.1：雷达目标同一性检测，具体为：根据当前时刻目标1位置A及当前目标的速度V预测时长td后的位置，即目标1位置B，并以位置B为圆心、半径为R的区域为检测域，如果在该检测域内、td时刻后存在回波目标，则判定目标1和目标2是同一目标，即目标2是td时刻后目标1的成像；步骤3.2：选取连续的雷达与AIS目标，具体为：设置时间点t0及时长tm，在t0到t0+tm这段时间内，按照相同时间点等间隔分别获取N个雷达和AIS目标，雷达目标1到N的位置、速度、航向分别为(xr1,yr1)、Vr1、θr1、...、(xrN,yrN)、VrN、θrN；AIS目标1到N的位置、速度、航向分别为(xa1,ya1)、Va1、θa1、...、(xaN,yaN)、VaN、θaN；步骤3.3：雷达与AIS目标同一性判定，具体为：在t0到t0+tm这段时间内，计算置信度J：J＝k1·Δp+k2·ΔV+k3·Δθ其中，k1、k2和k3为权重系数，设定阈值Jset，当J＜Jset时，则表示在t0到t0+tm这段时间内，该雷达和AIS目标指的是同一目标；步骤3.4：融合目标标识关联，具体为：雷达和AIS目标关联后，为该雷达标志赋予AIS中MMSI编号，当AIS信号消失或者雷达与AIS信号融合失败，该雷达目标被赋予的MMSI编号作用给定时间后，自动消失；步骤4：视觉图像信息再融合，具体为：步骤4.1：确定相机编号：根据雷达和AIS融合目标在本船坐标系中的方位角，确定融合目标与360度全景视觉系统中成像对应的相机；步骤4.2：采用三维坐标系映射为二维坐标方式，对初步融合目标进行预处理，具体为：空间直角坐标系oxyz，xy平面为水平面，xz面为垂直面，xz面为视觉图像所在平面，雷达和AIS融合后目标位于水平面内，增加海平面信息后，得到三维坐标，将该目标空间位置(xc,yc,zc)向xz平面做投影，形成二维成像点ov，坐标为(xv,zv)；在图像检测出目标船的基础上，获得目标船位置，目标船识别框位置中心为os，坐标为(xs,zs)；步骤4.3：距离有效性判定，具体为：定义雷达和AIS融合目标的有效监测距离范围[Dmin,Dmax]，当雷达和AIS融合目标在本船坐标系内距离本船距离Dtarget满足Dmin＜Dtarget＜Dmax情况时，则表示目标距离判定是有效的；步骤4.4：目标同一性判定，具体为：将图像识别框中心os和雷达AIS融合目标投影点ov，与本船坐标系原点ow连线，计算owos与owov直线夹角γ，设定目标成像夹角阈值γmax，当γ＜γmax时，表示雷达和AIS融合目标与图像检测目标是同一目标，反之则不是同一目标；步骤4.5：融合目标标识关联，具体为：当雷达和AIS融合目标与图像检测目标是同一目标后，图像目标被赋予AIS中MMSI编号，当AIS信号消失或者雷达及AIS融合目标与图像识别目标再融合失败时，图像识别目标被赋予的MMSI编号作用给定时间后，自动消失。步骤5：融合目标实时更新：当雷达、AIS、图像信号都存在时，判定以上3类信息的融合目标的MMSI编号是否已存在，如存在，则表示是原来的融合目标，只对状态更新；当只存在雷达、图像2种信号的融合目标时，此时没有MMSI编号，则为该融合目标分配自定义编号，并且根据融合目标位置、速度、航向数据，动态计算未来的位置，当实际融合目标位置与预测位置的距离小于给定阈值时，该情况下的2种信息目标编号不动，否则被赋予新编号；记录AIS、雷达、视觉信息中各目标的当前最新时刻和历史时刻的目标信息，存储于计算机内存中，并标记每个类型的每个目标在每个时刻是否已完成融合的标志，如果已被融合过，那么在内存信息列表中删除，如果新接收到目标信息，则增补到列表信息中。本专利技术还包括：对步骤5得到的多目标信息融合进行可视化显示，采用二维图像方式展示目标融合状态。本专利技术的有益效果：本专利技术提出的船舶航行多信息融合方法考虑了雷达、AIS、视觉图像三种信息，比以往仅考虑雷达和AIS目标融合算法相比，扩展了融合信息类别，可得到更为准确的融合目标信息；本专利技术通过设定雷达和AIS融合后，再与视觉图像融合的步骤和策略，避免预先设定众多假设条件、主观约定等非客观情况，保证了融合目标的准确性和快速性；本专利技术通过视觉图像二维可视化方式，利用图像、文字和数据综合显示方式，更为直观反映目标融合的结果，提供了友好的人机交互模式。本专利技术针对雷达、AIS以及摄像头图像信息开展多信息融合工作，与前人相比扩展了信息融合类型，在不需要复杂的预处理的前提下开展目标融合工作，具有良好的快速性和准确性。为船舶航行提供更为准确的融合目标，提高船舶航行的安全性。本文档来自技高网...

【技术保护点】
1.一种船舶航行多信息融合方法，其特征在于，包括以下步骤：/n步骤1：多目标船信息预处理：按照时间戳每个时间点均在系统内存中划分出雷达、AIS和视觉目标，并对每一个目标设定变量，包括：目标ID号、目标检测时间、目标在本船坐标系下距离、方位、目标的经纬度、AIS编号、目标所在全景视觉系统中某一路相机编号及图像中的位置坐标；/n步骤2：船舶AIS信息中目标船状态插值：获取AIS解码后的目标船状态，采用对目标船状态线性插值方法，将AIS目标运动平滑化处理；/n步骤3：雷达与AIS信息初步融合，具体为：/n步骤3.1：雷达目标同一性检测，具体为：/n根据当前时刻目标1位置A及当前目标的速度V预测时长t

【技术特征摘要】
1.一种船舶航行多信息融合方法，其特征在于，包括以下步骤：
步骤1：多目标船信息预处理：按照时间戳每个时间点均在系统内存中划分出雷达、AIS和视觉目标，并对每一个目标设定变量，包括：目标ID号、目标检测时间、目标在本船坐标系下距离、方位、目标的经纬度、AIS编号、目标所在全景视觉系统中某一路相机编号及图像中的位置坐标；
步骤2：船舶AIS信息中目标船状态插值：获取AIS解码后的目标船状态，采用对目标船状态线性插值方法，将AIS目标运动平滑化处理；
步骤3：雷达与AIS信息初步融合，具体为：
步骤3.1：雷达目标同一性检测，具体为：
根据当前时刻目标1位置A及当前目标的速度V预测时长td后的位置，即目标1位置B，并以位置B为圆心、半径为R的区域为检测域，如果在该检测域内、td时刻后存在回波目标，则判定目标1和目标2是同一目标，即目标2是td时刻后目标1的成像；
步骤3.2：选取连续的雷达与AIS目标，具体为：
设置时间点t0及时长tm，在t0到t0+tm这段时间内，按照相同时间点等间隔分别获取N个雷达和AIS目标，雷达目标1到N的位置、速度、航向分别为(xr1,yr1)、Vr1、θr1、...、(xrN,yrN)、VrN、θrN；AIS目标1到N的位置、速度、航向分别为(xa1,ya1)、Va1、θa1、...、(xaN,yaN)、VaN、θaN；
步骤3.3：雷达与AIS目标同一性判定，具体为：
在t0到t0+tm这段时间内，计算置信度J：









J＝k1·Δp+k2·ΔV+k3·Δθ
其中，k1、k2和k3为权重系数，设定阈值Jset，当J＜Jset时，则表示在t0到t0+tm这段时间内，该雷达和AIS目标指的是同一目标；
步骤3.4：融合目标标识关联，具体为：
雷达和AIS目标关联后，为该雷达标志赋予AIS中MMSI编号，当AIS信号消失或者雷达与AIS信号融合失败，该雷达目标被赋予的MMSI编号作用给定时间后，自动消失；
步骤4：视觉图像信息再融合，具体为：
步骤4.1：确定相机编号：
根据雷达和AIS融合目标在本船坐标系中的方位角，确定融合目标与360度全景视觉系统中成像对应的相机；
步骤4.2：采用三维坐标系映射为二维坐标方...

【专利技术属性】
技术研发人员：王立鹏，张智，张秋雨，王学武，马文龙，张佳鹏，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江;23