一种多传感器决策级融合的智能船水面目标感知识别方法技术

本发明专利技术涉及无人智能船舶领域，尤其是一种多传感器决策级融合的智能船水面目标感知识别方法，包括光学摄像机和多个传感器，所述传感器可采用摄像头、导航雷达、AIS、激光雷达中的任意两个即以上，包括如下步骤，首先对传感器内外参数进行标定；然后，根据导航雷达ARPA目标、AIS目标与激光雷达检测的目标结果，设计了多传感器目标决策级融合的匹配融合方法，获得水面目标在世界坐标系的位置；最后，根据前视相机图像识别结果方位角重合度匹配融合目标与前方危险目标类别识别结果。通过各传感器优势互补，从而获得高鲁棒性的环境感知与障碍物检测识别工作，为智能船自主航行避碰、目标跟踪提供保障。

A multi-sensor decision level fusion method for surface target recognition of intelligent ship

【技术实现步骤摘要】
一种多传感器决策级融合的智能船水面目标感知识别方法
本专利技术涉及无人智能船舶领域，尤其是一种多传感器决策级融合的智能船水面目标感知识别方法。
技术介绍
水面无人船作为一种可扩展的水面任务平台，其工作环境复杂、区域未知度高。全天候，长时间，高适应，高鲁棒的全自动目标检测、识别、跟踪，是保证其安全航行与执行任务的关键技术。无人船平台在进行环境感知和目标识别时，使用的主要手段是雷达、AIS和光电成像设备等，但这些方法均具有一些局限性。首先是海面环境适应性问题，一是小吨位无人船相比于其他无人智能系统典型特点是在高海况时平台高动态性，目标晃出传感器探测范围造成检测和跟踪的失败，特别是高程变化影响光学系统的目标距离解算精度；二是海上环境复杂多变，雨雾天气概率大，影响传感器探测效果，造成光学设备图像的分析和判断的困难。其次是传感器自身存在局限性，导航雷达探测距离远但近距离存在盲区，探测频率低，小目标和快速目标捕获跟踪比较困难；光电系统分辨力高，可以分辨目标特性，但目标测距误差较大，环境适应能力存在局限；激光雷达可以获取目标精确的距离信息和三维轮廓信息，但不具备远距离的探测能力、垂直分辨率及高海况时帧间目标统一较难完成。当前在多传感器协同和信息融合方面的研究开展较少，尚欠缺成熟的方法。需要根据无人智能船感知探测传感器的特点及应用场景的需求，针对传感器特性，设计基于多传感器优势互补的联合感知方法。
技术实现思路
本专利技术的目的在于弥补现有船舶在水面目标探测中各个传感器检测范围和精度的局限，提升海上的复杂环境适应性，提供一种多传感器决策级融合的智能船水面目标感知识别方法。本专利技术采取的技术方案是：一种多传感器决策级融合的智能船水面目标感知识别方法，包括光学摄像机，其特征在于：还包括多个传感器，所述传感器可采用摄像头、导航雷达、AIS、激光雷达、毫米波雷达中的任意两个及以上，包括如下步骤：步骤1，利用标定板标定光学摄像机内参，测定各个传感器到本船坐标系的旋转和平移矩阵；步骤2，根据各传感器观测目标信息和本船相应时刻的位置姿态估算信息，解算目标在本船坐标系下的相对位置速度与大地坐标系下的经纬度和对地速度；步骤3，根据本船定位信息，读取数据库中与本船距离5NM的静态障碍物先验信息输入目标融合模块；步骤4，将解算后的目标信息输入目标融合模块，通过滤波对已跟踪的融合目标预测实现与观测目标时空同步；步骤5，维护融合目标池，采用最小距离成本匹配观测目标和融合目标，并更新融合目标信息；依据未融合的观测目标建立新的融合目标加入跟踪目标序列，移除丢失原融合目标；步骤6，根据光学摄像头目标方位信息，将船艏90°视场内的融合目标与图像识别结果根据方位角范围重叠度和目标类型置信度进行匹配；步骤7，依据传感器优先级定义发布融合后的目标列表以及目标的置信度评价，并在数据库存储静态目标的经纬度信息。进一步的，所述步骤2中，各传感器和目标融合模块均采用定位模块授时信息，在本船位置姿态信息由于发送频率低于50Hz时，可以通过线性插值估计特定时间戳的位姿信息。进一步的，所述步骤3中，所述的时空同步采用卡尔曼滤波算法，通过卡尔曼滤波根据融合目标的位置和速度对融合目标进行预测,具体为观测时刻某个目标的状态，可以通过6维向量既x，y两个方向上的相对位置、速度、加速度去刻画目标。进一步的，所述步骤4中，采用并行融合方案，即各个传感器的目标感知模块单独完成目标检测流程，分别检测出各自的疑似目标信息；通过维护融合目标池，以各个感知模块的目标输入做触发，根据对地平均速度阈值划分动静态目标；通过鲁棒卡尔曼滤波器采用线性恒定运动速度模型，完成感知模块观测目标和融合模块融合跟踪目标间的时间同步，获得相同时空坐标下的感知观测目标和融合跟踪目标。进一步的，所述步骤5中，所述融合目标由数据库中已记录的静态目标先验信息初始化，通过各个传感器之前的观测结果经融合算法更新，融合目标信息包括跟踪id、跟踪时长、最后跟踪时间与各个传感器的分别的目标检测信息。本专利技术的优点和积极效果是：本专利技术中，首先对传感器内外参数进行标定；然后，根据导航雷达ARPA目标、AIS目标与激光雷达检测的目标结果，设计了多传感器目标决策级融合的匹配融合方法，获得水面目标在世界坐标系的位置；最后，根据前视相机图像识别结果方位角重合度匹配融合目标与前方危险目标类别识别结果。通过各传感器优势互补，从而获得高鲁棒性的环境感知与障碍物检测识别工作，为智能船自主航行避碰、目标跟踪提供保障。本专利技术中，激光雷达与导航雷达具有主动传感器的优点，能够全天候，全方位进行障碍物信息获取。激光雷达侧重船只近距离的高更新率障碍物信息获取，导航雷达负责远距离，大量程的障碍物信息获取。采用前视光学传感器，完成环境理解工作，进行航向方向的目标检测与识别。最后对多个传感器的信息进行融合，优势互补，实现高鲁棒性的环境感知与障碍物检测识别。本专利技术中，通过观测结果更新卡尔曼滤波器预测参数，收集目标跟踪的置信度，从而提升卡尔曼滤波运动估计鲁棒性和平滑度。考虑到无人船实际场景感知设备存在盲区和遮挡，并且在高海况时由于船体晃动幅度超过传感器探测范围等原因。在匹配过程中采用级联匹配的策略，通过记录每个融合目标从上一次成功匹配到当前的时间，给观测频率更高的目标分配更高的优先级，从而解决目标被遮挡时，两个融合跟踪目标同时竞争一个观测目标，卡尔曼滤波器无法正常更新的问题。由于各个传感器事先进行了静态标定和惯导坐标对齐，利用时-空的相关性和连续性，通过在目标融合模块内部建立和维护一组融合跟踪目标池分别各个传感器获得的观测目标进行比对和关联，有效消除虚警和漏检，通过传感器互补丰富目标信息，最后输出融合后的目标列表。本专利技术中，本融合方案属于决策级融合，为适应传感器探测周期和探测距离不同，采用并行融合方案，即各个传感器目标感知模块单独完成目标检测流程，分别检测出各自的疑似目标信息，融合算法通过各传感器的目标信息完成融合。本专利技术实现异源传感器决策级融合，采用多传感器融合的方式进行整体智能船环境感知。通过信息融合解决不同探测能力范围、探测周期、运行机理传感器感知探测差异。本专利技术实现简单、容易实现，通过模拟障碍物实船验证结果表明，能够获得高鲁棒性的环境感知与障碍物检测识别工作。附图说明图1是本专利技术融合方法的整体流程；图2是本专利技术的传感器协同探测区域示意图；图3是本专利技术的融合目标管理流程；图4是本专利技术雷达、激光雷达与摄像头的探测结果与基于电子海图的融合目标验证效果图。具体实施方式下面结合实施例，对本专利技术进一步说明，下述实施例是说明性的，不是限定性的，不能以下述实施例来限定本专利技术的保护范围。本专利技术采取的技术方案是：一种多传感器决策级融合的智能船水面目标感知识别方法，本专利技术的创新在于，如图2所示，采用光学摄像机、导航雷达、激光雷达融合的方式进行无人船水面目标检测识别的各个传感本文档来自技高网...

【技术保护点】
1.一种多传感器决策级融合的智能船水面目标感知识别方法，包括光学摄像机，其特征在于：还包括多个传感器，所述传感器可采用摄像头、毫米波雷达、导航雷达、AIS、激光雷达中的任意两个及以上，包括如下步骤：/n步骤1，利用标定板标定光学摄像机内参，测定各个传感器到本船坐标系的旋转和平移矩阵；/n步骤2，根据各传感器观测目标信息和本船相应时刻的位置姿态估算信息，解算目标在本船坐标系下的相对位置速度与大地坐标系下的经纬度和对地速度；/n步骤3，根据本船定位信息，读取数据库中与本船距离5NM的静态障碍物先验信息输入目标融合模块；/n步骤4，将解算后的目标信息输入目标融合模块，通过滤波对已跟踪的融合目标预测实现与观测目标时空同步；/n步骤5，维护融合目标池，采用最小距离成本匹配观测目标和融合目标，并更新融合目标信息；依据未融合的观测目标建立新的融合目标加入跟踪目标序列，移除丢失原融合目标；/n步骤6，根据光学摄像头目标方位信息，将船艏90°视场内的融合目标与图像识别结果根据方位角范围重叠度和目标类型置信度进行匹配；/n步骤7，依据传感器优先级定义发布融合后的目标列表以及目标的置信度评价，并在数据库存储静态目标的经纬度信息。/n...

【技术特征摘要】
1.一种多传感器决策级融合的智能船水面目标感知识别方法，包括光学摄像机，其特征在于：还包括多个传感器，所述传感器可采用摄像头、毫米波雷达、导航雷达、AIS、激光雷达中的任意两个及以上，包括如下步骤：
步骤1，利用标定板标定光学摄像机内参，测定各个传感器到本船坐标系的旋转和平移矩阵；
步骤2，根据各传感器观测目标信息和本船相应时刻的位置姿态估算信息，解算目标在本船坐标系下的相对位置速度与大地坐标系下的经纬度和对地速度；
步骤3，根据本船定位信息，读取数据库中与本船距离5NM的静态障碍物先验信息输入目标融合模块；
步骤4，将解算后的目标信息输入目标融合模块，通过滤波对已跟踪的融合目标预测实现与观测目标时空同步；
步骤5，维护融合目标池，采用最小距离成本匹配观测目标和融合目标，并更新融合目标信息；依据未融合的观测目标建立新的融合目标加入跟踪目标序列，移除丢失原融合目标；
步骤6，根据光学摄像头目标方位信息，将船艏90°视场内的融合目标与图像识别结果根据方位角范围重叠度和目标类型置信度进行匹配；
步骤7，依据传感器优先级定义发布融合后的目标列表以及目标的置信度评价，并在数据库存储静态目标的经纬度信息。


2.根据权利要求1所述的一种多传感器决策级融合的智能船水面目标感知识别方法，其特征在于：所述步骤2中，各传感器和目标融合模...

【专利技术属性】
技术研发人员：武智强，刘乃道，董金发，朱少辉，邓丽辉，于晓龙，
申请(专利权)人：中国船舶重工集团公司第七零七研究所，
类型：发明
国别省市：天津;12