水面目标融合辨识方法、系统、存储介质、计算机设备及终端技术方案

本发明专利技术属于船载雷达与视觉融合感知技术领域，公开了一种水面目标融合辨识方法、系统、存储介质、计算机设备及终端，通过异构传感器目标关联方法实现雷达与视觉数据预关联；基于连续两帧关联结果采用算法并以最小化重投影误差为依据，构建基于相邻帧信息的雷达

【技术实现步骤摘要】
水面目标融合辨识方法、系统、存储介质、计算机设备及终端


[0001]本专利技术属于船载雷达与视觉融合感知
，尤其涉及一种水面目标融合辨识方法、系统、存储介质、计算机设备及终端。

技术介绍

[0002]目前，船舶智能与无人化是未来航运发展的趋势，智能化无人化的发展必定要借助到环境感知传感器对目标进行感知，而对于目标船的感知一直是船舶航行的难题。融合多种船载传感器实现水面目标辨识是船舶智能航行环境感知的关键技术之一，特别在目标船舶AIS信息无法获取的情况下，雷达、视觉融合感知对水上非合作船舶目标的准确探测具有重要意义。
[0003]然而船载雷达、视觉融合受到本船船舶姿态影响较大，船舶姿态运动会使得无法准确了解各个坐标系之间的转换关系，导致船舶采用透视投影模型的融合方案会存在误差。同时水面目标距离本船较远，通过视觉估计距离的误差会随着距离的增加迅速增加，难以采用几何关系准确估计图像中目标特征的距离。利用常见的数据关联方法例如最近邻等进行船载雷达视觉数据关联的性能通常较差，尤其是从观测者视角看到多个目标物体大致处于同一视线方向时，在目标较多的环境中数据关联的性能下降更多，所以如何考虑以上问题设计船舶雷达视觉融合方案是一个需要解决的问题。
[0004]通过上述分析，现有技术存在的主要问题为：
[0005]1）船舶姿态变化影响大：船载雷达和视觉融合受到本船船舶姿态变化的影响较大。船舶在航行过程中，由于海浪、风等因素，会产生不同程度的姿态变化。这些变化会使得无法准确了解各个坐标系之间的转换关系，导致采用透视投影模型的融合方案存在误差。
[0006]2）两类信息融合过程中目标关联难：利用常见的数据关联方法（例如最近邻）进行船载雷达视觉数据关联的性能通常较差，尤其是在观测者视角看到多个目标物体大致处于同一视线方向时，数据关联的性能下降更多。

技术实现思路

[0007]针对现有技术存在的问题，本专利技术提供了一种水面目标融合辨识方法、系统、存储介质、计算机设备及终端。
[0008]本专利技术是这样实现的，一种水面目标融合辨识方法，所述水面目标融合辨识方法通过异构传感器目标关联方法实现雷达与视觉数据预关联；基于连续两帧关联结果采用RANSAC算法并以最小化重投影误差为依据，构建基于相邻帧信息的雷达
‑
视觉目标关键匹配点选取方法，进而利用选取的关键匹配点解算对应的相机参考位姿；对雷达与视觉目标点进行逐个配对，加入至关键匹配点列表中，解算对应的相机位姿，将解算结果与参考位姿进行比对，基于比对结果实现雷达与视觉目标关联融合。
[0009]进一步，所述水面目标融合辨识方法包括以下步骤：
[0010]第一步，对雷达与视觉数据进行解析后，分别对雷达与视觉进行目标检测与跟踪，
并利用雷达及视觉识别结果分别提取目标运动状态特征；
[0011]第二步，对雷达、视觉多种传感器数据进行时间同步，获得与雷达数据频率一致的传感器数据；
[0012]第三步，通过现有目标关联算法实现雷达与视觉数据预关联；
[0013]第四步，基于连续两帧关联结果采用RANSAC算法并以最小化重投影误差为依据，计算选取出关键匹配点；
[0014]第五步，对选取的关键匹配点进行合理性判别，若关键匹配点不合理则重复执行第四步；
[0015]第六步，利用关键匹配点，以最小化重投影误差为依据，解算对应的相机参考位姿；
[0016]第七步，对雷达与视觉目标点进行逐个配对，并将配对的点与关键匹配点结合，以最小化重投影误差为依据，解算配对点对应的相机位姿；
[0017]第八步，将配对点解算结果与相机参考位姿进行比对，基于比对结果实现雷达与视觉目标关联融合。
[0018]进一步，传感器坐标系的设置共定义4个坐标系，分别为像素坐标系、相机坐标系、雷达参考坐标系、惯性坐标系，其中雷达参考坐标系位置为相机坐标系的原点在水平面上的投影，并将雷达数据转换至雷达参考坐标系中。
[0019]进一步，所述第一步包括以下步骤：
[0020]（1）对雷达探测数据进行解析，获得雷达点云数据；
[0021]（2）采用雷达目标检测算法实现雷达目标与岸线的区分及识别，在此基础上提取了雷达目标运动状态特征；
[0022]（3）采用视觉目标检测算法对视觉目标进行检测，并提取视觉目标运动状态特征；
[0023]（4）采用目标跟踪算法分别实现雷达、视觉目标的跟踪，实现目标信息在相邻帧序列上的关联；
[0024]所述第四步具体包括以下步骤：
[0025]1）通过目标跟踪算法分别获得第t帧与第t
‑
1帧的雷达与视觉在相邻帧序列上的关联；
[0026]2）将第t帧数据预关联结果记为M
pre,t
`；
[0027]3）将第t
‑
1帧关联结果记为M
fusion,t
‑1，根据1）获得的雷达与视觉分别在相邻帧序列上的关联将该组t
‑
1帧的雷达与视觉关联结果以t帧对应的雷达视觉目标位置表示得到M
fusion,t
‑1`；
[0028]4）将第t
‑
1帧M
fusion,t
‑1`、第t帧M
pre,t
`合并输入RANSAC算法，采用相机位姿估计模型以最小化重投影误差为依据选取关键匹配点，并将RANSAC算法输出的关键匹配点记为M
ransac,t
。
[0029]进一步，所述第六步以最小化关键匹配点中雷达与视觉目标之间的重投影误差为依据，通过非线性优化手段优化相机在雷达参考坐标系中的位姿，解得到相机参考位姿T
ref = [x,y,z,roll,pitch,yaw]。
[0030]进一步，所述第七步具体包括以下步骤：
[0031]（1）将第t帧中所有雷达点Z
r
与视觉点Z
c
之间进行逐个匹配点的配对m
ij
=[Z
c
, Z
r
]；
[0032]（2）将关键匹配点M
ransac,t
和一组待验证的配对点m
ij
进行组合得到，通过相机位姿估计模型以最小化重投影误差为依据，求解得到该配对点m
ij
的最优相机位姿，将所有配对点的计算结果存入M
pose
中，M
pose
矩阵内所存放的是所有雷达视觉目标两两组合形成的配对点求得对应的相机位姿;
[0033]；
[0034]所述第八步具体包括以下步骤：
[0035]1）根据解得的相机参考位姿T
ref
辅助计算目标关联关系。由于在同一时刻，相机的位姿参数为固定值，故对M
pose
矩阵按行选取距离相机参考位姿T
ref
最近的点作为最终目标关联结果M...

【技术保护点】

【技术特征摘要】
1.一种水面目标融合辨识方法，其特征在于，所述水面目标融合辨识方法包括以下步骤：第一步，对雷达与视觉数据进行解析后，分别对雷达与视觉进行目标检测与跟踪，并利用雷达及视觉识别结果分别提取目标运动状态特征；第二步，对雷达、视觉多种传感器数据进行时间同步，获得与雷达数据频率一致的传感器数据；第三步，通过现有目标关联算法实现雷达与视觉数据预关联；第四步，基于连续两帧关联结果采用RANSAC算法并以最小化重投影误差为依据，计算选取出关键匹配点；第五步，对选取的关键匹配点进行合理性判别，若关键匹配点不合理则重复执行第四步；第六步，利用关键匹配点，以最小化重投影误差为依据，解算对应的相机参考位姿；第七步，对雷达与视觉目标点进行逐个配对，并将配对的点与关键匹配点结合，以最小化重投影误差为依据，解算配对点对应的相机位姿；第八步，将配对点解算结果与相机参考位姿进行比对，基于比对结果实现雷达与视觉目标关联融合。2.如权利要求1所述的水面目标融合辨识方法，其特征在于，传感器坐标系的设置共定义4个坐标系，分别为像素坐标系、相机坐标系、雷达参考坐标系、惯性坐标系，其中雷达参考坐标系位置为相机坐标系的原点在水平面上的投影，并将雷达数据转换至雷达参考坐标系中。3.如权利要求1所述的水面目标融合辨识方法，其特征在于，所述第一步包括以下步骤：（1）对雷达探测数据进行解析，获得雷达点云数据；（2）采用雷达目标检测算法实现雷达目标与岸线的区分及识别，在此基础上提取了雷达目标运动状态特征；（3）采用视觉目标检测算法对视觉目标进行检测，并提取视觉目标运动状态特征；（4）采用目标跟踪算法分别实现雷达、视觉目标的跟踪，实现目标信息在相邻帧序列上的关联；所述第四步具体包括以下步骤：1）通过目标跟踪算法分别获得第t帧与第t
‑
1帧的雷达与视觉在相邻帧序列上的关联；2）将第t帧数据预关联结果记为M
pre,t
`；3）将第t
‑
1帧关联结果记为M
fusion,t
‑1，根据1）获得的雷达与视觉分别在相邻帧序列上的关联将该组t
‑
1帧的雷达与视觉关联结果以t帧对应的雷达视觉目标位置表示得到M
fusion,t
‑1`；4）将第t
‑
1帧M
fusion,t
‑1`、第t帧M
pre,t
`合并输入RANSAC算法，采用相机位姿估计模型以最小化重投影误差为依据选取关键匹配点，并将RANSAC算法输出的关键匹配点记为M
ransac,t
。4.如权利要求1所述的水面目标融合辨识方法，其特征在于，所述第六步以最小化关键匹配点中雷达与视觉目标之间的重投影误差为依据，通过非线性优化手段优化相机在雷达
参考坐标系中的位姿，解得到相机参考位姿T
ref = [x,y,z,roll,pitch,yaw]。5.如权利要...

【专利技术属性】
技术研发人员：马杰，郑依凡，苏耀武，杜雷，
申请(专利权)人：武汉理工大学三亚科教创新园，
类型：发明
国别省市：