无人船的水面地图生成方法、装置及计算机设备制造方法及图纸

本发明专利技术涉及无人船的水面地图生成方法、装置及计算机设备，该方法，包括：获取姿态传感器数据、图像数据及激光雷达数据，并构建水面地图预测训练数据；构建多个主干特征提取网络，对图像数据进行特征提取；建立水面视角转换网络，输入图像特征和姿态传感器数据到水面视角转换网络中；将鸟瞰图图像特征输入到头部预测网络中，计算损失函数完成水面地图生成模型迭代；输入图像数据和姿态传感器数据，实时生成水面地图。本发明专利技术通过采集无人船的摄像头数据和姿态传感器数据，输入到构建的基于视觉的水面高精度地图生成网络中，可以直接生成全向的高精度地图数据，提升无人船在水面运动时的预测鲁棒性及地图预测精度。测鲁棒性及地图预测精度。测鲁棒性及地图预测精度。

【技术实现步骤摘要】
无人船的水面地图生成方法、装置及计算机设备


[0001]本专利技术涉及水面地图生成
，尤其是指无人船的水面地图生成方法、装置及计算机设备。

技术介绍

[0002]近年来无人船在海洋研究中被广泛应用，目前在内河场景下无人船也作为理想的水面运载工具和水面自主作业设备被密切关注。无人船在内河场景下执行水面自动驾驶任务时往往需要面对复杂水域场景，而狭窄的河道使得无人船的定位系统存在偏差。因此在水面构建高精度地图对于无人船的安全导航有着重要的意义，帮助无人船在复杂无GPS的场景进行路径规划。
[0003]传统的高精度地图构建方法使用激光雷达进行点云采集和建图，但是激光雷达价格昂贵，并且在雨天和雾天无法有效工作，这对于无人船的广泛部署是不利的。随着深度学习技术的发展推动视觉神经网络的性能发展，目前纯视觉的自动驾驶感知方案因为价格低廉，适应性强受到广泛关注。目前路面自动驾驶汽车通过安装环视摄像头，已经可以实现360度方向的视觉感知，通过神经网络映射将图像信息从摄像头空间转化到俯视鸟瞰图空间。但是在水面场景下，无人船会随着水流的波动而不断俯仰，对于摄像头的观察视角也会有较多的变化。采用视觉神经网络进行周围环境的距离估计容易受到角度变化的影响产生较大的偏差，影响视觉网络的性能。另外环视安装的摄像头存在多种角度，例如长焦距相机，短焦距相机和鱼眼相机，并且不同类型相机的畸变程度不同。如果采用单个摄像头的视觉处理方法再进行融合会导致系统总计算量过大，而在多摄像头融合网络中，不同畸变程度对多相机的融合输入有着较大困难。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供无人船的水面地图生成方法、装置及计算机设备。
[0005]为了解决上述技术问题，本专利技术采用如下技术方案：第一方面，本实施例提供了一种无人船的水面地图生成方法，包括以下步骤：获取无人船的姿态传感器数据、多个摄像头采集的图像数据及激光雷达数据，并构建水面地图预测训练数据；根据摄像头数量构建多个主干特征提取网络，对图像数据进行特征提取，以得到图像特征；建立用于将摄像头空间转化为环视鸟瞰图空间的水面视角转换网络，输入图像特征和姿态传感器数据到水面视角转换网络中，以得到鸟瞰图图像特征；构建地图头部预测网络，将鸟瞰图图像特征输入到头部预测网络中，以生成水面地图预测结果，根据水面地图预测结果与训练数据真值计算损失函数完成水面地图生成模型迭代；
获取无人船训练好的水面地图生成模型，输入多个摄像头采集的图像数据和姿态传感器数据，实时生成水面地图。
[0006]其进一步技术方案为：所述获取无人船的姿态传感器数据、多个摄像头采集的图像数据及激光雷达数据，并构建水面地图预测训练数据，包括以下步骤：获取摄像头内参矩阵；以无人船上电时刻的位置为原点，以无人船前朝向和右朝向为正方向建立坐标系；以设定采样频率获取无人船的姿态传感器数据、图像数据及激光雷达数据，并构建水面地图预测训练数据。
[0007]其进一步技术方案为：所述根据摄像头数量构建多个主干特征提取网络，对图像数据进行特征提取，以得到图像特征，包括以下步骤：图像数据中包含n个摄像头的图像数据，构建多个主干特征提取网络提取摄像头的图像特征，以得到提取图像特征；调整提取图像特征，以得到新的图像特征；将新的图像特征归一化并拼接，以得到图像特征。
[0008]其进一步技术方案为：所述建立用于将摄像头空间转化为环视鸟瞰图空间的水面视角转换网络，输入图像特征和姿态传感器数据到水面视角转换网络中，以得到鸟瞰图图像特征，包括以下步骤：构建查询矩阵，用于保存摄像头空间转化到环视鸟瞰图空间的水面视角转换参数；根据摄像头内参矩阵得到转化矩阵；根据姿态传感器数据进行特征编码得到姿态传感器数据特征；根据图像特征得到关键词矩阵和参数矩阵；根据转化矩阵、关键词矩阵和参数矩阵，以得到视角图像特征；融合姿态传感器数据特征和视角图像特征，以得到鸟瞰图图像特征。
[0009]其进一步技术方案为：所述构建地图头部预测网络，将鸟瞰图图像特征输入到头部预测网络中，以生成水面地图预测结果，根据水面地图预测结果与训练数据真值计算损失函数完成水面地图生成模型迭代，包括以下步骤：构建地图头部预测网络，将鸟瞰图图像特征输入到头部预测网络中，以得到预测特征；将预测特征进行阈值过滤，以生成水面地图预测结果；将水面地图预测结果与训练数据真值计算损失函数，以得到水面地图生成模型；水面地图生成模型进行反向传播，不断迭代后完成模型训练。
[0010]第二方面，本实施例提供了一种无人船的水面地图生成装置，包括：获取构建单元、构建提取单元、建立输入单元、构建输入计算单元及获取输入生成单元；所述获取构建单元，用于获取无人船的姿态传感器数据、多个摄像头采集的图像数据及激光雷达数据，并构建水面地图预测训练数据；所述构建提取单元，用于根据摄像头数量构建多个主干特征提取网络，对图像数据进行特征提取，以得到图像特征；
所述建立输入单元，用于建立用于将摄像头空间转化为环视鸟瞰图空间的水面视角转换网络，输入图像特征和姿态传感器数据到水面视角转换网络中，以得到鸟瞰图图像特征；所述构建输入计算单元，用于构建地图头部预测网络，将鸟瞰图图像特征输入到头部预测网络中，以生成水面地图预测结果，根据水面地图预测结果与训练数据真值计算损失函数完成水面地图生成模型迭代；所述获取输入生成单元，用于获取无人船训练好的水面地图生成模型，输入多个摄像头采集的图像数据和姿态传感器数据，实时生成水面地图。
[0011]其进一步技术方案为：所述获取构建单元包括：获取模块、建立模块及获取构建模块；所述获取模块，用于获取摄像头内参矩阵；所述建立模块，用于以无人船上电时刻的位置为原点，以无人船前朝向和右朝向为正方向建立坐标系；所述获取构建模块，用于以设定采样频率获取无人船的姿态传感器数据、图像数据及激光雷达数据，并构建水面地图预测训练数据。
[0012]其进一步技术方案为：所述构建提取单元包括：构建提取模块、调整模块及归一化拼接模块；所述构建提取模块，用于图像数据中包含n个摄像头的图像数据，构建多个主干特征提取网络提取摄像头的图像特征，以得到提取图像特征；所述调整模块，用于调整提取图像特征，以得到新的图像特征；所述归一化拼接模块，用于将新的图像特征归一化并拼接，以得到图像特征。
[0013]第三方面，本实施例提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上述所述的无人船的水面地图生成方法。
[0014]第四方面，本实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如上述所述的无人船的水面地图生成方法。
[0015]本专利技术与现有技术相比的有益效果是：通过采集无人船的摄像头数据和姿态传感器数据，然后输入到构建的基于视觉的水面高精度地图生成网络中，可以直接生成全向的高精度地图数据，基于环视视觉输入的网络能够减少计算资源，并且本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.无人船的水面地图生成方法，其特征在于，包括以下步骤：获取无人船的姿态传感器数据、多个摄像头采集的图像数据及激光雷达数据，并构建水面地图预测训练数据；根据摄像头数量构建多个主干特征提取网络，对图像数据进行特征提取，以得到图像特征；建立用于将摄像头空间转化为环视鸟瞰图空间的水面视角转换网络，输入图像特征和姿态传感器数据到水面视角转换网络中，以得到鸟瞰图图像特征；构建地图头部预测网络，将鸟瞰图图像特征输入到头部预测网络中，以生成水面地图预测结果，根据水面地图预测结果与训练数据真值计算损失函数完成水面地图生成模型迭代；获取无人船训练好的水面地图生成模型，输入多个摄像头采集的图像数据和姿态传感器数据，实时生成水面地图。2.根据权利要求1所述的无人船的水面地图生成方法，其特征在于，所述获取无人船的姿态传感器数据、多个摄像头采集的图像数据及激光雷达数据，并构建水面地图预测训练数据，包括以下步骤：获取摄像头内参矩阵；以无人船上电时刻的位置为原点，以无人船前朝向和右朝向为正方向建立坐标系；以设定采样频率获取无人船的姿态传感器数据、图像数据及激光雷达数据，并构建水面地图预测训练数据。3.根据权利要求1所述的无人船的水面地图生成方法，其特征在于，所述根据摄像头数量构建多个主干特征提取网络，对图像数据进行特征提取，以得到图像特征，包括以下步骤：图像数据中包含n个摄像头的图像数据，构建多个主干特征提取网络提取摄像头的图像特征，以得到提取图像特征；调整提取图像特征，以得到新的图像特征；将新的图像特征归一化并拼接，以得到图像特征。4.根据权利要求2所述的无人船的水面地图生成方法，其特征在于，所述建立用于将摄像头空间转化为环视鸟瞰图空间的水面视角转换网络，输入图像特征和姿态传感器数据到水面视角转换网络中，以得到鸟瞰图图像特征，包括以下步骤：构建查询矩阵，用于保存摄像头空间转化到环视鸟瞰图空间的水面视角转换参数；根据摄像头内参矩阵得到转化矩阵；根据姿态传感器数据进行特征编码得到姿态传感器数据特征；根据图像特征得到关键词矩阵和参数矩阵；根据转化矩阵、关键词矩阵和参数矩阵，以得到视角图像特征；融合姿态传感器数据特征和视角图像特征，以得到鸟瞰图图像特征。5.根据权利要求1所述的无人船的水面地图生成方法，其特征在于，所述构建地图头部预测网络，将鸟瞰图图像特征输入到头部预测网络中，以生成水面地图预测结果，根据水面地图预测结果与训练数据真值计算损失函数完成水面地图生成模型迭代，包括以下步骤：构建地图头部预测网络，将鸟瞰图图像特征输入到头部预测网络中，以得到预测特征；...

【专利技术属性】
技术研发人员：程宇威，朱健楠，许浒，池雨豪，虞梦苓，
申请(专利权)人：陕西欧卡电子智能科技有限公司，
类型：发明
国别省市：