本发明专利技术提供一种水陆分割方法、分割装置及水陆两栖移动平台，其中，水陆分割方法应用于水陆两栖移动平台中，包括以下步骤：获取水域场景图像；获取IMU特征向量：获取水陆两栖移动平台的位姿信息并对获取的位姿信息进行编码，得到IMU特征向量；获取水陆边界分割图：将水域场景图像和IMU特征向量输入训练得到的语义分割神经网络模型中，通过语义分割神经网络模型对水域场景图像中的语义特征与位姿信息的IMU特征向量进行融合，得到水陆边界分割图。本发明专利技术能够区分水、天空和环境的不同的特征纹理，从而得到较高精度的水陆边界分割图。
【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种水陆分割方法、分割装置及水陆两栖移动平台。
技术介绍
1、水陆分割在海岸线提取和河道中坝观测中具有重要作用。水陆分割的实现主要通过对海天线的检测完成对海空、海界区域以及目标检测的划分。现有技术中常采用传统图像处理(基于边缘检测或基于区域检测)、机器学习和神经网络等进行水陆分割。然而，采用现有方法对水域场景进行分割时分割结果的精度不高，分割效果不好。
技术实现思路
1、本专利技术提供一种水陆分割方法、分割装置及水陆两栖移动平台，用以解决现有技术中水陆分割结果精度不高，分割效果不好的缺陷，实现水陆分割结果精度的提高，从而提升分割效果。
2、本专利技术提供一种水陆分割方法，应用于水陆两栖移动平台中，其包括：
3、获取水域场景图像；
4、获取imu特征向量：获取水陆两栖移动平台的位姿信息并对获取的位姿信息进行编码，得到imu特征向量；
5、获取水陆边界分割图：将水域场景图像和imu特征向量输入训练得到的语义分割神经网络模型中，通过语义分割神经网络模型对水域场景图像中的语义特征与位姿信息的imu特征向量进行融合，得到水陆边界分割图。
6、根据本专利技术提供的一种水陆分割方法，所述对获取的位姿信息进行编码，得到imu特征向量，具体包括：
7、采用姿态解算算法从位姿信息中提取海天线在水域场景图像中的位置；
8、对海天线在水域场景图像中的位置进行编码，得到imu特征向量。
9、根据本专利技术提供的一种水陆分割方法，所述采用姿态解算算法从位姿信息中提取海天线在水域场景图像中的位置，具体包括：
10、将imu坐标系的xz平面上的两个点带入中，以将点旋转到与水面平行的平面中，得到旋转后的点；式中，表示旋转后的点，表示旋转前的点，rimu表示imu相对于水面的旋转矩阵，表示imu相对于水陆两栖移动平台的旋转矩阵；
11、将旋转后的点带入中，以将旋转后的点投影到相机图像平面，同时考虑径向畸变，
12、式中，λc表示比例系数，xi表示相机图像上的坐标，k表示相机标定矩阵，表示水陆两栖移动平台和相机坐标系之间的旋转矩阵；
13、将投影的径向畸变点拟合成一条线来估计海天线，以获得海天线在水域场景图像中的位置。
14、根据本专利技术提供的一种水陆分割方法，所述对海天线在水域场景图像中的位置进行编码，得到imu特征向量，具体包括：
15、在海天线上绘制一条值为1的粗像素线，而其余像素设置为0；
16、或者，
17、创建一个二进制掩码，其中海天线以下的所有像素都设置为1，其他像素设置为0；
18、或者，
19、基于像素点到海天线的距离进行编码，海天线上方的每个像素值的区间设置为0-0.5，距离海天线越远的像素值越小；而海天线下方的每个像素值的区间设置为0.5-1，距离海天线越远的像素值越大。
20、根据本专利技术提供的一种水陆分割方法，所述语义分割神经网络模型包括编码器和解码器，所述语义分割神经网络模型的训练过程为：
21、获取训练用水域场景图像、训练用水陆两栖移动平台的位姿信息以及与训练用水域场景图像和训练用水陆两栖移动平台的位姿信息对应的训练用水陆边界分割图；其中，训练用水陆边界分割图中的水陆天分割线或水天分割线通过手动标注得到；
22、将训练用水域场景图像和训练用水陆两栖移动平台位姿信息的imu特征向量作为语义分割神经网络模型的输入，将对应的训练用水陆边界分割图作为语义分割神经网络模型的输出；
23、设置语义分离损失函数和像素分类损失函数，并利用所述语义分离损失函数监督语义分割神经网络模型模型中编码器的训练过程，利用像素分类损失函数监督语义分割神经网络模型模型的训练过程，直至两个损失函数加权求和后收敛。
24、根据本专利技术提供的一种水陆分割方法，所述语义分离损失函数为：
25、
26、式中，r1和r2均表示语义分量，和均表示用于归一化的常数，nc表示通道的数量，表示通道c中属于语义分量r1的像素的特征，表示通道c中属于语义分量r2的像素的特征，
27、表示高斯分布中每个通道的平均值。
28、根据本专利技术提供的一种水陆分割方法，所述通过语义分割神经网络模型对水域场景图像中的语义特征与位姿信息的imu特征向量进行融合，输出水陆边界分割图，具体包括：
29、所述编码器提取水域场景图像在不同尺度上的语义特征；其中，水域场景图像在不同尺度上的语义特征用于表征水域场景图像中的语义信息；
30、所述解码器对编码器提取的语义特征和水陆两栖移动平台位姿信息的imu特征向量进行融合，得到水陆边界分割图。
31、根据本专利技术提供的一种水陆分割方法，所述编码器采用resnet101神经网络，所述resnet101神经网络包括顺次连接的前置卷积层、第一残差卷积块、第二残差卷积块、第三残差卷积块和第四残差卷积块；所述第一残差卷积块输出的第一特征向量、所述第二残差卷积块输出的第二特征向量以及第四残差卷积块输出的第四特征向量均输入至所述解码器中。
32、根据本专利技术提供的一种水陆分割方法，所述解码器包括顺次连接的aspp模块、arm模块、第一ffm模块、cbam模块、第二ffm模块和softmax分类器；
33、所述第一残差卷积块输出的第一特征向量输入至所述第二ffm模块中，所述第二残差卷积块输出的第二特征向量输入至第一ffm模块中，所述第四残差卷积块输出的第四特征向量均输入至所述aspp模块中；所述imu特征向量输入至所述第二ffm模块、第一ffm模块和aspp模块中。
34、本专利技术还提供一种水陆分割装置，其包括水域场景图像获取模块、imu特征向量获取模块和水陆边界分割图获取模块；
35、所述水域场景图像获取模块，用于获取水域场景图像；
36、所述imu特征向量获取模块，用于获取水陆两栖移动平台的位姿信息并对获取的位姿信息进行编码，得到imu特征向量；
37、所述水陆边界分割图获取模块，用于通过swan模型对水域场景图像中的语义特征与位姿信息的imu特征向量进行融合，得到水陆边界分割图。
38、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述水陆分割方法。
39、本专利技术还提供一种水陆两栖移动平台，采用如上述任一项所述水陆分割方法对水陆边界进行分割，以为所述水陆两栖移动平台的自主运动提供环境信息。
40、本专利技术提供的一种水陆分割方法、分割装置及水陆两栖移动平台，通过语义分割神经网络模型对水域场景图像和根据水陆两栖移动平台的位姿信息得到imu特征向量进行融合，能够区分水、天空和环境的不同的特征纹理，从而得到较高精度的水陆边界分割图。
本文档来自技高网...
【技术保护点】
1.一种水陆分割方法，应用于水陆两栖移动平台中，其特征在于，包括：
2.根据权利要求1所述的水陆分割方法，其特征在于，所述对获取的位姿信息进行编码，得到IMU特征向量，具体包括：
3.根据权利要求2所述的水陆分割方法，其特征在于，所述采用姿态解算算法从位姿信息中提取海天线在水域场景图像中的位置，具体包括：
4.根据权利要求3所述的水陆分割方法，其特征在于，所述对海天线在水域场景图像中的位置进行编码，得到IMU特征向量，具体包括：
5.根据权利要求1所述的水陆分割方法，其特征在于，所述语义分割神经网络模型包括编码器和解码器，所述语义分割神经网络模型的训练过程为：
6.根据权利要求5所述的水陆分割方法，其特征在于，所述语义分离损失函数为：
7.根据权利要求5所述的水陆分割方法，其特征在于，所述通过语义分割神经网络模型对水域场景图像中的语义特征与位姿信息的IMU特征向量进行融合，输出水陆边界分割图，具体包括：
8.根据权利要求5所述的水陆分割方法，其特征在于，所述编码器采用ResNet101神经网络，所述ResNet101神经网络包括顺次连接的前置卷积层、第一残差卷积块、第二残差卷积块、第三残差卷积块和第四残差卷积块；所述第一残差卷积块输出的第一特征向量、所述第二残差卷积块输出的第二特征向量以及第四残差卷积块输出的第四特征向量均输入至所述解码器中。
9.根据权利要求8所述的水陆分割方法，其特征在于，所述解码器包括顺次连接的ASPP模块、ARM模块、第一FFM模块、CBAM模块、第二FFM模块和softmax分类器；
10.一种水陆分割装置，其特征在于，包括水域场景图像获取模块、IMU特征向量获取模块和水陆边界分割图获取模块；
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述水陆分割方法。
12.一种水陆两栖移动平台，其特征在于，采用如权利要求1至9任一项所述水陆分割方法对水陆边界进行分割，以为所述水陆两栖移动平台的自主运动提供环境信息。
...
【技术特征摘要】
1.一种水陆分割方法，应用于水陆两栖移动平台中，其特征在于，包括：
2.根据权利要求1所述的水陆分割方法，其特征在于，所述对获取的位姿信息进行编码，得到imu特征向量，具体包括：
3.根据权利要求2所述的水陆分割方法，其特征在于，所述采用姿态解算算法从位姿信息中提取海天线在水域场景图像中的位置，具体包括：
4.根据权利要求3所述的水陆分割方法，其特征在于，所述对海天线在水域场景图像中的位置进行编码，得到imu特征向量，具体包括：
5.根据权利要求1所述的水陆分割方法，其特征在于，所述语义分割神经网络模型包括编码器和解码器，所述语义分割神经网络模型的训练过程为：
6.根据权利要求5所述的水陆分割方法，其特征在于，所述语义分离损失函数为：
7.根据权利要求5所述的水陆分割方法，其特征在于，所述通过语义分割神经网络模型对水域场景图像中的语义特征与位姿信息的imu特征向量进行融合，输出水陆边界分割图，具体包括：
8.根据权利要求5所述的水陆分割方法...
【专利技术属性】
技术研发人员：鲁怡，左哲，李忠新，覃卫，徐宁，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。