一种跨模态融合蒸馏的水面分割方法及系统技术方案

本发明专利技术涉及一种跨模态融合蒸馏的水面分割方法及系统，属于计算机视觉技术领域，首先建立点

【技术实现步骤摘要】
一种跨模态融合蒸馏的水面分割方法及系统


[0001]本专利技术涉及计算机视觉
，特别是涉及一种基于LiDAR点云辅助图像跨模态融合蒸馏的水面分割方法及系统。

技术介绍

[0002]无人艇具有风险低、灵活性高等特点，在水面上执行费力和危险的任务，具有很大的应用价值，比如海上监测、应急救援、灾害搜索等。对水面区域进行准确分割，为无人艇的自主安全航行提供了主要保障。为了提高船舶和人员安全性，针对无人艇水面分割方法的研究将是必不可少的。
[0003]水面分割任务适用于理解大规模户外场景，旨在对图像的像素级做处理，将无人艇航行的区域分割为水面区域和非水面区域，这样可以有效的限制检测算法的范围，更好的检测水面和非水面的其他目标，增加检测准确性，确保无人艇的航行安全。过去几年里，人们专注于用相机图像或激光雷达点云作为输入进行水面分割。但由于每种传感器自身的限制，仅使用单传感器的方法在复杂的环境中易受到影响和挑战。具体而言，相机传感器采集的图像可以提供丰富的颜色、纹理等信息，但缺少深度方面的信息，且易受光照和天气的影响。比如，强光线在水面上出现反射情况，会导致相机收集到很多眩光图像，影响水面分割效果。与图像信息相比，激光雷达传感器收集的点云则对深度具有很好的感应，同时对光照和天气等影响因素具有鲁棒性，但缺乏图像所具备的颜色、纹理等丰富信息。因此，有研究提出可以用激光雷达点云辅助相机图像，将两者融合的方法来感知环境，提高分割算法的性能。
[0004]然而，现有的融合方法网络十分复杂，同时处理图像和点云的计算负担重。因此，本领域亟需一种计算量小同时又能够保证分割精度的技术方案。

技术实现思路

[0005]本专利技术的目的是提供一种跨模态融合蒸馏的水面分割方法及系统，利用跨模态融合蒸馏方法来迁移复杂网络所学到的知识，简化网络，降低计算量且不影响分割效果，有效解决了现有技术中融合方法网络十分复杂，同时处理图像和点云的计算负担重的问题。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种跨模态融合蒸馏的水面分割方法，所述方法包括：
[0008]获取2D图像数据和3D点云数据；所述2D图像数据和所述3D点云数据在同一视野内；
[0009]利用2D网络获取所述2D图像数据的2D特征图
[0010]根据获取所述2D图像数据的相机的内参矩阵和外参矩阵将所述3D点云数据透视投影至2D平面，得到2D平面像素；
[0011]利用所述2D平面像素与所述3D点云数据建立点
‑
像素对应关系；
[0012]查找所述点
‑
像素对应关系中包含的2D特征图中的像素，得到包含像素；
[0013]将所述包含像素所对应的2D特征提取出来，得到逐点2D特征
[0014]利用3D网络获取所述3D点云数据的3D特征图F
3D
；
[0015]利用点与体素的对应关系在所述3D特征图F
3D
上进行最近邻插值法计算，得到逐点3D特征
[0016]利用MLP网络将所述逐点2D特征转换为3D学习者特征
[0017]将所述3D学习者特征与所述逐点3D特征拼接融合，得到融合特征
[0018]利用2D预测网络根据所述逐点2D特征进行水面分割预测，并利用分类器得到2D预测分数；
[0019]利用3D预测网络根据所述融合特征进行水面分割预测，并利用分类器得到融合预测分数；
[0020]利用KL散度计算所述2D预测分数和所述融合预测分数之间的蒸馏损失；
[0021]利用降低所述蒸馏损失的方法调节所述2D预测网络，得到调节2D预测网络；
[0022]利用所述调节2D预测网络进行水面预测分割。
[0023]在一些实施例中，所述利用2D网络获取所述2D图像数据的2D特征图具体包括：
[0024]利用2D网络提取所述2D图像数据的多尺度特征；
[0025]利用反卷积将所述多尺度特征上采样至与所述2D图像数据的分辨率相同，得到2D特征图
[0026]在一些实施例中，所述根据获取所述2D图像数据的相机的内参矩阵和外参矩阵将所述3D点云数据透视投影至2D平面，得到2D平面像素的计算公式为：
[0027][0028]其中，(u
i
,v
i
)表示2D平面像素坐标，K为相机的内参矩阵，T为相机的外参矩阵，(x
i
,y
i
,z
i
)表示3D点云坐标。
[0029]在一些实施例中，所述点
‑
像素对应关系为：其中，表示向下取整运算操作，(u
i
,v
i
)表示2D平面像素坐标，O
pixel
表示点
‑
像素对应关系映射图，N表示3D点的数量。
[0030]在一些实施例中，在所述将所述包含像素所对应的2D特征提取出来，得到逐点2D特征之后，还包括：
[0031]将所述逐点2D特征中的元素进行逐元素累加。
[0032]在一些实施例中，在所述将所述3D学习者特征与所述逐点3D特征拼接融合，得到融合特征之后，还包括：
[0033]将所述融合特征中的元素进行逐元素累加。
[0034]在一些实施例中，所述利用KL散度计算所述2D预测分数和所述融合预测分数之间的蒸馏损失的计算公式为：
[0035][0036]其中，N表示3D点的数量，n是第n个点，D
KL
就是指KL散度，S
3D2D
表示融合预测分数，S
2D
表示2D预测分数。
[0037]在一些实施例中，所述2D网络包括：ResNet34编码器和FCN解码器。
[0038]在一些实施例中，所述3D网络包括：PointNet++编码器和解码器。
[0039]本专利技术还公开了一种跨模态融合蒸馏的水面分割系统，所述系统包括：
[0040]数据获取模块，用于获取2D图像数据和3D点云数据；所述2D图像数据和所述3D点云数据在同一视野内；
[0041]2D特征图获取模块，用于利用2D网络获取所述2D图像数据的2D特征图
[0042]投影模块，用于根据获取所述2D图像数据的相机的内参矩阵和外参矩阵将所述3D点云数据透视投影至2D平面，得到2D平面像素；
[0043]点
‑
像素对应关系建立模块，用于利用所述2D平面像素与所述3D点云数据建立点
‑
像素对应关系；
[0044]包含像素查找模块，用于查找所述点
‑
像素对应关系中包含的2D特征图中的像素，得到包含像素；
[0045]逐点2D特征获取模块，用于将所述包含像素所对应的2D特征提取出来，得到逐点2D特征
[0046]3D特征图获取模块，用于利用3D网络获取所述3D点云数据的3D特征图F本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态融合蒸馏的水面分割方法，其特征在于，所述方法包括：获取2D图像数据和3D点云数据；所述2D图像数据和所述3D点云数据在同一视野内；利用2D网络获取所述2D图像数据的2D特征图根据获取所述2D图像数据的相机的内参矩阵和外参矩阵将所述3D点云数据透视投影至2D平面，得到2D平面像素；利用所述2D平面像素与所述3D点云数据建立点
‑
像素对应关系；查找所述点
‑
像素对应关系中包含的2D特征图中的像素，得到包含像素；将所述包含像素所对应的2D特征提取出来，得到逐点2D特征利用3D网络获取所述3D点云数据的3D特征图F
3D
；利用点与体素的对应关系在所述3D特征图F
3D
上进行最近邻插值法计算，得到逐点3D特征利用MLP网络将所述逐点2D特征转换为3D学习者特征将所述3D学习者特征与所述逐点3D特征拼接融合，得到融合特征利用2D预测网络根据所述逐点2D特征进行水面分割预测，并利用分类器得到2D预测分数；利用3D预测网络根据所述融合特征进行水面分割预测，并利用分类器得到融合预测分数；利用KL散度计算所述2D预测分数和所述融合预测分数之间的蒸馏损失；利用降低所述蒸馏损失的方法调节所述2D预测网络，得到调节2D预测网络；利用所述调节2D预测网络进行水面预测分割。2.根据权利要求1所述的跨模态融合蒸馏的水面分割方法，其特征在于，所述利用2D网络获取所述2D图像数据的2D特征图具体包括：利用2D网络提取所述2D图像数据的多尺度特征；利用反卷积将所述多尺度特征上采样至与所述2D图像数据的分辨率相同，得到2D特征图3.根据权利要求1所述的跨模态融合蒸馏的水面分割方法，其特征在于，所述根据获取所述2D图像数据的相机的内参矩阵和外参矩阵将所述3D点云数据透视投影至2D平面，得到2D平面像素的计算公式为：其中，(u
i
,v
i
)表示2D平面像素坐标，K为相机的内参矩阵，T为相机的外参矩阵，(x
i
,y
i
,z
i
)表示3D点云坐标。4.根据权利要求1所述的跨模态融合蒸馏的水面分割方法，其特征在于，所述点
‑
像素对应关系为：其中，表示向下取整运算操作，(u
i
,v
i
)表示2D平面像素坐标，O
pixel
表示点
‑
像素对应关系映射图，N表示3D点的数量。
5.根据权利要求1所述的跨模态融合蒸馏的水面分割方法，其特征在于，在所述将所述包含像素所对应的2D特征提取出来，得到逐点2D特征之后，还包...

【专利技术属性】
技术研发人员：李小毛，张婧婷，高建焘，彭艳，谢少荣，
申请(专利权)人：上海大学，
类型：发明
国别省市：