图像语义分割方法、可移动平台及存储介质技术

本发明专利技术实施例提供一种图像语义分割方法、可移动平台及存储介质，通过获取激光雷达采集的点云数据、以及相机拍摄的图像，其中所述点云数据与所述图像相对应；根据所述点云数据获取深度图；获取所述深度图与所述图像的融合图像；识别所述融合图像中各图像块的场景类别信息；将所述各图像块的场景类别信息标注到所述融合图像中。通过由激光雷达点云数据获取的深度图与相机拍摄的图像进行融合，可以在进行图像语义分割时将各种目标准确的分离出来，对于背景信息复杂的图像、以及对于存在遮挡或重叠、且纹理相近的图像的语义分割具有较好效果，可以提高图像语义分割的准确性。

【技术实现步骤摘要】
【国外来华专利技术】图像语义分割方法、可移动平台及存储介质
本专利技术实施例涉及图像处理领域，尤其涉及一种图像语义分割方法、可移动平台及存储介质。
技术介绍
图像语义分割是计算机视觉中的基本任务，在语义分割中需要将图像分为不同的语义可解释类别，也即识别图像中存在的内容及位置信息，被广泛应用到自动驾驶、医疗影像分析、机器人等领域。现有技术中通常采用相机拍摄图像后输入到神经网络模型中，由神经网络模型对图像进行语义分割。然而，现有技术的图像语义分割方法对于一些场景的图像无法做到准确的语义分割，例如车、飞机场景等背景信息复杂的图像，现有技术很难将各种目标都分离出来；再如存在遮挡或重叠、且纹理相近的图像，现有技术也很难进行区分。
技术实现思路
本专利技术实施例提供一种图像语义分割方法、可移动平台及存储介质，以提高图像语义分割的准确性。本专利技术实施例的第一方面是提供一种图像语义分割方法，包括：获取激光雷达采集的点云数据、以及相机拍摄的图像，其中所述点云数据与所述图像相对应；根据所述点云数据获取深度图；获取所本文档来自技高网...

【技术保护点】
1.一种图像语义分割方法，其特征在于，包括：/n获取激光雷达采集的点云数据、以及相机拍摄的图像，其中所述点云数据与所述图像相对应；/n根据所述点云数据获取深度图；/n获取所述深度图与所述图像的融合图像；/n识别所述融合图像中各图像块的场景类别信息；/n将所述各图像块的场景类别信息标注到所述融合图像中。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像语义分割方法，其特征在于，包括：
获取激光雷达采集的点云数据、以及相机拍摄的图像，其中所述点云数据与所述图像相对应；
根据所述点云数据获取深度图；
获取所述深度图与所述图像的融合图像；
识别所述融合图像中各图像块的场景类别信息；
将所述各图像块的场景类别信息标注到所述融合图像中。


2.根据权利要求1所述的方法，其特征在于，所述获取所述深度图与所述图像的融合图像，包括：
将所述深度图和所述图像输入预先训练的第一模型中，获取深度图与所述图像的融合图像。


3.根据权利要求1或2所述的方法，其特征在于，所述识别所述融合图像中各图像块的场景类别信息，包括：
通过第一模型获取所述融合图像中任一图像块属于多种预设场景类别中每一预设场景类别的概率，将其中最大概率对应的预设场景类别作为该图像块的场景类别信息。


4.根据权利要求3所述的方法，其特征在于，所述多个预设场景类别包括至少一种一级场景类别以及至少一种二级场景类别，其中任意所述一级场景类别以至少一个所述二级场景类别作为子类别。


5.根据权利要求4所述的方法，其特征在于，所述通过所述第一模型获取所述融合图像中任一图像块属于多种预设场景类别中每一预设场景类别的概率，将其中最大概率对应的预设场景类别作为该图像块的场景类别信息，包括：
所述通过所述第一模型获取所述融合图像中任一图像块属于每一所述二级场景类别的概率，将其中最大概率对应的二级场景类别或该二级场景类别所属的一级场景类别作为该图像块的场景类别信息；或者
所述通过所述第一模型获取所述融合图像中任一图像块属于每一所述一级场景类别的概率，将其中最大概率对应的一级场景类别作为该图像块的场景类别信息。


6.根据权利要求2-5任一项所述的方法，其特征在于，所述将其中最大概率对应的预设场景类别作为该图像块的场景类别信息后，还包括：
若所述最大概率低于预设概率阈值，则在所述融合图像中忽略该图像块的场景类别信息。


7.根据权利要求2-6任一项所述的方法，其特征在于，还包括：
将任一图像块的场景类别信息与其相邻的多个图像块的场景类别信息进行近似度比较，若近似度低于预设近似度阈值，则在所述融合图像中忽略该图像块的场景类别信息。


8.根据权利要求2-7任一项所述的方法，其特征在于，所述第一模型为卷积神经网络模型，所述第一模型包括多个依次连接的第一处理单元，所述第一处理单元包括卷积层、批标准化层和激活层。


9.根据权利要求1-8任一项所述的方法，其特征在于，所述根据所述点云数据获取深度图，包括：
将所述点云数据输入预先训练的第二模型，生成所述深度图。


10.根据权利要求9所述的方法，其特征在于，所述将所述点云数据输入预先训练的第一模型，生成所述深度图，包括：
若所述点云数据的密度高于预设密度阈值，通过所述第二模型将所述点云数据转化为所述深度图；或者
若所述点云数据的密度不高于所述预设密度阈值，通过所述第二模型对所述点云数据进行增密化处理，并将增密化处理后的点云数据转化为所述深度图。


11.根据权利要求9或10所述的方法，其特征在于，所述第二模型为卷积神经网络模型，所述第二模型包括多个依次连接的第二处理单元，所述第二处理单元包括卷积层、批标准化层和激活层。


12.根据权利要求1-11任一项所述的方法，其特征在于，所述获取激光雷达采集的点云数据、以及相机拍摄的图像前，还包括：
对所述激光雷达和所述相机进行标定，以使所述激光雷达采集的点云数据与所述相机拍摄的图像相对应。


13.一种可移动平台，其特征在于，包括：激光雷达、相机、存储器和处理器；
所述存储器用于存储程序代码；
所述处理器调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取激光雷达采集的点云数据、以及相机拍摄的图像，其中所述点云数据与所述图像相对应；
根据所述点云数据获取深度图；
获取所述深度图与所述图像的融合图像；...

【专利技术属性】
技术研发人员：王涛，李鑫超，李思晋，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44