语义分割投影点云地图细化的方法、应用及系统技术方案

本发明专利技术提供了一种语义分割投影点云地图细化的方法、应用及系统，包括：S1：获取图像信息并对图像信息进行语义分割，得到每一个像素点的语义标签；S2：确定所在位置的点云地图；S3：将3D坐标系下的点云投影到2D图像坐标系下，并赋予3D坐标系下的点云以对应的语义标签；S4：对最靠近图像像素点的点云点赋予语义标签；S5：通过利用聚类对S4中赋予语义标签的点云点的语义标签进行细化，本发明专利技术通过在图像的语义分割实现对点云地图的语义分割，在点投影和赋予语义标签的时候，通过距离度量和聚类思想，实现点云的精细化分割，有助于在自动驾驶领域车辆更快的分辨出行驶周围环境，提升安全性及准确性。全性及准确性。全性及准确性。

【技术实现步骤摘要】
语义分割投影点云地图细化的方法、应用及系统


[0001]本专利技术涉及人工智能
，尤其涉及一种语义分割投影点云地图细化的方法、应用及系统。

技术介绍

[0002]随着机器人、计算机、传感器、自动化控制、人工智能等技术的高速发展，自主移动机器人构建语义地图的技术已经成为科技发展最前沿的领域之一。
[0003]传统SLAM技术中，移动机器人常用的场景感知传感器有光学类传感器、雷达类传感器两大类。雷达类传感器体积较大且价格昂贵，易受烟尘的影响发生散射，影响识别精度，对场景认知能力局限于轮廓特征，不能充分利用场景丰富的语义特征。相反，光学类传感器体积小、重量轻、性价比高，能够充分利用场景丰富的语义特征，是理想的识别媒介。
[0004]但随着视觉信息的越丰富，识别的场景越来越复杂，场景中图像的全局和局部特征相互很杂，再加上运动过程中需要同时完成图像处理，实时性要求高，给传统的室内精准导航和建图任务带来了挑战。深度学习的出现为图像的描述提供了新的思路，应用深度学习对建图，环境感知算法的改进研究，利用语义信息提高SLAM的精度，鲁棒性。目前，国内现有的技术方案完全依赖于投影矩阵来获取3D点云语义标签，通过2D
‑
3D的投影映射，将2D的语义标签赋予3D的点上。缺点是依赖投影矩阵，投影有误差，并且视锥体的形成对语义分割不是那么精确，边缘点容易被误检。
[0005]因此，有必要研究一种语义分割投影点云地图细化的方法、应用及系统来应对现有技术的不足，以解决或减轻上述一个或多个问题。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种语义分割投影点云地图细化的方法、应用及系统，通过在图像的语义分割实现对点云地图的语义分割，在点投影和赋予语义标签的时候，通过距离度量和聚类思想，实现点云的精细化分割。
[0007]一方面，本专利技术提供一种语义分割投影点云地图细化的方法，所述投影点云地图细化方法包括：
[0008]S1：图像采集装置获取图像信息，并对图像信息进行语义分割，得到每一个像素点的语义标签；
[0009]S2：利用图像信息中的时间戳，通过融合定位，确定可移动设备所在位置的点云地图；
[0010]S3：经过旋转变换投影矩阵，将3D坐标系下的点云投影到2D图像坐标系下，并将2D坐标系下的点云与S1中图像信息中的像素点对应，赋予3D坐标系下的点云以对应的语义标签；
[0011]S4：每一个像素点对应的多个点云点，计算同一个像素点下点云点与像素点之间的欧式距离，取最小距离，对最靠近图像像素点的点云点赋予语义标签；
[0012]S5：通过利用聚类，获取与S4中赋予语义标签的点云点相近点云点的语义标签对S4中赋予语义标签的点云点的语义标签进行细化。
[0013]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1中语义分割具体为：通过采取深度学习的方法，利用卷积神经网络对输入的图像进行训练，从而得到模型，然后获取到图像信息中像素点的语义标签。
[0014]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2具体为：采取高精地图的方法，结合定位信息，根据当前的车辆位置坐标，从而确定车辆在高精地图中的位置信息。
[0015]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3具体为利用标定好的坐标变换矩阵，将点云坐标系转换到像素坐标系下。变换的过程为点云坐标系转换到相机坐标系，相机坐标系转换到图像坐标系。将3D点投影到图像2D点上。由于其图像经过语义分割，像素都已获得语义标签，所以，投影到图像上的3D点会赋予相应的语义标签。
[0016]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4具体为：由于点云投影到图像上，由于视锥体效应，会存在多个点对应一个像素点的情况，点云的深度信息被忽略，这些点会对应一个语义标签。计算像素点附近相同语义标签的点云在投影上的距离，通过欧氏距离判断远近，对最小的赋予语义标签。
[0017]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S5具体为：当投影到图像上的点云的点都被赋予语义标签后，重映射回点云坐标系下，由于视锥体效应，点云的远近距离的点可能存在同一语义标签的情况，这样子利用DBSCAN聚类的方法将同一物体聚在一起，对其中语义标签不同的设为一致，不在该聚类中的点，语义标签重新分配。
[0018]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述可移动设备包括但不限于汽车、无人机和移动机器人。
[0019]如上所述的方面和任一可能的实现方式，进一步提供一种语义分割的投影点云地图细化方法的应用，所述应用通过所述的投影点云地图细化方法对无人驾驶汽车在自动驾驶过程中进行投影点云地图细化。
[0020]如上所述的方面和任一可能的实现方式，进一步提供一种基于语义分割的投影点云地图细化系统，所述系统包括：
[0021]语义分割单元，用于图像采集装置获取图像信息，并对图像信息进行语义分割，得到每一个像素点的语义标签；
[0022]车辆定位单元，利用图像信息中的时间戳，通过融合定位，确定可移动设备所在位置的点云地图；
[0023]投影矩阵变换单元，经过旋转变换投影矩阵，将3D坐标系下的点云投影到2D图像坐标系下，并将2D坐标系下的点云与S1中图像信息中的像素点对应，赋予3D坐标系下的点云以对应的语义标签；
[0024]语义标签赋予单元，用于对每一个像素点对应的多个点云点，计算同一个像素点下点云点与像素点之间的欧式距离，取最小距离，对最靠近图像像素点的点云点赋予语义标签；
[0025]语义标签细化单元，通过利用聚类，获取与S4中赋予语义标签的点云点相近点云点的语义标签对S4中赋予语义标签的点云点的语义标签进行细化。
[0026]与现有技术相比，本专利技术可以获得包括以下技术效果：
[0027]本专利技术可以间接的获得地图语义分割，有助于在自动驾驶领域车辆更快的分辨出行驶周围环境，有助于提升安全性及准确性。
[0028]当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有技术效果。
【附图说明】
[0029]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0030]图1是本专利技术一个实施例提供的投影点云地图细化方法的流程图；
[0031]图2是本专利技术一个实施例提供的分割结果图，其中(a)原始图像；(b)语义分割图像；(c)单帧点云3D到2D投影；(d)点云Map到图像投影。
【具体实施方式】
[0032]为了更好的理解本专利技术的技术方案，下面结合附图对本专利技术实施例进行详细描述。
[0033]应当明确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义分割的投影点云地图细化方法，适用于负载有图像采集装置的可移动设备，其特征在于，包括：S1：图像采集装置获取图像信息，并对图像信息进行语义分割，得到每一个像素点的语义标签；S2：利用图像信息中的时间戳，通过融合定位，确定可移动设备所在位置的点云地图；S3：经过旋转变换投影矩阵，将3D坐标系下的点云投影到2D图像坐标系下，并将2D坐标系下的点云与S1中图像信息中的像素点对应，赋予3D坐标系下的点云以对应的语义标签；S4：每一个像素点对应的多个点云点，计算同一个像素点下点云点与像素点之间的欧式距离，取最小距离，对最靠近图像像素点的点云点赋予语义标签；S5：通过利用聚类，获取与S4中赋予语义标签的点云点相近点云点的语义标签对S4中赋予语义标签的点云点的语义标签进行细化。2.根据权利要求1所述的投影点云地图细化方法，其特征在于，所述S1具体包括以下步骤：通过采取深度学习的方法，利用卷积神经网络对输入的图像进行训练，从而得到语义分割模型，然后获取到图像中像素点的语义标签。3.根据权利要求1所述的投影点云地图细化方法，其特征在于，所述S2具体为：采取高精地图的方法，结合定位信息，根据当前的车辆位置坐标，从而确定车辆在高精地图中的位置信息。4.根据权利要求3所述的投影点云地图细化方法，其特征在于，所述S3具体为利用标定好的坐标变换矩阵，将点云坐标系转换到像素坐标系下，变换的过程为点云坐标系转换到相机坐标系，相机坐标系转换到图像坐标系，将3D点投影到图像2D点上。5.根据权利要求4所述的投影点云地图细化方法，其特征在于，所述S4具体为：由点云投影到图像上，计算像素点附近相同语义标签的点云在投影上的距离，通过...

【专利技术属性】
技术研发人员：陈海波，韩江锐，
申请(专利权)人：深兰人工智能深圳有限公司，
类型：发明
国别省市：