点云数据的优化方法、装置、设备及自动驾驶车辆制造方法及图纸

本公开提供了点云数据的优化方法、装置、设备、存储介质及车辆，涉及图像处理技术领域，尤其涉及自动驾驶、计算机视觉、自主泊车、云计算、深度学习技术领域。具体实现方案为：根据第一图像的各像素点的第一语义标签，确定点云数据的多个第一激光点投影至第一图像对应的初始语义标签；确定第一图像的第一障碍物区域包含的第一聚类簇，其中，第一聚类簇包括第二激光点，第二激光点属于多个第一激光点；利用第二激光点的激光点信息，对多个第一激光点的初始语义标签进行更新，以得到优化的点云数据。根据本公开技术，可以使得点云数据获得准确的语义标签，例如可以解决点云数据投影过程中雨雾噪声、远距离点云缺失等问题，改善障碍物分割的鲁棒性。割的鲁棒性。割的鲁棒性。

【技术实现步骤摘要】
点云数据的优化方法、装置、设备及自动驾驶车辆


[0001]本公开涉及图像处理
，尤其涉及自动驾驶、计算机视觉、自主泊车、云计算、深度学习


技术介绍

[0002]自动驾驶车辆在进行自动驾驶时，需要实时的对周围环境信息进行准确的理解，尤其需要准确识别出道路上的障碍物，这样才能保证自动驾驶车辆安全、稳定地行驶。

技术实现思路

[0003]本公开提供了一种点云数据的优化方法、装置、设备、存储介质及车辆。
[0004]根据本公开的一方面，提供了一种点云数据的优化方法，包括：
[0005]根据第一图像的各像素点的第一语义标签，确定点云数据的多个第一激光点投影至第一图像对应的初始语义标签；
[0006]确定第一图像的第一障碍物区域包含的第一聚类簇，其中，第一聚类簇包括第二激光点，第二激光点属于多个第一激光点；以及
[0007]利用第二激光点的激光点信息，对多个第一激光点的初始语义标签进行更新，以得到优化的点云数据。
[0008]根据本公开的另一方面，提供了一种点云数据的优化装置，包括：
[0009]第一确定模块，用于根据第一图像的各像素点的第一语义标签，确定点云数据的多个第一激光点投影至第一图像对应的初始语义标签；
[0010]第二确定模块，用于确定第一图像的第一障碍物区域包含的第一聚类簇，其中，第一聚类簇包括第二激光点，第二激光点属于多个第一激光点；以及
[0011]优化模块，用于利用第二激光点的激光点信息，对多个第一激光点的初始语义标签进行更新，以得到优化的点云数据。
[0012]根据本公开的另一方面，提供了一种自动驾驶车辆，包括：
[0013]传感器，用于采集点云数据；
[0014]图像采集装置，用于采集第一图像；
[0015]计算单元，与传感器和图像采集装置连接，用于执行本公开实施例中任一的方法。
[0016]根据本公开的另一方面，提供了一种电子设备，包括：
[0017]至少一个处理器；以及
[0018]与该至少一个处理器通信连接的存储器；其中，
[0019]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
[0020]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
[0021]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机
程序在被处理器执行时实现根据本公开实施例中任一的方法。
[0022]根据本公开技术，可以使得点云数据获得准确的语义标签。
[0023]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0024]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0025]图1是根据本公开实施例的点云数据的优化方法的示意图；
[0026]图2是根据本公开实施例的点云数据的优化方法的第一图像的示意图；
[0027]图3是根据本公开实施例的点云数据的优化方法的点云数据的投影示意图；
[0028]图4是根据本公开实施例的点云数据的优化方法的点云数据的投影示意图；
[0029]图5是根据本公开实施例的点云数据的优化方法的示意图；
[0030]图6是根据本公开实施例的自动驾驶车辆的示意图；
[0031]图7是根据本公开实施例的点云数据的优化装置的示意图；
[0032]图8是用来实现本公开实施例的点云数据的优化方法的电子设备的框图。
具体实施方式
[0033]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0034]如图1所示，本公开实施例提供了一种点云数据的优化方法，可以应用于自动驾驶车辆，包括：
[0035]步骤S101：根据第一图像的各像素点的第一语义标签，确定点云数据的多个第一激光点投影至第一图像对应的初始语义标签。
[0036]步骤S102：确定第一图像的第一障碍物区域包含的第一聚类簇，其中，第一聚类簇包括第二激光点，第二激光点属于多个第一激光点。
[0037]步骤S103：利用第二激光点的激光点信息，对多个第一激光点的初始语义标签进行更新，以得到优化的点云数据。
[0038]根据本公开实施例，需要说明的是：
[0039]第一图像可以理解为由图像采集装置(例如，单目相机、双目相机、传感器的摄像头)所采集的图像。第一图像中的各像素点的第一语义标签可以通过语义分割技术进行识别确定。根据各像素点的第一语义标签，可以确定出第一图像中包含有哪些类别的障碍物，每个障碍物对应哪些像素点。进而获取障碍物的位置。
[0040]点云数据(point cloud data)可以理解为传感器(例如，激光雷达)所采集的数据。传感器采集点云数据的时刻与图像采集装置采集第一图像的时刻大体相同，以保证所获取的外界环境信息的一致性，以及提高为点云数据的激光点赋予语义标签的准确性。
[0041]确定点云数据的多个第一激光点投影至第一图像对应的初始语义标签，可以理解为，在多个第一激光点投影至第一图像之后(如图3、图4所示)，将每个第一激光点所覆盖的
第一图像的像素点的第一语义标签赋予第一激光点，作为第一激光点的初始语义标签。根据各个第一激光点的初始语义标签，可以得到包含语义信息的三维点云数据。点云数据的第一激光点投影至第一图像的方式，可以采用现有技术中的点云数据投影至平面图像的任何方式，在此不做具体限定。例如，可以利用传感器的位姿关系生成旋转平移矩阵，使多个第一激光点能够通过坐标转换投影至第一图像中。
[0042]第一障碍物区域，可以理解为第一图像中被识别出的每个障碍物的各像素点所构成的联通块对应的区域，即，每个障碍物的外边缘轮廓在第一图像中围成的区域。例如，如图2所示，汽车、指示牌、路障分别对应有第一障碍物区域。根据各像素点的第一语义标签，可以确定出第一障碍物区域的障碍物类别，每个障碍物区域可以具有唯一的身份标识号(ID，Identity document)。根据所采集的画面不同，第一图像中可能包括一个或多个障碍物，也即是说，能包括第一或多个第一障碍物区域。当包括多个第一障碍物区域时，每个第一障碍物区域均可应用于本公开实施例的方法。
[0043]第一聚类簇，理解为点云数据投影至第一图像后，落在障碍物的第一障碍物区域内的各个第一激光点所组成的激光点集合。为了便于区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云数据的优化方法，包括：根据第一图像的各像素点的第一语义标签，确定点云数据的多个第一激光点投影至所述第一图像对应的初始语义标签；确定所述第一图像的第一障碍物区域包含的第一聚类簇，其中，所述第一聚类簇包括第二激光点，所述第二激光点属于所述多个第一激光点；以及利用所述第二激光点的激光点信息，对所述多个第一激光点的初始语义标签进行更新，以得到优化的点云数据。2.根据权利要求1所述的方法，其中，所述利用所述第二激光点的激光点信息，对所述多个第一激光点的初始语义标签进行更新，以得到优化的点云数据，包括：利用滑动窗算法和第一特征指标，从所述第一聚类簇的多个第二激光点中确定第一激光点子集，其中，所述第一激光点子集的多个第二激光点的空间位置连续；根据第二特征指标和所述第一激光点子集的多个第二激光点的激光点信息，确定所述第一激光点子集的多个第二激光点的第二语义标签，其中，所述第二语义标签包括水雾噪声语义标签和障碍物语义标签；根据所述第二语义标签，对与所述第一激光点子集的多个第二激光点对应的第一激光点的初始语义标签进行更新，以得到优化的点云数据。3.根据权利要求2所述的方法，还包括：根据所述第一障碍物区域与目标对象的距离，确定第一特征指标和第二特征指标；其中，所述目标对象为部署采集所述点云数据的传感器的对象。4.根据权利要求2所述的方法，其中，所述利用滑动窗算法和第一特征指标，从所述第一聚类簇的多个第二激光点中确定第一激光点子集，包括：根据所述第一聚类簇的多个第二激光点的激光点信息，将所述第一聚类簇的多个第二激光点按到目标对象的距离进行排序；其中，所述目标对象为部署采集所述点云数据的传感器的对象；利用滑动窗算法，从排序后的多个第二激光点中确定第二激光点子集；其中，第二激光点子集内的多个第二激光点的空间位置连续；根据第一特征指标和所述第二激光点子集内的多个第二激光点的激光点信息，从所述第二激光点子集中确定第一激光点子集。5.根据权利要求4所述的方法，其中，所述根据第一特征指标和所述第二激光点子集内的多个第二激光点的激光点信息，从所述第二激光点子集中确定第一激光点子集，包括：确定所述第二激光点子集内的多个第二激光点的激光点高度信息；确定第一特征指标的高度范围阈值；根据所述高度范围阈值和所述激光点高度信息，从所述第二激光点子集中确定第一激光点子集；或确定所述第二激光点子集内的多个第二激光点的激光点距离信息；确定第一特征指标的距离阈值；根据所述距离阈值和所述激光点距离信息，从所述第二激光点子集中确定第一激光点子集。
6.根据权利要求4所述的方法，其中，所述根据第一特征指标和所述第二激光点子集内的多个第二激光点的激光点信息，从所述第二激光点子集中确定第一激光点子集，包括：确定所述第二激光点子集内的多个第二激光点的激光点高度信息和激光点距离信息；确定第一特征指标的高度范围阈值和距离阈值；根据所述距离阈值、所述高度范围阈值、所述激光点距离信息和所述激光点高度信息，从所述第二激光点子集中确定第一激光点子集。7.根据权利要求2至6任一项所述的方法，其中，所述根据所述第二特征指标和所述第一激光点子集的多个第二激光点的激光点信息，确定所述第一激光点子集的多个第二激光点的第二语义标签，包括：确定所述第一激光点子集的多个第二激光点的激光点高度信息、激光点距离信息和所述第一激光点子集内的第二激光点的数量信息；确定第二特征指标的高度范围阈值、距离阈值和数量阈值；根据所述激光点高度信息、所述激光点距离信息、所述数量信息、所述高度范围阈值、所述距离阈值和所述数量阈值，确定所述第一激光点子集的多个第二激光点的第二语义标签。8.根据权利要求2至6任一项所述的方法，其中，所述根据所述第二特征指标和所述第一激光点子集的多个第二激光点的激光点信息，确定所述第一激光点子集的多个第二激光点的第二语义标签，包括：确定所述第一激光点子集的多个第二激光点的激光点高度信息、激光点距离信息、激光点反射长度信息和所述第一激光点子集内的第二激光点的数量信息；确定第二特征指标的高度范围阈值、距离阈值、数量阈值和反射长度阈值；根据所述激光点高度信息、所述激光点距离信息、所述激光点反射长度信息、所述数量信息、所述高度范围阈值、所述距离阈值、所述数量阈值和所述反射长度阈值，确定所述第一激光点子集的多个第二激光点的第二语义标签。9.根据权利要求1所述的方法，其中，所述利用所述第二激光点的激光点信息，对所述多个第一激光点的初始语义标签进行更新，以得到优化的点云数据，包括：根据第二图像的各像素点的第三语义标签，确定所述多个第一激光点投影至所述第二图像对应的第四语义标签；其中，所述第二图像由所述第一图像通过图像膨胀处理所生成；在利用所述第二激光点的激光点信息确定所述第一障碍物区域为远距离障碍物的情况下，从所述第二图像中确定与所述第一障碍物区域关联的第二障碍物区域；确定所述关联的第二障碍物区域包含的第二聚类簇，其中，所述第二聚类簇包括第三激光点，所述第三激光点属于所述多个第一激光点；根据所述第三激光点的第四语义标签，对与所述第三激光点对应的第一激光点的初始语义标签进行更新，以得到优化的点云数据。10.根据权利要求9所述的方法，其中，所述第二图像的生成过程包括：对所述第一图像的第一障碍物区域进行图像膨胀处理，得到第二障碍物区域；其中，所述第一障碍物区域和所述第二障碍物区域具有相同的身份标识号；根据所述第二障碍物区域，生成所述第二图像。11.根据权利要求9或10所述的方法，其中，所述在利用所述第二激光点的激光点信息
确定所述第一障碍物区域为远距离障碍物的情况下，从所述第二图像中确定与所述第一障碍物区域关联的第二障碍物区域，包括：在利用所述第二激光点的激光点信息确定所述第一障碍物区域为远距离障碍物的情况下，获取所述第一障碍物区域的身份标识号；根据所述第一障碍物区域的身份标识号，从所述第二图像中确定与所述第一障碍物区域关联的第二障碍物区域。12.根据权利要求1至6任一项所述的方法，其中，所述根据第一图像的各像素点的第一语义标签，确定点云数据的多个第一激光点投影至所述第一图像对应的初始语义标签，之前，还包括：利用语义分割网络，确定第一图像的各像素点的第一语义标签。13.根据权利要求1至6任一项所述的方法，其中，所述根据第一图像的各像素点的第一语义标签，确定点云数据的多个第一激光点投影至所述第一图像对应的初始语义标签，包括：将点云数据的多个第一激光点投影至所述第一图像；根据所述第一图像的各像素点的第一语义标签，确定所述多个第一激光点的初始语义标签。14.一种点云数据...

【专利技术属性】
技术研发人员：高飙，梁志栋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：