点云处理方法、装置及车辆制造方法及图纸

本公开提供了一种点云处理方法、装置及车辆，涉及人工智能领域，具体涉及计算机视觉、3D视觉和深度学习技术，包括：获取三维点云、以及与三维点云对应的二维图像，对二维图像进行语义分割处理，得到二维图像中像素点的类别标签，其中，类别标签用于表征像素点对应的障碍物类别，根据类别标签对三维点云进行过滤处理，得到过滤后的三维点云，避免了相关技术中采用“去除离群点”造成的过滤的全面性偏低的弊端，提高了过滤的全面性，也避免了相关技术中采用“分割前景和背景”造成的准确性偏低的弊端，提高了过滤的可准确性和可靠性，提高了过滤的鲁棒性的技术效果。过滤的鲁棒性的技术效果。过滤的鲁棒性的技术效果。

【技术实现步骤摘要】
点云处理方法、装置及车辆


[0001]本公开涉及人工智能领域，具体涉及计算机视觉、3D视觉和深度学习技术，具体可用于智慧城市和智能交通场景下，尤其涉及一种点云处理方法、装置及车辆。

技术介绍

[0002]自动驾驶系统是指，依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，可以在没有任何人类主动的操作下，自动安全地操作车辆的系统。
[0003]其中，雷达可以获取点云，自动驾驶系统可以基于点云对障碍物等目标对象进行检测，为了提高车辆行驶的安全性和可靠性，通常需要对点云进行过滤处理。在现有技术中，通常采用的过滤方法为：确定点云中的离群点，并将离群点从点云中去除。
[0004]然而，该方法是基于离群点的假设，只能去除部分噪声点，导致过滤的可靠性偏低的技术问题。

技术实现思路

[0005]本公开提供了一种用于提高对三维点云的滤波可靠性的点云处理方法、装置及车辆。
[0006]根据本公开的第一方面，提供了一种点云处理方法，所述方法包括：
[0007]获取三维点云、以及与所述三维点云对应的二维图像；
[0008]对所述二维图像进行语义分割处理，得到所述二维图像中像素点的类别标签，其中，所述类别标签用于表征所述像素点对应的障碍物类别；
[0009]根据所述类别标签对所述三维点云进行过滤处理，得到过滤后的三维点云。
[0010]根据本公开的第二方面，提供了一种点云处理装置，所述装置包括：
[0011]获取单元，用于获取三维点云、以及与所述三维点云对应的二维图像；
[0012]分割单元，用于对所述二维图像进行语义分割处理，得到所述二维图像中像素点的类别标签，其中，所述类别标签用于表征所述像素点对应的障碍物类别；
[0013]过滤单元，用于根据所述类别标签对所述三维点云进行过滤处理，得到过滤后的三维点云。
[0014]根据本公开的第三方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
[0018]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
[0019]根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从
所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
[0020]根据本公开的第五方面，提供了一种车辆，包括：如第二方面所述的装置。
[0021]根据本公开提供的点云处理方法、装置及车辆，通过确定像素点的类别标签，以基于类别标签对三维点云进行过滤处理的技术特征，避免了相关技术中采用“去除离群点”造成的过滤的全面性偏低的弊端，提高了过滤的全面性，也避免了相关技术中采用“分割前景和背景”造成的准确性偏低的弊端，提高了过滤的可准确性和可靠性，提高了过滤的鲁棒性的技术效果。
[0022]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0023]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0024]图1是根据本公开第一实施例的示意图；
[0025]图2是根据本公开第二实施例的示意图；
[0026]图3是根据本公开实施例的点云处理方法的原理示意图；
[0027]图4是根据本公开第三实施例的示意图；
[0028]图5是可以实现本公开实施例的点云处理方法的场景图；
[0029]图6是根据本公开第四实施例的示意图；
[0030]图7是根据本公开第五实施例的示意图；
[0031]图8是根据本公开第六实施例的示意图；
[0032]图9是用来实现本公开实施例的点云处理方法的电子设备的框图。
具体实施方式
[0033]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0034]自动驾驶系统为自动安全地操作车辆的系统，也即基于自动驾驶系统，可以实现车辆安全地自动驾驶。自动驾驶系统由不同的装置或设备等系统合作实现，如雷达(radio detection and ranging，Radar)在自动驾驶系统中起着关键的作用。
[0035]其中，雷达可以分为不同的类型，如激光雷达(Laser Radar)和毫米波雷达(millimeter
‑
wave radar)等，借助于雷达，自动驾驶系统可以准确地对车辆所处环境做实时三维(3D)建模，特别是在一些基于视觉计算失效的场景下，如大雾、夜晚、以及白色车辆等，以提高自动驾驶系统控制车辆的安全性，且可以准确感知(3D)目标对象，如车辆和行人等的位置、大小、以及姿态等。即借助于雷达，可以实现对目标对象进行检测的目标检测任务。
[0036]示例性的，雷达可以采集点云(点云是指目标对象外观表面的点数据集合)，自动驾驶系统可以基于点云进行目标检测，从而得到目标对象的位置、大小、以及姿态等。
[0037]然而，由于天气和环境等各方面的原因，雷达采集到的点云中可能存在与目标检测无关的噪点(噪声数据，或者，可以理解为异常数据)，因此，需要对噪点进行去除，即需要对点云进行过滤处理。
[0038]在一些实施例中，可以采用“去除离群点”的方式对点云进行过滤处理，其中，离群点是指远离一般值的极端大值和/或极端小值。例如：
[0039]针对点云中的每一个点，计算该点到与该点最近的K个点平均距离，相应的，得到每一个点各自对应的平均距离，点云中所有点的平均距离可以构成高斯分布(或正态分布)，根据预设的均值与方差，确定均值标准差(sigma)，并根据均值标准差剔除点云中极端大值和/或极端小值，如剔除3*sigma之外的点。
[0040]其中，均值与方差可以基于需求、历史记录、以及试验等方式进行确定，本实施例不做限定。
[0041]然而采用该种方式对点云进行过滤处理时，噪声是离群点的假设，相对而言，只能去除一些局部噪声，而不能很好的覆盖一些大面积的无关背景的噪声的技术问题。
[0042]在另一些实施例中，可以采用“分割前景和背景”的方式对点云进行过滤处理，例如：
[0043]确定点云本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云处理方法，所述方法包括：获取三维点云、以及与所述三维点云对应的二维图像；对所述二维图像进行语义分割处理，得到所述二维图像中像素点的类别标签，其中，所述类别标签用于表征所述像素点对应的障碍物类别；根据所述类别标签对所述三维点云进行过滤处理，得到过滤后的三维点云。2.根据权利要求1所述的方法，其中，根据所述类别标签对所述三维点云进行过滤处理，得到过滤后的三维点云，包括：将所述三维点云转换至所述二维图像所处的第一坐标系为基准的二维点云；根据所述类别标签对所述二维点云进行过滤处理，得到过滤后的二维点云，并将所述过滤后的二维点云转换至所述三维点云所处的第二坐标系为基准的过滤后的三维点云。3.根据权利要求2所述的方法，其中，根据所述类别标签对所述二维点云进行过滤处理，得到过滤后的二维点云，包括：确定所述像素点与所述二维点云中各二维点之间的对应关系，其中，具有所述对应关系的像素点和二维点为相同障碍物上的相同点；根据所述类别标签和所述对应关系，对所述二维点云中的二维点进行去除处理，得到所述过滤后的二维点云。4.根据权利要求3所述的方法，其中，根据所述类别标签和所述对应关系，对所述二维点云中的各二维点进行去除处理，得到所述过滤后的二维点云，包括：根据所述类别标签和所述对应关系，确定各二维点各自对应的去除概率；根据所述去除概率对各二维点进行去除处理，得到所述过滤后的二维点云。5.根据权利要求4所述的方法，其中，所述像素点的数量为多个；根据所述类别标签和所述对应关系，确定各二维点各自对应的去除概率，包括：根据每一像素点的类型标签，确定与每一像素点具有对应关系的二维点的去除概率。6.根据权利要求3
‑
5中任一项所述的方法，其中，二维点具有坐标；在确定所述像素点与所述二维点云中各二维点之间的对应关系之前，所述方法还包括：若二维点的坐标为非整数坐标，则将为非整数坐标的二维点的坐标转换为整数坐标。7.根据权利要求3
‑
5中任一项所述的方法，其中，二维点具有坐标；在确定所述像素点与所述二维点云中各二维点之间的对应关系之前，所述方法还包括：根据各二维点各自对应的坐标对所述二维点云进行二维点插值处理。8.根据权利要求3
‑
7中任一项所述的方法，其中，所述像素点的数量为多个，每一像素点和每一二维点均具有坐标；确定所述像素点与所述二维点云中各二维点之间的对应关系，包括：根据各像素点各自对应的坐标、以及各二维点各自对应的坐标，确定具有最近距离关系的像素点和二维点，并将具有最近距离关系的像素点和二维点确定为相同障碍物上的相同点。9.根据权利要求2
‑
8中任一项所述的方法，其中，将所述三维点云转换至所述二维图像所处的第一坐标系为基准的二维点云，包括：基于投影矩阵将所述三维点云投影至所述第一坐标系，得到所述二维点云，其中，所述投影矩阵用于表征所述第一坐标系与第二坐标系之间的坐标转换关系，所述第二坐标系为
所述三维点所处的坐标系。10.根据权利要求1
‑
9中任一项所述的方法，其中，对所述二维图像进行语义分割处理，得到所述二维图像中像素点的类别标签，包括：基于预先训练的语义分割模型对所述二维图像进行语义分割处理，得到所述二维图像中像素点的类别标签，其中，所述语义分割模型是基于样本数据集生成的，所述样本数据集中包括多个样本二维图像。11.根据权利要求1
‑
10中任一项所述的方法，在根据所述类别标签对所述三维点云进行过滤处理，得到过滤后的三维点云之后，所述方法还包括：对所述过滤后的三维点云进行目标检测处理，得到与所述过滤后的三维点云对应的障碍物信息。12.根据权利要求11所述的方法，在对所述过滤后的三维点云进行目标检测处理，得到与所述过滤后的三维点云对应的障碍物信息之后，所述方法还包括：根据所述障碍物信息控制车辆的自动驾驶。13.一种点云处理装置，所述装置包括：获取单元，用于获取三维点云、以及与所述三维点云对应的二维图像；分割单元，用于对所述二维图像进行语义分割处理，得到所述二维图像中像素点的类别标签，其中，所述类别标签用于表...

【专利技术属性】
技术研发人员：鞠波，叶晓青，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：