点云数据的处理方法、装置、智能芯片、存储介质和车辆制造方法及图纸

本公开提供了一种点云数据的处理方法、装置、智能芯片、存储介质和车辆，涉及人工智能领域，具体涉及智能交通、计算机视觉和自动驾驶等技术领域。点云数据的处理方法由智能芯片执行，具体实现方案为：根据点云数据中的宽度值和高度值，对点云数据进行网格化处理，得到预定网格中点云数据对应的目标网格单元；根据点云数据的深度值和反射强度值，对目标网格单元对应的点云统计数据进行更新；以及响应于根据一帧点云数据完成对预定网格中网格单元对应的点云统计数据的更新，根据预定网格中网格单元对应的点云统计数据执行计算机视觉的目标任务。任务。任务。

【技术实现步骤摘要】
点云数据的处理方法、装置、智能芯片、存储介质和车辆


[0001]本公开涉及人工智能领域，具体涉及智能交通、计算机视觉和自动驾驶等
，尤其涉及一种点云数据的处理方法、装置、智能芯片、存储介质和车辆。

技术介绍

[0002]随着计算机技术和电子技术的发展，计算机视觉技术在众多领域得到广泛应用。例如，在自动驾驶技术中，通常需要依赖计算机视觉进行道路环境分析，并根据分析结果来进行驾驶决策。
[0003]具体地，通常需要依赖计算机视觉中的目标检测、语义分割和实例分割等任务来识别车辆所在道路环境中的障碍物。该些任务的实施需要依赖传感器检测的数据，且为了便于该些任务的实施，通常需要对传感器检测到的数据进行预处理，以得到执行任务的神经网络模型的输入数据。

技术实现思路

[0004]本公开旨在提供一种利于提高点云数据处理效率和计算机视觉任务的执行效率的点云数据的处理方法、装置、智能芯片、存储介质和车辆。
[0005]根据本公开的第一个方面，提供了一种智能芯片执行的点云数据的处理方法，包括：根据点云数据中的宽度值和高度值，对点云数据进行网格化处理，得到预定网格中点云数据对应的目标网格单元；根据点云数据中的宽度值和高度值，对点云数据进行网格化处理，得到预定网格中点云数据对应的目标网格单元；以及响应于根据一帧点云数据完成对预定网格中网格单元对应的点云统计数据的更新，根据预定网格中网格单元对应的点云统计数据执行计算机视觉的目标任务。
[0006]根据本公开的第二个方面，提供了一种集成于智能芯片的点云数据的处理装置，包括：网格化处理模块，用于根据点云数据中的宽度值和高度值，对点云数据进行网格化处理，得到预定网格中点云数据对应的目标网格单元；统计数据更新模块，用于根据点云数据的深度值和反射强度值，对目标网格单元对应的点云统计数据进行更新；以及目标任务执行模块，用于响应于根据一帧点云数据完成对预定网格中网格单元对应的点云统计数据的更新，根据预定网格中网格单元对应的点云统计数据执行计算机视觉的目标任务。
[0007]根据本公开的第三个方面，提供了一种智能芯片，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的点云数据的处理方法。
[0008]根据本公开的第四个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的点云数据的处理方法。
[0009]根据本公开的第五个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/
指令在被处理器执行时实现本公开提供的点云数据的处理方法。
[0010]根据本公开的第六个方面，提供了一种自动驾驶车辆，包括本公开提供的智能芯片。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开实施例的点云数据的处理方法和装置的应用场景示意图；
[0014]图2是根据本公开实施例的点云数据的处理方法的流程示意图；
[0015]图3是根据本公开实施例的对点云数据进行网格化处理的原理示意图；
[0016]图4是根据本公开实施例的对点云数据进行更新的原理示意图；
[0017]图5是根据本公开实施例的用来实施点云数据的处理方法的逻辑架构图；
[0018]图6是根据本公开实施例的用来实施点云数据的处理方法的芯片架构图；
[0019]图7是根据本公开实施例的点云数据的处理装置的结构框图；以及
[0020]图8是用来实施本公开实施例的点云数据的处理方法的智能芯片的示意性框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]在自动驾驶车辆中，在使用神经网络模型执行计算机视觉任务时，可以依赖激光雷达等传感器检测的数据。为了计算机视觉任务的实施，通常需要借助主处理器(CPU)对激光雷达等传感器采集的点云数据进行预处理。随后由CPU将预处理后的数据发送给执行计算机视觉任务的数据处理单元(Data Processing Unit，DPU)。但点云数据的预处理通常需要耗费CPU较多的计算资源，这会影响整个自动驾驶系统的性能和运行稳定性。
[0023]为了解决该问题，本公开提供了一种点云数据的处理方法、装置、智能芯片、存储介质和自动驾驶车辆。以下先结合图1对本公开提供的方法和装置的应用场景进行描述。
[0024]图1是根据本公开实施例的点云数据的处理方法和装置的应用场景示意图。
[0025]如图1所示，该实施例的应用场景100可以包括自动驾驶车辆110，该自动驾驶车辆110可以在道路上行驶。该自动驾驶车辆110例如可以集成有用于感知环境的传感器，例如可以集成有视觉类摄像机和雷达类测距传感器。其中，视觉类摄像机可以包括单目摄像机、双目立体视觉摄像机、全景视觉摄像机和/或红外相机等。雷达类测距传感器例如可以包括激光雷达、毫米波雷达和超声波雷达等。
[0026]在一实施例中，自动驾驶车辆110中的自动驾驶系统例如可以借由激光雷达检测的点云数据执行计算机视觉的目标任务。目标任务例如可以包括目标检测任务、语义分割任务或实例分割任务等。为了便于目标任务的实施，例如可以先对点云数据进行预处理，以将点云数据转换为可以表示点云数据的特征的点云统计数据。随后，将点云统计数据作为
用于执行目标任务的神经网络模型的输入，以得到目标任务的执行结果。其中，执行目标任务的神经网络模型例如可以基于卷积神经网络构建，本公开对此不做限定。
[0027]在完成目标任务后，自动驾驶系统例如可以根据目标任务的执行结果来确定自动驾驶车辆110所在的环境信息(例如障碍物位置、障碍物速度等)，并根据环境信息来确定自动驾驶策略。
[0028]在一实施例中，道路两侧例如还可以设置有监控设备120，该监控设备120可以监控道路的环境图像，并将监控的图像经由网络发送给电子设备130。自动驾驶车辆110例如也可以将实时的驾驶信息和传感器检测到的数据上传给电子设备130，以便于电子设备130对自动驾驶车辆110进行远程监控，并在自动驾驶车辆110行驶异常时及时地远程介入，便于提高自动驾驶车辆110的行驶安全性。
[0029]电子设备130例如可以为具有处理功本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能芯片执行的点云数据的处理方法，包括：根据点云数据中的宽度值和高度值，对点云数据进行网格化处理，得到预定网格中所述点云数据对应的目标网格单元；根据所述点云数据的深度值和反射强度值，对所述目标网格单元对应的点云统计数据进行更新；以及响应于根据一帧点云数据完成对所述预定网格中网格单元对应的点云统计数据的更新，根据所述预定网格中网格单元对应的点云统计数据执行计算机视觉的目标任务。2.根据权利要求1所述的方法，其中，所述根据所述点云数据的深度值和反射强度值，对所述目标网格单元对应的点云统计数据进行更新包括：根据与所述预定网格对应的指向表，确定所述目标网格单元是否有对应的点云统计数据；其中，所述指向表中包括与所述预定网格中的网格单元对应的指向值，所述指向值指示对应的网格单元是否具有对应的点云统计数据；以及响应于所述目标网格单元有对应的点云统计数据，根据所述点云数据的深度值和反射强度值对所述目标网格单元对应的点云统计数据进行更新。3.根据权利要求2所述的方法，其中，所述根据所述点云数据的深度值和反射强度值，对所述目标网格单元对应的点云统计数据进行更新还包括：响应于所述目标网格单元没有对应的点云统计数据，根据所述点云数据的深度值和反射强度值确定所述目标网格单元对应的点云统计数据；以及所述方法还包括：响应于根据所述点云数据的深度值和反射强度值确定了所述目标网格单元对应的点云统计数据，更改所述指向表中与所述目标网格单元对应的指向值，以使得更改后指向值指示所述目标网格单元具有对应的点云统计数据。4.根据权利要求2或3所述的方法，还包括：响应于完成对所述目标网格单元对应的点云统计数据的更新，将更新后的点云统计数据存储至预定存储空间中与所述目标网格单元对应的子空间；所述响应于所述目标网格单元有对应的点云统计数据，根据所述点云数据的深度值和反射强度值对所述目标网格单元对应的点云统计数据进行更新包括：从与所述目标网格单元对应的子空间中读取点云统计数据；以及根据所述点云数据的深度值和反射强度值对读取的点云统计数据进行更新。5.根据权利要求1～4中任一项所述的方法，其中，点云统计数据包括与网格单元对应的点云数据的强度值平均值、强度值总和、最大深度值及与所述网格单元对应的点云数据的总数；所述根据所述点云数据的深度值和反射强度值，对所述目标网格单元对应的点云统计数据进行更新包括：根据所述点云数据的所述深度值和所述反射强度值，对所述目标网格单元对应的点云统计数据中的强度值总和、最大深度值及与网格单元对应的点云数据的总数进行更新；所述方法还包括：响应于根据一帧点云数据完成对所述预定网格中网格单元对应的点云统计数据的更新，根据与所述网格单元对应的点云统计数据中的强度值总和及与所述网格单元对应的点云数据的总数，对与所述网格单元对应的点云统计数据中的强度值平均值进行更新。6.根据权利要求5所述的方法，其中，根据与所述网格单元对应的点云统计数据中的强
度值总和及与所述网格单元对应的点云数据的总数，对与所述网格单元对应的点云统计数据中的强度值平均值进行更新包括：根据与所述预定网格对应的指向表，确定所述预定网格中的待更新网格单元；其中，所述指向表中包括与所述预定网格中的网格单元对应的指向值，所述指向值指示对应的网格单元是否具有对应的点云统计数据；所述待更新网格单元为具有对应的点云统计数据的网格单元；从预定存储空间中与所述待更新网格单元对应的子空间中，读取与所述待更新网格单元对应的点云统计数据；根据读取的点云统计数据中的强度值总和及点云数据的总数，确定与所述待更新网格单元对应的强度值平均值；以及将与所述待更新网格单元对应的强度值平均值存储至与所述待更新网格单元对应的子空间中。7.根据权利要求1所述的方法，其中，所述根据点云数据中的宽度值和高度值，对点云数据进行网格化处理包括：响应于所述点云数据的深度值位于预定深度范围内，根据点云数据中的宽度值和高度值，对所述点云数据进行网格化处理。8.根据权利要求1或7所述的方法，其中，根据点云数据中的宽度值和高度值，对点云数据进行网格化处理包括：根据所述宽度值与所述高度值的差，确定所述点云数据对应的目标网格单元在所述预定网格中所在的行数；根据所述宽度值与所述高度值的和，确定所述点云数据对应的目标网格单元在所述预定网格中所在的列数；以及响应于所述行数和所述列数大于0，根据所述行数和所述列数，确定所述预定网格中与所述点云数据对应的目标网格单元。9.根据权利要求1
‑
8中任一项所述的方法，其中，所述智能芯片包括可编程逻辑阵列芯片。10.一种集成于智能芯片的点云数据的处理装置，包括：网格化处理模块，用于根据点云数据中的宽度值和高度值，对点云数据进行网格化处理，得到预定网格中所述点云数据对应的目标网格单元；统计数据更新模块，用于根据所述点云数据的深度值和反射强度值，对所述目标网格单元对应的...

【专利技术属性】
技术研发人员：黄自瑞，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：