传感器数据融合方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种传感器数据融合方法、装置、电子设备及存储介质，涉及自动驾驶和目标检测技术领域。该方法包括：通过传感器获取车辆周围环境中的多个目标对应的图像数据和点云数据，将图像数据和点云数据进行融合，得到各目标的特征数据；获取车辆的可行驶区域的边界数据，对边界数据进行聚类，得到各目标的位置数据；基于特征数据和位置数据，确定各目标的属性信息。本公开技术方案，基于融合得到的数据和聚类得到的数据，可以确定各目标各自对应的属性信息，从而提高智能车辆的环境感知精度和场景泛化能力。度和场景泛化能力。度和场景泛化能力。

【技术实现步骤摘要】
传感器数据融合方法、装置、电子设备及存储介质


[0001]本公开涉及自动驾驶
，尤其涉及一种传感器数据融合方法、装置、电子设备及存储介质。

技术介绍

[0002]在自动驾驶、移动机器人领域，对环境的感知至关重要，利用视觉或者激光雷达进行周边环境的可行驶区域(freespace)边界检测是一种实现方式。但是，可行驶区域边界检测的检测结果一般只能以点坐标的形式描述可行驶区域的边界，无法区别这些边界点是检测到的运动的交通参与者，还是建筑等静物体，而且，无法确定各点是属于哪个目标的目标级信息，从而导致智能汽车的环境感知精度差，场景泛化能力受限。

技术实现思路

[0003]本公开提供了一种传感器数据融合方法、装置、电子设备及存储介质。
[0004]根据本公开的一方面，提供了一种传感器数据融合方法，包括：
[0005]通过传感器获取车辆周围环境中的多个目标对应的图像数据和点云数据，将图像数据和点云数据进行融合，得到各目标的特征数据；
[0006]获取车辆的可行驶区域的边界数据，对边界数据进行聚类，得到各目标的位置数据；
[0007]基于特征数据和位置数据，确定各目标的属性信息。
[0008]根据本公开的另一方面，提供了一种传感器数据融合装置，包括：
[0009]融合模块，用于通过传感器获取车辆周围环境中的多个目标对应的图像数据和点云数据，将图像数据和点云数据进行融合，得到各目标的特征数据；
[0010]聚类模块，用于获取车辆的可行驶区域的边界数据，对边界数据进行聚类，得到各目标的位置数据；
[0011]确定模块，用于基于特征数据和位置数据，确定各目标的属性信息。
[0012]根据本公开的另一方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与该至少一个处理器通信连接的存储器；其中，
[0015]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
[0016]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
[0017]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
[0018]本公开提供了一种传感器数据融合方法、装置、电子设备及存储介质，通过对传感器获取到的多个目标的数据进行融合，以及对可行驶区域的边界数据进行聚类，基于融合
得到的数据和聚类得到的数据，可以确定各目标各自对应的属性信息，从而提高智能车辆的环境感知精度和场景泛化能力。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1为本公开一实施例中传感器数据融合方法的流程图；
[0022]图2为本公开一实施例中目标的位置数据和目标的位置特征数据进行融合的示意图；
[0023]图3为本公开一实施例的计算边界点的标准差的示意图；
[0024]图4为本公开一实施例的栅格地图的示意图；
[0025]图5为本公开一实施例中传感器数据融合方法的示意图；
[0026]图6为本公开一实施例中传感器数据融合方法的流程图；
[0027]图7为本公开一实施例中传感器数据融合装置的示意图；
[0028]图8是用来实现本公开实施例的传感器数据融合方法的电子设备的框图。
具体实施方式
[0029]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0030]本公开实施例提供了一种传感器数据融合方法，图1是本公开一实施例的传感器数据融合方法的流程图，该方法可以应用于传感器数据融合装置，例如，该装置在部署于服务器、终端设备或其它处理设备执行的情况下，可以执行传感器数据融合等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，包括：
[0031]步骤S101，通过传感器获取车辆周围环境中的多个目标对应的图像数据和点云数据，将图像数据和点云数据进行融合，得到各目标的特征数据；
[0032]本公开实施例的执行主体可以为车载终端。智能汽车在行驶过程中通过车辆安装的各种传感器，例如，摄像头、激光雷达、毫米波雷达、超声波探测器等，获取车辆周围环境中的各目标的图像数据和点云数据，其中，目标包括静态目标和动态目标。
[0033]其中，图像数据可以是目标的二维或三维图像。通过摄像头获取到周围环境的图像之后，将图像输入目标检测模型，得到目标检测模型输出的目标的类别、在图像中的位置等。通过激光雷达、毫米波雷达、超声波探测器等，可以得到各目标的点云数据，根据点云数据可以得到各目标各自对应的尺寸、速度、加速度、姿态等。将各目标与对应的图像数据和点云数据进行关联，计算得到每个目标对应的类别、尺寸、速度、加速度、姿态、位置等数据，作为该目标对应的特征数据。
[0034]步骤S102，获取车辆的可行驶区域的边界数据，对边界数据进行聚类，得到各目标
的位置数据；
[0035]通过对多种传感器获取到的图像数据和点云数据进行可行驶区域的边界检测，可以得到可行驶区域的边界数据。例如，通过freespace算法，得到可行驶区域的边界点。通过对可行驶区域的各边界点进行聚类，可以得到每个目标对应的边界点，作为该目标对应的位置数据。
[0036]步骤S103，基于特征数据和位置数据，确定各目标的属性信息。
[0037]将每个目标对应的特征数据和位置数据进行融合，得到各目标的属性信息，属性信息可以包括各目标的类别、尺寸、速度、加速度、姿态、位置等属性。
[0038]相关技术中，将传感器获取到的图像数据和点云数据进行融合，作为最终的目标数据，精度不高，无法满足泊车域等需要精细化环境边界的场景的需求。而仅仅将可行驶区域的边界数据进行融合，无法得知哪些边界点属于哪个目标，即无法得到周围环境的目标级信息，也无法得知目标的种类、朝向、尺寸等具体的信息，感知精度差。
[0039]本公开实施例提供的传感器数据融合方法，通过对传感器获取到的多个目标的数据进行融合，以及对可行驶区域的边界数据进行聚类，基于融合得到的数据和聚类得到的数据，可以确定各目标各自对应的属性信息，从而提高智能车辆的环境感知精度和场景泛化能力。...

【技术保护点】

【技术特征摘要】
1.一种传感器数据融合方法，所述方法包括：通过传感器获取车辆周围环境中的多个目标对应的图像数据和点云数据，将所述图像数据和点云数据进行融合，得到各目标的特征数据；获取所述车辆的可行驶区域的边界数据，对所述边界数据进行聚类，得到所述各目标的位置数据；基于所述特征数据和所述位置数据，确定所述各目标的属性信息。2.根据权利要求1所述的方法，其中，所述基于所述特征数据和所述位置数据，确定所述各目标的属性信息，包括：对于每一目标，若所述特征数据包括位置特征数据，将所述目标的位置数据和所述目标的位置特征数据进行融合，将融合后的数据作为所述目标的属性信息中的位置属性。3.根据权利要求2所述的方法，其中，所述将所述目标的位置数据和所述目标的位置特征数据进行融合，包括：确定所述目标的位置数据中的各边界点到对应的位置特征数据中的位置点的残差；基于所述各边界点到对应位置点的残差，确定所述目标的残差；基于所述目标的残差和所述目标的残差的方差，进行滤波处理，得到融合后的数据。4.根据权利要求3所述的方法，其中，在基于所述目标的残差和所述目标的残差的方差，进行滤波处理之前，还包括：确定所述位置数据中各边界点的方差；基于所述各边界点的方差，确定所述目标的残差的方差。5.根据权利要求4所述的方法，其中，所述确定所述位置数据中各边界点的方差，包括：获取所述边界点的观测高度、观测角度和观测角度的标准差；基于所述边界点的观测高度、观测角度和观测角度的标准差，确定所述边界点的方差。6.根据权利要求1所述的方法，其中，所述将所述图像数据和点云数据进行融合，得到各目标的特征数据，包括：确定当前图像数据和点云数据与历史图像数据和点云数据的第一相似度；根据所述第一相似度将所述当前图像数据和点云数据，与所述历史图像数据和点云数据进行关联，得到各目标的特征数据。7.根据权利要求6所述的方法，还包括：在所述第一相似度小于预设阈值的情况下，根据所述当前图像数据和点云数据，确定新的目标的特征数据。8.根据权利要求1所述的方法，其中，所述对所述边界数据进行聚类，得到所述各目标的位置数据，包括：针对所述边界数据创建栅格地图，确定所述栅格地图中的各栅格存在目标的概率；基于所述各栅格存在目标的概率，确定所述各目标的运动属性；基于所述各目标的运动属性，对所述边界数据进行聚类，得到所述各目标的位置数据，所述运动属性包括运动或静止。9.根据权利要求8所述的方法，其中，所述基于所述各目标的运动属性，对所述边界数据进行聚类，得到所述各目标的位置数据，包括：将每个目标分别作为当前目标，若根据所述特征数据确定所述当前目标为静止目标，
且所述特征数据包括位置特征数据，则将所述当前目标的位置特征数据映射到所述栅格地图，得到所述栅格地图中的感兴趣区域；将所述感兴趣区域对应的边界数据进行聚类，得到所述当前目标的位置数据。10.根据权利要求1所述的方法，其中，所述基于所述特征数据和所述位置数据，确定所述各目标的属性信息，包括：将所述特征数据和所述位置数据按照对应的目标进行关联，得到各目标的关联数据；根据所述各目标的关联数据，确定所述各目标的属性信息。11.根据权利要求10所述的方法，其中，所述将所述特征数据和所述位置数据按照对应的目标进行关联，得到各目标的关联数据，包括：若所述特征数据包括位置特征数据，则确定所述位置特征数据与各位置数据的第二相似度；基于各第二相似度，将所述目标的特征数据与位置数据进行关联，得到所述目标的关联数据。12.根据权利要求1所述的方法，其中，所述将所述图像数据和点云数据进行融合，得到各目标的特征数据，包括：在所述传感器的数量为多个的情况下，将通过多个传感器获取到的图像数据和点云数据分别进行时间同步和空间同步，得到时空同步后的图像数据和点云数据；将所述时空同步后的图像数据和点云数据进行融合，得到各目标的特征数据。13.一种传感器数据融合装置，所述装置包括：融合模块，用于通过传感器获取车辆周围环境中的多个目标对应的图像数据和点云数据，将所述图像数据和点云数据进行融合，得到各目标的特征数据；聚类模块...

【专利技术属性】
技术研发人员：张志明，陈文洋，湛波，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：