本公开是关于一种多源信息融合方法及装置、电子设备以及计算机可读存储介质，涉及自动驾驶技术领域，可以应用于检测无人车周围物体的场景。该多源信息融合方法包括：获取目标街景图像以及目标街景图像对应的鸟瞰图像；其中，鸟瞰图像基于目标街景图像对应的点云图像确定；将目标街景图像输入至第一特征提取模型，以确定目标街景图像对应的第一特征图；将鸟瞰图像输入至第二特征提取模型，以确定鸟瞰图像对应的第二初始特征图；根据第一特征图对第二初始特征图进行位置融合处理，以得到目标特征图；对目标特征图进行检测框预测处理，以确定目标街景图像中的像素点信息。本公开可以对自动驾驶感知前融合方法进行改进。对自动驾驶感知前融合方法进行改进。对自动驾驶感知前融合方法进行改进。
【技术实现步骤摘要】
多源信息融合方法及装置、电子设备和存储介质
[0001]本公开涉及自动驾驶
，具体而言，涉及一种多源信息融合方法、多源信息融合装置、电子设备以及计算机可读存储介质。
技术介绍
[0002]自动驾驶技术是汽车产业与高性能计算芯片、人工智能、物联网等新一代信息技术深度融合的产物。近年来，自动驾驶技术取得了巨大的进步和发展，但距离完全成熟并投入使用尚有一段距离。
[0003]在众多无人驾驶所需要的技术中，用各种传感器检测无人车周边各种物体的感知技术是非常重要和关键的。具体的，感知技术主要包括：点云检测，Bird's Eye View(鸟瞰图，BEV)检测，前融合，后融合等。另外，前融合技术目前排名较高的开源融合方法是多视图目标检测网络(an Aggregate View Obeject Detection network，AVOD)。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]然而，现有的前融合技术AVOD通常采用两个神经网络分别提取RGB图像和BEV图像的特征图，通过预设的锚点(anchor)参数计算出每个anchor在RGB和BEV特征图上的位置，然后分别把其裁剪出来进行融合。这种融合有两个缺点：一是只采取了最后的高层抽象特征进行融合，丢失了前面浅层特征的相关性；二是为了保证检测框的准确性，一般预设的anchor数量比较多，导致计算代价较大。
[0006]本公开的目的在于提供一种多源信息融合方法、多源信息融合装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服现有的前融合技术在信息融合过程中丢失了低层特征的相关性并且需要设置锚点进行信息融合的问题。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。
[0008]根据本公开的第一方面，提供一种多源信息融合方法，包括：获取目标街景图像以及目标街景图像对应的鸟瞰图像；其中，鸟瞰图像基于目标街景图像对应的点云图像确定；将目标街景图像输入至第一特征提取模型，以确定目标街景图像对应的第一特征图；将鸟瞰图像输入至第二特征提取模型，以确定鸟瞰图像对应的第二初始特征图；根据第一特征图对第二初始特征图进行位置融合处理，以得到目标特征图；对目标特征图进行检测框预测处理，以确定目标街景图像中的像素点信息。
[0009]可选的，第一特征图包括多个第一特征子图，将目标街景图像输入至第一特征提取模型，以确定目标街景图像对应的第一特征图，包括：将目标街景图像输入至第一特征提取模型；其中，第一特征提取模型包括第一数量个第一卷积层；通过各第一卷积层对目标街景图像进行特征提取处理，以得到各第一卷积层分别对应的第一特征子图。
[0010]可选的，将鸟瞰图像输入至第二特征提取模型，以确定鸟瞰图像对应的第二初始特征图，包括：将鸟瞰图像输入至第二特征提取模型；其中，第二特征提取模型包含第一数量个第二卷积层；由第二特征提取模型中处于第一层的第二卷积层对鸟瞰图像进行特征提取处理，以得到第二初始特征图。
[0011]可选的，第二特征提取模型包括第二数量个反卷积层，根据第一特征图对第二初始特征图进行位置融合处理，以得到目标特征图，包括：对第一特征图与第二初始特征图进行位置融合处理，以得到初始融合特征图；由第二特征提取模型中的除处于第一层的第二卷积层之外的其他第二卷积层对初始融合特征图进行特征提取处理，以得到中间特征图；将第一特征图与中间特征图进行位置融合处理，以得到中间融合特征图；通过第二数量个反卷积层对中间融合特征图进行反卷积处理，以得到目标特征图。
[0012]可选的，对第一特征图与第二初始特征图进行位置融合处理，包括：从第二初始特征图中确定目标像素点，并从目标街景图像中确定与目标像素点对应的目标街景图像点；将目标街景图像点的像素值添加至目标像素点的像素值，以进行位置融合处理。
[0013]可选的，从所述目标街景图像中确定与目标像素点对应的目标街景图像点，包括：确定目标像素点在世界坐标系中对应的目标方格；并从目标方格中确定目标街景图像对应的最高位置点；将最高位置点在相机坐标系中的投影作为目标街景图像点。
[0014]可选的，对目标特征图进行检测框预测处理，以确定目标街景图像中的像素点信息，包括：将目标特征图输入至多层感知机；通过多层感知机的全连接层对目标特征图进行检测框预测处理，以确定目标街景图像中的位置信息和类别信息。
[0015]根据本公开的第二方面，提供一种多源信息融合装置，包括：图像获取模块，获取目标街景图像以及目标街景图像对应的鸟瞰图像；其中，鸟瞰图像基于目标街景图像对应的点云图像确定；第一特征图确定模块，用于将目标街景图像输入至第一特征提取模型，以确定目标街景图像对应的第一特征图；第二特征图确定模块，用于将鸟瞰图像输入至第二特征提取模型，以确定鸟瞰图像对应的第二初始特征图；目标特征图确定模块，用于根据第一特征图对第二初始特征图进行位置融合处理，以得到目标特征图；信息确定模块，用于对目标特征图进行检测框预测处理，以确定目标街景图像中的像素点信息。
[0016]可选的，第一特征图确定模块包括第一特征图确定单元，用于将目标街景图像输入至第一特征提取模型；其中，第一特征提取模型包括第一数量个第一卷积层；通过各第一卷积层对目标街景图像进行特征提取处理，以得到各第一卷积层分别对应的第一特征子图。
[0017]可选的，第二特征图确定模块包括第二特征图确定单元，用于将鸟瞰图像输入至第二特征提取模型；其中，第二特征提取模型包含第一数量个第二卷积层；由第二特征提取模型中处于第一层的第二卷积层对鸟瞰图像进行特征提取处理，以得到第二初始特征图。
[0018]可选的，目标特征图确定模块包括目标特征图确定单元，用于对第一特征图与第二初始特征图进行位置融合处理，以得到初始融合特征图；由第二特征提取模型中的除处于第一层的第二卷积层之外的其他第二卷积层对初始融合特征图进行特征提取处理，以得到中间特征图；将第一特征图与中间特征图进行位置融合处理，以得到中间融合特征图；通过第二数量个反卷积层对中间融合特征图进行反卷积处理，以得到目标特征图。
[0019]可选的，目标特征图确定单元包括融合处理子单元，用于从第二初始特征图中确
定目标像素点，并从目标街景图像中确定与目标像素点对应的目标街景图像点；将目标街景图像点的像素值添加至目标像素点的像素值，以进行位置融合处理。
[0020]可选的，融合处理子单元包括图像点确定子单元，用于确定目标像素点在世界坐标系中对应的目标方格；并从目标方格中确定目标街景图像对应的最高位置点；将最高位置点在相机坐标系中的投影作为目标街景图像点。
[0021]可选的，信息确定模块包括信息确定单元，用于将目标特征图输入至多层感知机；通过多层感知机的全连接层对目标特征图进行检测框预测处理，以确定目标街景图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多源信息融合方法，其特征在于，包括：获取目标街景图像以及所述目标街景图像对应的鸟瞰图像；其中，所述鸟瞰图像基于所述目标街景图像对应的点云图像确定；将所述目标街景图像输入至第一特征提取模型，以确定所述目标街景图像对应的第一特征图；将所述鸟瞰图像输入至第二特征提取模型，以确定所述鸟瞰图像对应的第二初始特征图；根据所述第一特征图对所述第二初始特征图进行位置融合处理，以得到目标特征图；对所述目标特征图进行检测框预测处理，以确定所述目标街景图像中的像素点信息。2.根据权利要求1所述的多源信息融合方法，其特征在于，所述第一特征图包括多个第一特征子图，所述将所述目标街景图像输入至第一特征提取模型，以确定所述目标街景图像对应的第一特征图，包括：将所述目标街景图像输入至所述第一特征提取模型；其中，所述第一特征提取模型包括第一数量个第一卷积层；通过各所述第一卷积层对所述目标街景图像进行特征提取处理，以得到各所述第一卷积层分别对应的第一特征子图。3.根据权利要求1所述的多源信息融合方法，其特征在于，所述将所述鸟瞰图像输入至第二特征提取模型，以确定所述鸟瞰图像对应的第二初始特征图，包括：将所述鸟瞰图像输入至所述第二特征提取模型；其中，所述第二特征提取模型包含第一数量个第二卷积层；由所述第二特征提取模型中处于第一层的第二卷积层对所述鸟瞰图像进行特征提取处理，以得到所述第二初始特征图。4.根据权利要求3所述的多源信息融合方法，其特征在于，所述第二特征提取模型包括第二数量个反卷积层，所述根据所述第一特征图对所述第二初始特征图进行位置融合处理，以得到目标特征图，包括：对所述第一特征图与所述第二初始特征图进行位置融合处理，以得到初始融合特征图；由所述第二特征提取模型中的除处于第一层的第二卷积层之外的其他第二卷积层对所述初始融合特征图进行特征提取处理，以得到中间特征图；将所述第一特征图与所述中间特征图进行位置融合处理，以得到中间融合特征图；通过所述第二数量个反卷积层对所述中间融合特征图进行反卷积处理，以得到所述目标特征图。5.根据权利要求4所述的多源信息融合方法，...
【专利技术属性】
技术研发人员：危磊，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。