本申请涉及立体视觉目标检测技术领域，特别涉及一种基于图像与点云融合的多模态三维目标检测方法及装置，其中，方法包括：利用图像卷积神经网络提取至少一个图像特征，并基于至少一个图像特征预测图像所含目标；根据传感器标定关系确定像素和点云投影关系，并基于像素和点云投影关系将像素特征融合至点云数据；将点云空间划分为柱体，并使用柱体特征网络编码柱体内点云，根据融合后的点云数据生成伪图像特征；将柱体对应的图像的结构化特征合并至伪图像特征；根据伪图像特征利用单步目标检测网络生成三维候选框，得到目标检测结果。本申请实施例可以基于图像和点云数据融合实现三维目标检测的目的，使用图像数据特征增强了从点云场景中执行目标检测的性能，有效保证检测的准确度和可靠性。准确度和可靠性。准确度和可靠性。
【技术实现步骤摘要】
基于图像与点云融合的多模态三维目标检测方法及装置
[0001]本申请涉及立体视觉目标检测
，特别涉及一种基于图像与点云融合的多模态三维目标检测方法及装置。
技术介绍
[0002]目前，目标检测是计算机视觉领域的重要研究问题，系统的精准感知是系统正常决策运作的前提。目标检测是使机器具有感知外界环境中有意义对象的方法，目标检测算法的精度和速度性能关系到自动驾驶、人机交互、增强现实等众多领域的发展，也广泛应用于军事、医学、航天等领域。
[0003]目标检测任务是指从图像、视频、点云等空间数据中，对外界环境中的对象进行定位和分类，获得目标的位置、姿态、类别等信息。具体而言，基于传感器采集的空间数据，目标检测算法将产生可能目标的外接矩形(或外接立方体)和类别概率。
[0004]相关技术中，伴随着深度学习的迅速发展，卷积神经网络在图像处理领域得到了广泛的应用，目标检测算法也取得了非常大的进步，神经网络方法已成为图像处理和特征提取的主流方法。目标检测方法与图像识别和特征感知密切联系，图像识别任务的进步推动了基于图像的目标检测算法的进步和成熟。
[0005]然而，伴随着自动驾驶等领域的需求，图像中目标信息的局限性逐渐显露。虽然图像目标检测方法预测的边框误差较小，但是对应到真实空间中，目标的真实位置仍无法判断，无法获知目标的距离信息，给进一步工作开展带来困难。因此，研究者将视角转向更高维度的三维空间内的目标检测，利用激光雷达、深度摄像机采集包含三维信息的数据，获得更加精细的预测，而数据的特殊性也带来了相当的挑战。
[0006]申请内容
[0007]本申请提供一种基于图像与点云融合的多模态三维目标检测方法及装置，以解决相关技术在对应到真实空间中，目标的真实位置仍无法判断，无法获知目标的距离信息的问题。
[0008]本申请第一方面实施例提供一种基于图像与点云融合的多模态三维目标检测方法，包括以下步骤：利用图像卷积神经网络提取至少一个图像特征，并基于所述至少一个图像特征预测图像所含目标；基于所述图像所含目标，根据传感器标定关系确定像素和点云投影关系，并基于所述像素和点云投影关系将像素特征融合至点云数据；将点云空间划分为柱体，并使用柱体特征网络编码所述柱体内点云，根据融合后的点云数据生成伪图像特征；将所述柱体对应的图像的结构化特征合并至所述伪图像特征；根据所述伪图像特征利用单步目标检测网络生成三维候选框，得到目标检测结果。
[0009]可选地，在本申请的一个实施例中，所述基于所述图像所含目标，根据传感器标定关系确定像素和点云投影关系，并基于所述像素和点云投影关系将像素特征融合至点云数据，包括：根据激光雷达和相机位置矩阵及相机内参矩阵，将点云坐标转换至像素平面，确定每个点对应的像素；根据所述每个点对应的像素生成点云对应的特征；将所述点云对应
的特征合并到点云列表中。
[0010]可选地，在本申请的一个实施例中，所述点云对应的特征包括第一语义特征、第一纹理特征和第一几何特征，其中，所述根据所述每个点对应的像素生成点云对应的特征，包括：若点对应的像素位于所述图像所含目标内，则将所述对应的像素标识为目标类别，否则标识为背景类别，生成的像素类别为所述第一语义特征；基于点对应的像素的三通道颜色值生成所述第一纹理特征；若点对应的像素位于所述图像所含目标内，则使用目标中心近似拟合三维目标的向量，生成所述第一几何特征。
[0011]可选地，在本申请的一个实施例中，所述将所述柱体对应的图像的结构化特征合并至所述伪图像特征，包括：计算所述柱体内点云的几何中心，确定所述柱体的计算坐标；根据所述激光雷达和相机位置矩阵及所述相机内参矩阵，将柱体坐标转换至像素平面，确定每个柱体对应的像素；根据所述每个柱体对应的像素生成柱体对应的特征；将所述柱体对应的特征并到伪图像特征中。
[0012]可选地，在本申请的一个实施例中，所述柱体对应的特征包括第二语义特征、第二纹理特征和第二几何特征，其中，所述根据所述每个柱体对应的像素生成柱体对应的特征，包括：若柱体中心坐标对应的像素位于所述图像所含目标内，则将所述对应的像素标识为所述目标类别，否则标识为所述背景类别，生成的像素类别为所述第二语义特征；基于柱体中心对应的像素的三通道颜色值生成所述第二纹理特征；根据所述柱体中心对应的像素计算与图像检测到的目标的像素差，并计算相应的偏角，生成所述第二几何特征。
[0013]本申请第二方面实施例提供一种基于图像与点云融合的多模态三维目标检测装置，包括：预测模块，用于利用图像卷积神经网络提取至少一个图像特征，并基于所述至少一个图像特征预测图像所含目标；第一生成模块，用于基于所述图像所含目标，根据传感器标定关系确定像素和点云投影关系，并基于所述像素和点云投影关系将像素特征融合至点云数据；第二生成模块，用于将点云空间划分为柱体，并使用柱体特征网络编码所述柱体内点云，根据融合后的点云数据生成伪图像特征；合并模块，用于将所述柱体对应的图像的结构化特征合并至所述伪图像特征；检测模块，用于根据所述伪图像特征利用单步目标检测网络生成三维候选框，得到目标检测结果。
[0014]可选地，在本申请的一个实施例中，所述第一生成模块进一步用于根据激光雷达和相机位置矩阵及相机内参矩阵，将点云坐标转换至像素平面，确定每个点对应的像素；根据所述每个点对应的像素生成点云对应的特征；将所述点云对应的特征合并到点云列表中。
[0015]可选地，在本申请的一个实施例中，所述合并模块进一步用于计算所述柱体内点云的几何中心，确定所述柱体的计算坐标；根据所述激光雷达和相机位置矩阵及所述相机内参矩阵，将柱体坐标转换至像素平面，确定每个柱体对应的像素；根据所述每个柱体对应的像素生成柱体对应的特征；将所述柱体对应的特征并到伪图像特征中。
[0016]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于图像与点云融合的多模态三维目标检测方法。
[0017]本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的基于图像与
点云融合的多模态三维目标检测方法。
[0018]本申请实施例将视角转向更高维度的三维空间内的目标检测，利用激光雷达、深度摄像机采集包含三维信息的数据，获得更加精细的预测，通过基于图像和点云数据融合实现三维目标检测的目的，使用图像数据特征增强了从点云场景中执行目标检测的性能，有效保证检测的准确度和可靠性。由此，解决了相关技术在对应到真实空间中，目标的真实位置仍无法判断，无法获知目标的距离信息的问题。
[0019]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0020]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像与点云融合的多模态三维目标检测方法，其特征在于，包括以下步骤：利用图像卷积神经网络提取至少一个图像特征，并基于所述至少一个图像特征预测图像所含目标；基于所述图像所含目标，根据传感器标定关系确定像素和点云投影关系，并基于所述像素和点云投影关系将像素特征融合至点云数据；将点云空间划分为柱体，并使用柱体特征网络编码所述柱体内点云，根据融合后的点云数据生成伪图像特征；将所述柱体对应的图像的结构化特征合并至所述伪图像特征；以及根据所述伪图像特征利用单步目标检测网络生成三维候选框，得到目标检测结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述图像所含目标，根据传感器标定关系确定像素和点云投影关系，并基于所述像素和点云投影关系将像素特征融合至点云数据，包括：根据激光雷达和相机位置矩阵及相机内参矩阵，将点云坐标转换至像素平面，确定每个点对应的像素；根据所述每个点对应的像素生成点云对应的特征；将所述点云对应的特征合并到点云列表中。3.根据权利要求2所述的方法，其特征在于，所述点云对应的特征包括第一语义特征、第一纹理特征和第一几何特征，其中，所述根据所述每个点对应的像素生成点云对应的特征，包括：若点对应的像素位于所述图像所含目标内，则将所述对应的像素标识为目标类别，否则标识为背景类别，生成的像素类别为所述第一语义特征；基于点对应的像素的三通道颜色值生成所述第一纹理特征；若点对应的像素位于所述图像所含目标内，则使用目标中心近似拟合三维目标的向量，生成所述第一几何特征。4.根据权利要求2或3所述的方法，其特征在于，所述将所述柱体对应的图像的结构化特征合并至所述伪图像特征，包括：计算所述柱体内点云的几何中心，确定所述柱体的计算坐标；根据所述激光雷达和相机位置矩阵及所述相机内参矩阵，将柱体坐标转换至像素平面，确定每个柱体对应的像素；根据所述每个柱体对应的像素生成柱体对应的特征；将所述柱体对应的特征并到伪图像特征中。5.根据权利要求4所述的方法，其特征在于，所述柱体对应的特征包括第二语义特征、第二纹理特征和第二几何特征，其中，所述根据所述每个柱体对应的像素生成柱体对应的特征，包括：若柱体中心坐标对应的像素位于所述图像...
【专利技术属性】
技术研发人员：高跃，戴岳，赵曦滨，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。