目标检测方法、装置与电子设备制造方法及图纸

本申请实施例公开了一种目标检测方法、装置与电子设备，该方法包括：获取待检测场景的二维图像和点云数据；对二维图像进行语义分割，获得二维图像中每一个像素点的语义特征信息，以及对点云数据进行特征检测，获得点云数据中每个离散点的三维特征信息；针对点云数据中的每一个离散点，将离散点的三维特征信息与离散点对应的像素点的语义特征信息进行融合，获得每个离散点的第一融合特征信息；基于每个离散点的第一融合特征信息，获得待检测场景中的目标物的三维检测结果。即本申请将图像分割任务与三维目标检测任务结合在一起，并通过逐点融合的方式，提高了三维目标检测的准确性。

Target detection methods, devices and electronic equipment

【技术实现步骤摘要】
目标检测方法、装置与电子设备
本申请涉及计算机图像处理
，尤其涉及一种目标检测方法、装置与电子设备。
技术介绍
随着智能驾驶技术的快速发展，三维目标检测得到了研究者的广泛关注。三维目标检测的任务是，根据车载传感器获取到的数据，检测周围环境中的物体(如车辆、非机动车、行人等)。三维目标检测的难点在于，如何准确获得物体的位置、尺寸以及朝向信息，其检测准确性直接影响自动驾驶的行车安全。目前常见的三维目标检测方法是将三维点云与二维图像进行特征融合，获得目标物的三维检测结果，具体是将三维点云转换成点云鸟瞰图，将点云鸟瞰图与二维图像进行特征融合。但是，基于鸟瞰图的融合存在较大的量化误差，导致检测结果不准确。
技术实现思路
本申请实施例提供一种目标检测方法、装置与电子设备，提高目标物的检测准确性。第一方面，本申请实施例提供一种目标检测方法，包括：获取待检测场景的二维图像和点云数据，所述待检测场景中包括目标物；对所述二维图像进行语义分割，获得所述二维图像中每一个像素点的语义特征信息，以及对所述点云数据进行特征检测，获得所述点云数据中每个离散点的三维特征信息；针对所述点云数据中的每一个离散点，将所述离散点的三维特征信息与所述离散点对应的像素点的语义特征信息进行融合，获得每个所述离散点的第一融合特征信息；基于每个所述离散点的第一融合特征信息，确定所述待检测场景中的目标物的三维检测结果。在第一方面的一种可能的实现方式中，所述将所述离散点的三维特征信息与所述离散点对应的像素点的语义特征信息进行融合，获得每个所述离散点的第一融合特征信息，包括：从所述点云数据中获取所述离散点的K个临近点，以及所述K个临近点分别对应的像素点的语义特征信息，所述K个临近点包括所述离散点；针对所述K个临近点中的每一个临近点，将所述临近点对应的像素点的语义特征信息和所述临近点与所述离散点的坐标偏移量进行拼接，获得所述离散点与每个临近点的拼接特征信息；根据所述离散点与每个临近点的拼接特征信息，确定所述离散点的第一融合特征信息。在第一方面的一种可能的实现方式中，所述根据所述离散点与每个临近点的拼接特征信息，获得所述离散点的第一融合特征信息，包括：将所述离散点与每个临近点的拼接特征信息通过由多层感知机近似的连续卷积，获得所述离散点与每个临近点的近似特征信息；根据所述离散点与每个临近点的近似特征信息，确定所述离散点的第一融合特征信息。在第一方面的一种可能的实现方式中，所述根据所述离散点与每个临近点的近似特征信息，确定所述离散点的第一融合特征信息，包括：将所述离散点与每个临近点的拼接特征信息进行点池化操作，获得所述离散点的池化特性信息；根据所述离散点的池化特性信息，确定所述离散点的第一融合特征信息。在第一方面的一种可能的实现方式中，所述根据所述离散点与每个临近点的近似特征信息，确定所述离散点的第一融合特征信息，包括：将所述离散点与每个临近点的近似特征信息进行基于注意力机制的融合操作，获得所述离散点的第二融合特性信息；根据所述离散点的第二融合特性信息，确定所述离散点的第一融合特征信息。在第一方面的一种可能的实现方式中，所述根据所述离散点与每个临近点的近似特征信息，确定所述离散点的第一融合特征信息，包括：将所述离散点与每个临近点的近似特征信息进行叠加操作，获得所述离散点的叠加特性信息；根据所述离散点的叠加特性信息，确定所述离散点的第一融合特征信息。在第一方面的一种可能的实现方式中，所述方法还包括：将所述离散点的叠加特性信息、所述离散点的第二融合特性信息、所述离散点的池化特性信息中的任意一个作为所述离散点的第一融合特征信息；或者，将所述离散点的三维特征信息、所述离散点的叠加特性信息、所述离散点的第二融合特性信息和所述离散点的池化特性信息中的至少两项进行拼接，将拼接后的特性信息作为所述离散点的第一融合特征信息。在第一方面的一种可能的实现方式中，所述方法还包括：获取多张二维训练图像，所述二维训练图像中的目标物类别标注为前景，所述二维训练图像中除所述目标物类别之外的其他类别标注为背景；使用多张二维训练图像训练所述语义分割网络；所述对所述二维图像进行语义分割，获得所述二维图像中每一个像素点的语义特征信息，包括：将所述二维图像输入训练好的语义分割网络，获得所述二维图像中每一个像素点的语义特征信息。第二方面，本申请实施例提供一种目标检测装置，包括：获取模块，用于获取待检测场景的二维图像和点云数据，所述待检测场景中包括目标物；处理模块，用于对所述二维图像进行语义分割，获得所述二维图像中每一个像素点的语义特征信息，以及对所述点云数据进行特征检测，获得所述点云数据中每个离散点的三维特征信息；融合模块，用于针对所述点云数据中的每一个离散点，将所述离散点的三维特征信息与所述离散点对应的像素点的语义特征信息进行融合，获得每个所述离散点的第一融合特征信息；确定模块，用于基于每个所述离散点的第一融合特征信息，确定所述待检测场景中的目标物的三维检测结果。在第二方面的一种可能的实现方式中，所述融合模块，具体用于从所述点云数据中获取所述离散点的K个临近点，以及所述K个临近点分别对应的像素点的语义特征信息，所述K个临近点包括所述离散点；针对所述K个临近点中的每一个临近点，将所述临近点对应的像素点的语义特征信息和所述临近点与所述离散点的坐标偏移量进行拼接，获得所述离散点与每个临近点的拼接特征信息；根据所述离散点与每个临近点的拼接特征信息，确定所述离散点的第一融合特征信息。在第二方面的一种可能的实现方式中，所述融合模块，具体用于将所述离散点与每个临近点的拼接特征信息通过由多层感知机近似的连续卷积，获得所述离散点与每个临近点的近似特征信息；根据所述离散点与每个临近点的近似特征信息，确定所述离散点的第一融合特征信息。在第二方面的一种可能的实现方式中，所述融合模块，还具体用于将所述离散点与每个临近点的拼接特征信息进行点池化操作，获得所述离散点的池化特性信息；根据所述离散点的池化特性信息，确定所述离散点的第一融合特征信息。在第二方面的一种可能的实现方式中，所述融合模块，还具体用于将所述离散点与每个临近点的近似特征信息进行基于注意力机制的融合操作，获得所述离散点的第二融合特性信息；根据所述离散点的第二融合特性信息，确定所述离散点的第一融合特征信息。在第二方面的一种可能的实现方式中，所述融合模块，还具体用于将所述离散点与每个临近点的近似特征信息进行叠加操作，获得所述离散点的叠加特性信息；根据所述离散点的叠加特性信息，确定所述离散点的第一融合特征信息。在第二方面的一种可能的实现方式中，所述融合模块，具体用于将所述离散点的叠加特性信息、所述离散点的第二融合特性信息、所述离散点的池化特性信息中的任意一个作为所述离散点的第一融本文档来自技高网...

【技术保护点】
1.一种目标检测方法，其特征在于，包括：/n获取待检测场景的二维图像和点云数据，所述待检测场景中包括目标物；/n对所述二维图像进行语义分割，获得所述二维图像中每一个像素点的语义特征信息，以及对所述点云数据进行特征检测，获得所述点云数据中每个离散点的三维特征信息；/n针对所述点云数据中的每一个离散点，将所述离散点的三维特征信息与所述离散点对应的像素点的语义特征信息进行融合，获得每个所述离散点的第一融合特征信息；/n基于每个所述离散点的第一融合特征信息，确定所述待检测场景中的目标物的三维检测结果。/n

【技术特征摘要】
1.一种目标检测方法，其特征在于，包括：
获取待检测场景的二维图像和点云数据，所述待检测场景中包括目标物；
对所述二维图像进行语义分割，获得所述二维图像中每一个像素点的语义特征信息，以及对所述点云数据进行特征检测，获得所述点云数据中每个离散点的三维特征信息；
针对所述点云数据中的每一个离散点，将所述离散点的三维特征信息与所述离散点对应的像素点的语义特征信息进行融合，获得每个所述离散点的第一融合特征信息；
基于每个所述离散点的第一融合特征信息，确定所述待检测场景中的目标物的三维检测结果。


2.根据权利要求1所述的方法，其特征在于，所述将所述离散点的三维特征信息与所述离散点对应的像素点的语义特征信息进行融合，获得每个所述离散点的第一融合特征信息，包括：
从所述点云数据中获取所述离散点的K个临近点，以及所述K个临近点分别对应的像素点的语义特征信息，所述K个临近点包括所述离散点；
针对所述K个临近点中的每一个临近点，将所述临近点对应的像素点的语义特征信息和所述临近点与所述离散点的坐标偏移量进行拼接，获得所述离散点与每个临近点的拼接特征信息；
根据所述离散点与每个临近点的拼接特征信息，确定所述离散点的第一融合特征信息。


3.根据权利要求2所述的方法，其特征在于，所述根据所述离散点与每个临近点的拼接特征信息，获得所述离散点的第一融合特征信息，包括：
将所述离散点与每个临近点的拼接特征信息通过由多层感知机近似的连续卷积，获得所述离散点与每个临近点的近似特征信息；
根据所述离散点与每个临近点的近似特征信息，确定所述离散点的第一融合特征信息。


4.根据权利要求3所述的方法，其特征在于，所述根据所述离散点与每个临近点的近似特征信息，确定所述离散点的第一融合特征信息，包括：
将所述离散点与每个临近点的拼接特征信息进行点池化操作，获得所述离散点的池化特性信息；
根据所述离散点的池化特性信息，确定所述离散点的第一融合特征信息。


5.根据权利要求4所述的方法，其特征在于，所述根据所述离散点与每个临近点的近似特征信息，确定所述离散点的第一融合特征信息，包括：
将所述离散点与每个临近点的近似特征信息进行基于注意力机制的融合操作，获得所述离散点的第二融合特性信息；
根据所述离散点的第...

【专利技术属性】
技术研发人员：谢亮，项超，余正旭，徐国栋，杨政，蔡登，何晓飞，
申请(专利权)人：杭州飞步科技有限公司，
类型：发明
国别省市：浙江;33