一种物体检测方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种物体检测方法、装置、电子设备和存储介质；本发明专利技术实施例可以获取场景的点云，该点云包括点的位置信息；将点云映射到三维体素表示，得到三维体素的特征信息；对三维体素的特征信息进行卷积操作，得到卷积特征集；基于卷积特征集获取候选物体区域、以及候选物体区域的初始定位信息；从点云中选择位于候选物体区域内的目标点；基于目标点的位置信息和目标卷积特征信息，对候选物体区域的初始定位信息进行调整，得到调整后物体区域的定位信息，其中，目标卷积特征信息为卷积特征集中与目标点位置对应的卷积特征信息。该方案可以提升物体检测的精确性。

An Object Detection Method, Device, Electronic Equipment and Storage Media

【技术实现步骤摘要】
一种物体检测方法、装置、电子设备和存储介质
本专利技术涉及图像
，具体涉及一种物体检测方法、装置、电子设备和存储介质。
技术介绍
物体检测是指的确定某个场景中物体的位置、类别等。目前物体检测技术已经广泛应用到各种场景中，比如，自动驾驶、无人机等场景。目前的物体检测方案均是采集场景图像，从场景图像中提取特征，然后，基于提取的特征确定出场景中的位置和类别。然而，目前经过实践目标物体检测方案存在物体检测的精确性较低等问题，尤其在3D物体检测场景。
技术实现思路
本专利技术实施例提供一种物体检测方法、装置、电子设备和存储介质，可以提升物体检测的精确性。本专利技术实施例提供一种物体检测方法，包括：获取场景的点云，所述点云包括点的位置信息；将所述点云映射到三维体素表示，得到三维体素的特征信息；对所述三维体素的特征信息进行卷积操作，得到卷积特征集；基于所述卷积特征集获取候选物体区域、以及候选物体区域的初始定位信息；从所述点云中选择位于候选物体区域内的目标点；基于所述目标点的位置信息和目标卷积特征信息，对所述候选物体区域的初始定位信息进行调整，得到调整后物体区域的定位信息，其中，所述目标卷积特征信息为所述卷积特征集中与目标点位置对应的卷积特征信息。相应的，本专利技术实施例还提供一种物体检测装置，包括：点云获取单元，用于获取场景的点云，所述点云包括点的位置信息；体素映射单元，用于将所述点云映射到三维体素表示，得到三维体素的特征信息；卷积单元，用于对所述三维体素的特征信息进行卷积操作，得到卷积特征集；候选区域获取单元，用于基于所述卷积特征集获取候选物体区域、以及候选物体区域的初始定位信息；选择单元，用于从所述点云中选择位于候选物体区域内的目标点；调整单元，用于基于所述目标点的位置信息和目标卷积特征信息，对所述候选物体区域的初始定位信息进行调整，得到调整后物体区域的定位信息，其中，所述目标卷积特征信息为所述卷积特征集中与目标点位置对应的卷积特征信息。在一实施例中，所述调整单元，可以包括：融合子单元，用于对所述目标点的位置信息、以及目标卷积特征信息进行融合，得到候选物体区域的区域特征信息；第一预测子单元，用于基于所述区域特征信息预测所述候选物体区域相对于真实物体区域的定位偏移信息，得到预测定位偏移信息；修正子单元，用于基于所述预测定位偏移信息对所述候选物体区域的初始定位信息进行修正，得到调整后物体区域的定位信息。在一实施例中，所述融合子单元，用于：对所述目标点的位置信息、以及目标卷积特征信息进行融合，得到融合特征信息；对所述目标点的目标卷积特征信息进行降维处理，得到目标点的特征权重；基于所述特征权重对所述融合特征信息进行特征运算，得到运算后特征信息；对所述运算后特征信息进行下采样操作，得到候选物体区域的区域特征信息。在一实施例中，所述融合子单元，用于：对所述融合特征信息的特征维度进行升维处理，得到处理后特征信息；基于所述特征权重对所述处理后特征信息进行特征运算，得到运算后特征信息。在一实施例中，所述融合子单元，用于：对所述目标点的目标卷积特征信息进行降维处理，得到目标点的初始特征权重；基于激活函数对所述初始特征权重进行处理，得到目标点的特征权重。在一实施例中，所述卷积单元，可以包括：三维卷积子单元，用于对所述三维体素的特征信息进行三维卷积运算，得到三维体素的三维卷积特征信息；二维卷积子单元，用于对所述三维体素的三维卷积特征进行二维卷积运算，得到卷积特征集。在一实施例中，三维卷积子单元，用于：采用候选区域网络中的三维卷积网络对所述三维体素的特征信息进行三维卷积运算；其中，所述候选区域网络还包括与所述三维卷积网络连接的二维卷积网络，所述二维卷积网络包括多个依次连接的卷积块；所述二维卷积子单元，用于采用所述卷积块依次对所述三维卷积特征进行二维卷积运算；将每个卷积块输出的卷积特征进行融合，得到卷积特征集。在一实施例中，二维卷积子单元，用于采用所述卷积块依次对所述三维卷积特征进行二维卷积运算；对所述二维卷积网络中其他卷积块输出的卷积特征进行反卷积处理，得到反卷积特征，所述反卷积特征与第一个卷积块输出的卷积特征的尺寸相同，其中，卷积块为所述二维卷积网络中除第一个卷积块之外的其他卷积块；将第一个卷积块输出的卷积特征与其他卷积块的反卷积特征进行融合，得到卷积特征集。在一实施例中，所述候选区域获取单元，可以包括：第二预测子单元，用于基于所述卷积特征集预测三维体素对应的定位偏移信息和物体类型，其中，所述定位偏移信息为所述三维体素对应的参考物体区域相对于真实物体区域的初始定位偏移信息；调整子单元，用于基于所述初始定位偏移信息和物体类型对参考物体区域进行调整，得到候选物体区域、以及候选物体区域的初始定位信息。在一实施例中，所述调整子单元，用于：根据所述物体类型对参考物体区域进行筛选，得到筛选后物体区域；基于筛选后物体区域的初始定位偏移信息对所述筛选后物体区域的定位信息进行修正，得到候选物体区域、以及候选物体区域的初始定位信息。在一实施例中，所述卷积单元，具体用于：采用候选区域网络中的三维卷积网络对所述三维体素的特征信息进行三维卷积运算；其中，所述候选区域网络还包括与所述三维卷积网络连接的二维卷积网络、融合模块、分别与融合模块连接的分类网络和回归网络，所述二维卷积网络包括多个依次连接的卷积块，采用所述卷积块依次对所述三维卷积特征进行二维卷积运算；采用所述融合模块将每个卷积块输出的卷积特征进行融合，得到卷积特征集；所述第二预测子单元，用于：基于所述分类网络和所述卷积特征集，对三维体素进行物体分类，得到三维体素对应的物体类型；基于所述回归网络和所述卷积特征集，预测三维体素对应的定位偏移信息。在一实施例中，物体检测装置还可以包括：训练单元；所述训练单元，可以具体用于：获取训练样本集，所述训练样本集包括样本场景的样本点云；将样本点云中点的位置信息三维体素表示，得到样本三维体素的样本特征信息；基于预设的候选区域网络和所述样本特征信息预测样本三维体素对应的偏移信息和物体类型，得到预测定位偏移信息和预测类型；计算预测定位偏移信息相对于真实偏移信息的定位偏移损失；计算预测物体类型相对于真实物体类型的类型损失；结合所述定位偏移损失和类型损失对预设的候选区域网络进行训练，得到训练后的候选区域网络。此外，本专利技术实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本专利技术实施例提供的任一种物体检测方法中的步骤。本专利技术实施例可以获取场景的点云，该点云包括点的位置信息；将点云映射到三维体素表示，得到三维体素的特征信息；对三维体素的特征信息进行卷积操作，得到卷积特征集；基于卷积特征集获取候选物体区域、以及候选物体区域的初始定位信息；从点云中选择位于候选物体区域内的目标点；基于目标点的位置信息和目标卷积特征信息，对候选物体区域的初始定位信息进行调整，得到调整后物体区域的定位信息，其中，目标卷积特征信息为卷积特征集中与目标点位置对应的卷积特征信息。由于该方案可以采用场景的点云数据进行物体检测，并且融合了点云的位置信息以及卷积特征，使得定位信息丢失尽可能少，从而有效提升物体检测的准确度；尤其适用于3D物体检测。附图说明为了更清楚地说明本专利技术实施例中的技本文档来自技高网...

【技术保护点】
1.一种物体检测方法，其特征在于，包括：获取场景的点云，所述点云包括点的位置信息；将所述点云映射到三维体素表示，得到三维体素的特征信息；对所述三维体素的特征信息进行卷积操作，得到卷积特征集；基于所述卷积特征集获取候选物体区域、以及候选物体区域的初始定位信息；从所述点云中选择位于候选物体区域内的目标点；基于所述目标点的位置信息和目标卷积特征信息，对所述候选物体区域的初始定位信息进行调整，得到调整后物体区域的定位信息，其中，所述目标卷积特征信息为所述卷积特征集中与目标点位置对应的卷积特征信息。

【技术特征摘要】
1.一种物体检测方法，其特征在于，包括：获取场景的点云，所述点云包括点的位置信息；将所述点云映射到三维体素表示，得到三维体素的特征信息；对所述三维体素的特征信息进行卷积操作，得到卷积特征集；基于所述卷积特征集获取候选物体区域、以及候选物体区域的初始定位信息；从所述点云中选择位于候选物体区域内的目标点；基于所述目标点的位置信息和目标卷积特征信息，对所述候选物体区域的初始定位信息进行调整，得到调整后物体区域的定位信息，其中，所述目标卷积特征信息为所述卷积特征集中与目标点位置对应的卷积特征信息。2.如权利要求1所述的物体检测方法，其特征在于，基于所述目标点的位置信息和目标卷积特征信息，对所述候选物体区域的初始定位信息进行调整，得到调整后物体区域的定位信息，包括：对所述目标点的位置信息、以及目标卷积特征信息进行融合，得到候选物体区域的区域特征信息；基于所述区域特征信息预测所述候选物体区域相对于真实物体区域的定位偏移信息，得到预测定位偏移信息；基于所述预测定位偏移信息对所述候选物体区域的初始定位信息进行修正，得到调整后物体区域的定位信息。3.如权利要求2所述的物体检测方法，其特征在于，对所述目标点的位置信息、以及目标卷积特征进行融合，得到候选物体区域的区域特征信息，包括：对所述目标点的位置信息、以及目标卷积特征信息进行融合，得到融合特征信息；对所述目标点的目标卷积特征信息进行降维处理，得到目标点的特征权重；基于所述特征权重对所述融合特征信息进行特征运算，得到运算后特征信息；对所述运算后特征信息进行下采样操作，得到候选物体区域的区域特征信息。4.如权利要求3所述的物体检测方法，其特征在于，基于所述特征权重对所述融合特征信息进行特征运算，得到运算后特征信息，包括：对所述融合特征信息的特征维度进行升维处理，得到处理后特征信息；基于所述特征权重对所述处理后特征信息进行特征运算，得到运算后特征信息。5.如权利要求3所述的物体检测方法，其特征在于，对所述目标点的目标卷积特征信息进行降维处理，得到目标点的特征权重，包括：对所述目标点的目标卷积特征信息进行降维处理，得到目标点的初始特征权重；基于激活函数对所述初始特征权重进行处理，得到目标点的特征权重。6.如权利要求1所述的物体检测方法，其特征在于，对所述三维体素的特征信息进行卷积操作，得到卷积特征集，包括：对所述三维体素的特征信息进行三维卷积运算，得到三维体素的三维卷积特征信息；对所述三维体素的三维卷积特征进行二维卷积运算，得到卷积特征集。7.如权利要求6所述的物体检测方法，其特征在于，对所述三维体素的特征信息进行三维卷积运算，包括：采用候选区域网络中的三维卷积网络对所述三维体素的特征信息进行三维卷积运算；其中，所述候选区域网络还包括与所述三维卷积网络连接的二维卷积网络，所述二维卷积网络包括多个依次连接的卷积块；对所述三维体素的三维卷积特征进行二维卷积运算，得到卷积特征集，包括：采用所述卷积块依次对所述三维卷积特征进行二维卷积运算；将每个卷积块输出的卷积特征进行融合，得到卷积特征集。8.如权利要求7所述的物体检测方法，其特征在于，将每个卷积块输出的卷积特征进行融合，得到卷积特征集，包括：对所述二维卷积网络中其他卷积块输出的卷积特征进行反卷积处理，得到反卷积特征，所述反卷积特征与第一个卷积块输出的卷积特征的尺寸相同，其中，卷积块为所述二维卷积网络中除第一个卷积块之外的其他卷积块；将第一个卷积块输...

【专利技术属性】
技术研发人员：陈逸伦，刘枢，沈小勇，戴宇榮，賈佳亞，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44