三维目标检测和智能行驶方法、装置、设备制造方法及图纸

公开了一种三维目标检测和智能行驶方法、装置、设备，该方法包括：对三维点云数据进行体素化，获得体素化点云数据；对所述体素化点云数据进行特征提取，获得体素对应的第一特征信息，以及获得初始三维检测框；通过对所述三维点云数据进行采样获得多个关键点，根据所述关键点的位置信息以及所述体素对应的第一特征信息，确定所述关键点对应的第二特征信息；根据所述初始三维检测框所包围的关键点的第二特征信息，从所述初始三维检测框中确定目标三维检测框，所述目标三维检测框中包括待检测的三维目标。

Three dimensional target detection and intelligent driving method, device and equipment

【技术实现步骤摘要】
三维目标检测和智能行驶方法、装置、设备
本公开涉及计算机视觉技术，具体涉及一种三维目标检测方法、装置、设备及计算机可读存储介质，以及智能行驶方法、装置、设备及计算机可读存储介质。
技术介绍
雷达是三维目标检测中重要的传感器之一，其能够产生稀疏的雷达点云，从而能够很好地捕捉周围的场景结构。基于雷达点云的三维目标检测在实际场景应用，例如自动驾驶、机器人导航过程中，具有十分重要的应用价值。
技术实现思路
本公开实施例提供一种三维目标检测方案以及智能行驶方案。根据本公开的一方面，提供一种三维目标检测方法。所述方法包括：对三维点云数据进行体素化，获得体素化点云数据；对所述体素化点云数据进行特征提取，获得体素对应的第一特征信息，以及获得初始三维检测框；通过对所述三维点云数据进行采样获得多个关键点，根据所述关键点的位置信息以及所述体素对应的第一特征信息，确定所述关键点对应的第二特征信息；根据所述初始三维检测框所包围的关键点的第二特征信息，从所述初始三维检测框中确定目标三维检测框，所述目标三维检测框中包括待检测的三维目标。结合本公开提出的任一实施方式，所述对所述体素化点云数据进行特征提取，获得体素对应的第一特征信息，包括：利用预先训练的三维卷积网络对所述体素化点云数据进行三维卷积运算，其中，所述三维卷积网络包括多个依次连接的卷积块，每个卷积块对输入数据进行三维卷积运算；获得每个卷积块输出的三维语义特征体，所述三维语义特征体包含各个体素对应的三维语义特征；根据各个卷积块输出的三维语义特征体，获得体素对应的第一特征信息。结合本公开提出的任一实施方式，所述获得初始三维检测框，包括：将所述三维卷积网络中最后一个卷积块输出的三维语义特征体沿俯视视角投影得到俯视图，获得所述俯视图中每个像素对应的第三特征信息；以每个像素为三维锚点框的中心设置一个或多个三维锚点框；根据位于所述三维锚点框的边框上的像素的第三特征信息，确定所述三维锚点框的置信度得分；根据各个三维锚点框的置信度得分，确定初始三维检测框。结合本公开提出的任一实施方式，所述通过对所述三维点云数据进行采样获得多个关键点，包括：利用最远点采样方法，从所述三维点云数据中采样得到多个关键点。结合本公开提出的任一实施方式，所述三维卷积网络中的多个卷积块输出不同尺度的三维语义特征体；所述根据所述关键点的位置信息以及所述体素对应的第一特征信息，确定所述关键点对应的第二特征信息，包括：将每个卷积块输出的三维语义特征体分别与所述多个关键点转换至同一坐标系下；在转换后的坐标系中，针对每个卷积块，根据该卷积块输出的三维语义特征体确定每个关键点的第一设定范围内的非空体素对应的三维语义特征，并根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量；将同一个关键点在各个卷积块对应的第一语义特征向量依次连接，获得所述关键点对应的第二语义特征向量；将所述关键点对应的第二语义特征向量作为所述关键点对应的第二特征信息。结合本公开提出的任一实施方式，所述三维卷积网络中的多个卷积块输出不同尺度的三维语义特征体；所述根据所述关键点的位置信息以及所述体素对应的第一特征信息，确定所述关键点对应的第二特征信息，包括：将每个卷积块输出的三维语义特征体分别与所述多个关键点转换至同一坐标系下；在转换后的坐标系中，针对每个卷积块，根据该卷积块输出的三维语义特征体确定每个关键点的第一设定范围内的非空体素对应的三维语义特征，并根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量；将同一个关键点在各个卷积块对应的第一语义特征向量依次连接，获得所述关键点对应的第二语义特征向量；获取所述关键点在所述三维点云数据中的点云特征向量；将所述关键点投影到俯视特征图中，获得所述关键点的俯视特征向量，其中，所述俯视特征图是通过将所述三维卷积网络中最后一个卷积块输出的三维语义特征体沿俯视视角投影获得的；将所述第二语义特征向量、所述点云特征向量和所述俯视特征向量进行连接，获得所述关键点的目标特征向量；将所述关键点的目标特征向量作为所述关键点对应的第二特征信息。结合本公开提出的任一实施方式，所述三维卷积网络中的多个卷积块输出不同尺度的三维语义特征体；所述根据所述关键点的位置信息以及所述体素对应的第一特征信息，确定所述关键点对应的第二特征信息，包括：将每个卷积块输出的三维语义特征体分别与所述多个关键点转换至同一坐标系下；在转换后的坐标系中，针对每个卷积块，根据该卷积块输出的三维语义特征体确定每个关键点的第一设定范围内的非空体素对应的三维语义特征，并根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量；将同一个关键点在各个卷积块对应的第一语义特征向量依次连接，获得所述关键点对应的第二语义特征向量；获取所述关键点在所述三维点云数据中的点云特征向量；将所述关键点投影到俯视特征图中，获得所述关键点的俯视特征向量，其中，所述俯视特征图是通过将所述三维卷积网络中最后一个卷积块输出的三维语义特征体沿俯视视角投影获得的；将所述第二语义特征向量、所述点云特征向量和所述俯视特征向量进行连接，获得所述关键点的目标特征向量；预测所述关键点为前景点的概率；将所述关键点为前景点的概率与所述关键点的目标特征向量相乘，获得所述关键点的加权特征向量；将所述关键点的加权特征向量作为所述关键点对应的第二特征信息。结合本公开提出的任一实施方式，每个关键点的第一设定范围有多个；针对一个卷积块，根据该卷积块输出的三维语义特征体确定一个关键点的第一设定范围内的非空体素对应的三维语义特征，包括：根据该卷积块输出的三维语义特征体确定该关键点的各个第一设定范围内的非空体素对应的三维语义特征；根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量，包括：根据该关键点的一个第一设定范围内的非空体素对应的三维语义特征，确定该关键点对应的一个初始第一语义特征向量；将该关键点对应的各个初始第一语义特征向量加权平均，得到该关键点对应的第一语义特征向量。结合本公开提出的任一实施方式，所述根据所述初始三维检测框所包围的关键点的第二特征信息，从所述初始三维检测框中确定目标三维检测框，包括：根据所述初始三维检测框进行网格化所得到的格点，确定多个采样点；获得每个采样点的第二设定范围内的关键点，并根据所述第二设定范围内的关键点的第二特征信息确定所述采样点的第四特征信息；根据所述采样点的顺序将所述采样点的第四特征信息依次连接，获得所述初始三维检测框的目标特征向量；根据所述初始三维检测框的目标特征向量，对所述初始三维检测框进行修正，获得修正后的三维检测框；根据所述修正后的三维检测框的置信度评分，从所述修正后的三维检测框中确定目标三维检测框。结合本公开提出的任一实施方式，每个采样点的第二设定范围有多个；根据一个采样点的第二设定范围内的关键点的第二特征信息确定该采样点的第四特征信息，包括：根据该采样点的一个第二设定范围内的关键点的第二特征信息确定一个初始第四特征信息；将该采样点的各个初始第四特征信息加权平均，得到该本文档来自技高网...

【技术保护点】
1.一种三维目标检测方法，其特征在于，所述方法包括：/n对三维点云数据进行体素化，获得体素化点云数据；/n对所述体素化点云数据进行特征提取，获得体素对应的第一特征信息，以及获得初始三维检测框；/n通过对所述三维点云数据进行采样获得多个关键点，根据所述关键点的位置信息以及所述体素对应的第一特征信息，确定所述关键点对应的第二特征信息；/n根据所述初始三维检测框所包围的关键点的第二特征信息，从所述初始三维检测框中确定目标三维检测框，所述目标三维检测框中包括待检测的三维目标。/n

【技术特征摘要】
1.一种三维目标检测方法，其特征在于，所述方法包括：
对三维点云数据进行体素化，获得体素化点云数据；
对所述体素化点云数据进行特征提取，获得体素对应的第一特征信息，以及获得初始三维检测框；
通过对所述三维点云数据进行采样获得多个关键点，根据所述关键点的位置信息以及所述体素对应的第一特征信息，确定所述关键点对应的第二特征信息；
根据所述初始三维检测框所包围的关键点的第二特征信息，从所述初始三维检测框中确定目标三维检测框，所述目标三维检测框中包括待检测的三维目标。


2.根据权利要求1所述的方法，其特征在于，所述对所述体素化点云数据进行特征提取，获得体素对应的第一特征信息，包括：
利用预先训练的三维卷积网络对所述体素化点云数据进行三维卷积运算，其中，所述三维卷积网络包括多个依次连接的卷积块，每个卷积块对输入数据进行三维卷积运算；
获得每个卷积块输出的三维语义特征体，所述三维语义特征体包含各个体素对应的三维语义特征；
根据各个卷积块输出的三维语义特征体，获得体素对应的第一特征信息。


3.根据权利要求2所述的方法，其特征在于，所述获得初始三维检测框，包括：
将所述三维卷积网络中最后一个卷积块输出的三维语义特征体沿俯视视角投影得到俯视图，获得所述俯视图中每个像素对应的第三特征信息；
以每个像素为三维锚点框的中心设置一个或多个三维锚点框；
根据位于所述三维锚点框的边框上的像素的第三特征信息，确定所述三维锚点框的置信度得分；
根据各个三维锚点框的置信度得分，确定初始三维检测框。


4.根据权利要求1所述的方法，其特征在于，所述通过对所述三维点云数据进行采样获得多个关键点，包括：
利用最远点采样方法，从所述三维点云数据中采样得到多个关键点。


5.根据权利要求2至4任一项所述的方法，其特征在于，所述三维卷积网络中的多个卷积块输出不同尺度的三维语义特征体；
所述根据所述关键点的位置信息以及所述体素对应的第一特征信息，确定所述关键点对应的第二特征信息，包括：
将每个卷积块输出的三维语义特征体分别与所述多个关键点转换至同一坐标系下；
在转换后的坐标系中，针对每个卷积块，根据该卷积块输出的三维语义特征体确定每个关键点的第一设定范围内的非空体素对应的三维语义特征，并根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量；
将同一个关键点在各个卷积块对应的第一语义特征向量依次连接，获得所述关键点对应的第二语义特征向量；
将所述关键点对应的第二语义特征向量作为所述关键点对应的第二特征信息。


6.根据权利要求2至4任一项所述的方法，其特征在于，所述三维卷积网络中的多个卷积块输出不同尺度的三维语义特征体；
所述根据所述关键点的位置信息以及所述体素对应的第一特征信息，确定所述关键点对应的第二特征信息，包括：
将每个卷积块输出的三维语义特征体分别与所述多个关键点转换至同一坐标系下；
在转换后的坐标系中，针对每个卷积块，根据该卷积块输出的三维语义特征体确定每个关键点的第一设定范围内的非空体素对应的三维语义特征，并根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量；
将同一个关键点在各个卷积块对应的第一语义特征向量依次连接，获得所述关键点对应的第二语义特征向量；
获取所述关键点在所述三维点云数据中的点云特征向量；
将所述关键点投影到俯视特征图中，获得所述关键点的俯视特征向量，其中，所述俯视特征图是通过将所述三维卷积网络中最后一个卷积块输出的三维语义特征体沿俯视视角投影获得的；
将所述第二语义特征向量、所述点云特征向量和所述俯视特征向量进行连接，获得所述关键点的目标特征向量；
将所述关键点的目标特征向量作为所述关键点对应的第二特征信息。


7.根据权利要求2至4任一项所述的方法，其特征在于，所述三维卷积网络中的多个卷积块输出不同尺度的三维语义特征体；
所述根据所述关键点的位置信息以及所述体素对应的第一特征信息，确定所述关键点对应的第二特征信息，包括：
将每个卷积块输出的三维语义特征体分别与所述多个关键点转换至同一坐标系下；
在转换后的坐标系中，针对每个卷积块，根据该卷积块输出的三维语义特征体确定每个关键点的第一设定范围内的非空体素对应的三维语义特征，并根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量...

【专利技术属性】
技术研发人员：史少帅，郭超旭，王哲，石建萍，李鸿升，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44