目标检测方法技术

本公开提供了一种目标检测方法

【技术实现步骤摘要】
目标检测方法、目标检测模型训练方法、装置和电子设备


[0001]本公开涉及人工智能
，具体为深度学习
、
计算机视觉
，可应用于增强现实
、
机器人导航和自动驾驶等场景
。
具体涉及一种目标检测方法
、
目标检测模型训练方法
、
装置和电子设备
。

技术介绍

[0002]随着人工智能
(Artificial Intelligence
，
AI)
的快速发展，人工智能已经广泛应用于计算机视觉技术
、
语音识别技术
、
自然语言处理技术
、
深度学习
、
大数据处理技术等领域
。
[0003]基于人工智能的计算机视觉技术也已经广泛应用于不同场景
。
其中，基于人工智能的目标检测技术，用于确定点云中的物体边界框和物体类别
。
如何提高目标检测性能十分重要
。

技术实现思路
r/>[0004]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种目标检测方法，包括：对待检测场景中的至少两帧点云进行体素化和时间聚合，得到经时间聚合的体素化结果；对经时间聚合的体素化结果进行特征提取，得到待检测场景的聚合特征；根据所述待检测场景的聚合特征进行目标检测，得到待检测场景中待检测物体的初始检测结果；根据所述待检测物体的初始检测结果和所述待检测场景的聚合特征进行目标检测，得到待检测物体的目标检测结果
。2.
根据权利要求1所述的方法，其中，所述对待检测场景中的至少两帧点云进行体素化和时间聚合，得到经时间聚合的体素化结果，包括：对待检测场景中的至少两帧点云分别进行体素化，得到至少两帧点云的三维体素化结果；按照时间维度对至少两帧点云的三维体素化结果进行拼接，得到四维体素化结果；将所述四维体素化结果中的时间维度合并到通道维度，得到经时间聚合的体素化结果
。3.
根据权利要求1所述的方法，其中，所述对经时间聚合的体素化结果进行特征提取，得到待检测场景的聚合特征，包括：对经时间聚合的体素化结果进行三维特征提取，得到经时间聚合的三维特征；对经时间聚合的三维特征进行处理，得到所述待检测场景的聚合特征
。4.
根据权利要求3所述的方法，其中，所述对经时间聚合的体素化结果进行三维特征提取，得到经时间聚合的三维特征，包括：采用三维特征提取器中的第一卷积子单元，对经时间聚合的体素化结果进行特征提取，得到第一特征；采用三维特征提取器中的第二卷积子单元，对所述第一特征进行下采样，得到第二特征；采用三维特征提取器中的第三卷积子单元，对所述第二特征进行特征提取，得到第三特征；采用三维特征提取器中的第四卷积子单元，对第三特征进行上采样，得到第四特征，作为经时间聚合的三维特征；其中，所述第一特征与所述第四特征的尺寸相同；各卷积子单元的卷积核尺寸相同
。5.
根据权利要求4所述的方法，其中，所述第二卷积子单元与所述第四卷积子单元采所用的稀疏卷积的哈希表相同
。6.
根据权利要求3所述的方法，其中，所述对经时间聚合的三维特征进行处理，得到所述待检测场景的聚合特征，包括：对经时间聚合的二维特征进行二维特征提取，得到所述待检测场景的聚合特征；其中，经时间聚合的二维特征通过将经时间聚合的三维特征中的高度维度合并到通道维度得到
。7.
根据权利要求1所述的方法，其中，所述根据所述待检测物体的初始检测结果和所述待检测场景的聚合特征进行目标检测，得到待检测物体的目标检测结果，包括：根据所述待检测物体的初始检测结果和所述待检测场景的聚合特征对待检测物体进
行特征融合，确定待检测物体的融合特征；从所述待检测物体的初始检测结果中提取待检测物体的初始速度，并根据所述待检测物体的初始速度确定待检测物体所处的状态；在所述待检测物体处于运动状态的情况下，采用运动状态对应的运动检测头，根据所述待检测物体的聚合特征进行目标检测，得到待检测物体的目标检测结果；在物体处于静止状态的情况下，采用静止状态对应的静止检测头，根据所述待检测物体的聚合特征进行目标检测，得到待检测物体的目标检测结果
。8.
根据权利要求7所述的方法，其中，所述根据所述待检测物体的初始检测结果和所述待检测场景的聚合特征对待检测物体进行特征融合，确定待检测物体的融合特征，包括：对所述待检测物体的初始检测结果进行编码，得到待检测物体的编码特征；从所述待检测物体的初始检测结果中提取待检测物体的初始检测框，并根据所述初始检测框和所述待检测场景的聚合特征，确定待检测物体的聚合特征；对所述待检测物体的编码特征和所述待检测物体的聚合特征进行融合，得到待检测物体的融合特征
。9.
根据权利要求8所述的方法，其中，所述根据所述初始检测框和所述待检测场景的聚合特征，确定待检测物体的聚合特征，包括：在所述待检测物体处于静止状态的情况下，从所述初始检测框中提取待检测物体的关键点；根据所述待检测物体的关键点，从所述待检测场景的聚合特征中提取所述待检测物体的聚合特征
。10.
根据权利要求8所述的方法，其中，所述根据所述初始检测框和所述待检测场景的聚合特征，确定待检测物体的聚合特征，包括：在所述待检测物体处于运动状态的情况下，还从所述待检测物体的初始检测结果中提取待检测物体的初始位置和初始朝向角；根据所述初始速度
、
所述初始位置
、
所述初始朝向角和所述初始检测框，确定待检测物体的辅助检测框；从所述初始检测框和所述辅助检测框中分别提取待检测物体的关键点；根据所述待检测物体的关键点，从所述待检测场景的聚合特征中提取所述待检测物体的聚合特征
。11.
一种目标检测模型训练方法，包括：对样本场景中的至少两帧点云进行体素化和时间聚合，得到经时间聚合的体素化结果；对经时间聚合的体素化结果进行特征提取，得到样本场景的聚合特征；根据所述样本场景的聚合特征进行目标检测，得到样本场景中样本物体的初始检测结果；根据所述样本物体的初始检测结果和所述样本场景的聚合特征进行目标检测，得到样本物体的目标检测结果；根据所述样本物体的目标检测结果和样本物体的真值检测结果，对目标检测模型进行训练
。
12.
根据权利要求
11
所述的方法，其中，所述对样本场景中的至少两帧点云进行体素化和时间聚合，得到经时间聚合的体素化结果，包括：对样本场景中的至少两帧点云分别进行体素化，得到至少两帧点云的三维体素化结果；按照时间维度对至少两帧点云的三维体素化结果进行拼接，得到四维体素化结果；将所述四维体素化结果中的时间维度合并到通道维度，得到经时间聚合的体素化结果
。13.
根据权利要求
11
所述的方法，其中，所述对经时间聚合的体素化结果进行特征提取，得到样本场景的聚合特征，包括：对经时间聚合的体素化结果进行三维特征提取，得到经时间聚合的三维特征；对经时间聚合的三维特征进行处理，得到所述样本场景的聚合特征
。14.
根据权利要求
13
所述的方法，其中，所述对经时间聚合的体素化结果进行三维特征提取，得到经时间聚合的三维特征，包括：采用三维特征提取器中的第一卷积子单元，对经时间聚合的体素化结果进行特征提取，得到第一特征；采用三维特征提取器中的第二卷积子单元，对所述第一特征进行下采样，得到第二特征；采用三维特征提取器中的第三卷积子单元，对所述第二特征进行特征提取，得到第三特征；采用三维特征提取器中的第四卷积子单元，对第三特征进行上采样，得到第四特征，作为经时间聚合的三维特征；其中，所述第一特征与所述第四特征的尺寸相同；各卷积子单元的卷积核尺寸相同
。15.
根据权利要求
14
所述的方法，其中，所述第二卷积子单元与所述第四卷积子单元采所用的稀疏卷积的哈希表相同
。16.
根据权利要求
13
所述的方法，其中，所述对经时间聚合的三维特征进行处理，得到所述样本场景的聚合特征，包括：对经时间聚合的二维特征进行二维特征提取，得到所述样本场景的聚合特征；其中，经时间聚合的二维特征通过将经时间聚合的三维特征中的高度维度合并到通道维度得到
。17.
根据权利要求
11
所述的方法，其中，所述根据所述样本物体的初始检测结果和所述样本场景的聚合特征进行目标检测，得到样本物体的目标检测结果，包括：根据所述样本物体的初始检测结果和所述样本场景的聚合特征对样本物体进行特征融合，确定样本物体的融合特征；从所述样本物体的初始检测结果中提取样本物体的初始速度，并根据所述样本物体的初始速度确定样本所处的状态；在所述样本物体处于运动状态的情况下，采用运动状态对应的运动检测头，根据所述样本物体的聚合特征进行目标检测，得到样本物体的目标检测结果；在物体处于静止状态的情况下，采用静止状态对应的静止检测头，根据所述样本物体的聚合特征进行目标检测，得到样本物体的目标检测结果
。18.
根据权利要求
17
所述的方法，其中，所述根据所述样本物体的初始检测结果和所述
样本场景的聚合特征对样本物体进行特征融合，确定样本物体的融合特征，包括：对所述样本物体的初始检测结果进行编码，得到样本物体的编码特征；从所述样本物体的初始检测结果中提取样本物体的初始检测框，并根据所述初始检测框和所述样本场景的聚合特征，确定样本物体的聚合特征；对所述样本物体的编码特征和所述样本物体的聚合特征进行融合，得到样本物体的融合特征
。19.
根据权利要求
18
所述的方法，其中，所述根据所述初始检测框和所述样本场景的聚合特征，确定样本物体的聚合特征，包括：在所述样本物体处于静止状态的情况下，从所述初始检测框中提取样本物体的关键点；根据所述样本物体的关键点，从所述样本场景的聚合特征中提取所述样本物体的聚合特征
。20.
根据权利要求
18
所述的方法，其中，所述根据所述初始检测框和所述样本场景的聚合特征，确定样本物体的聚合特征，包括：在所述样本物体处于运动状态的情况下，还从所述样本物体的初始检测结果中提取样本物体的初始位置和初始朝向角；根据所述初始速度
、
所述初始位置
、
所述初始朝向角和所述初始检测框，确定样本物体的辅助检测框；从所述初始检测框和所述辅助检测框中分别提取样本物体的关键点；根据所述样本物体的关键点，从所述样本场景的聚合特征中提取所述样本物体的聚合特征
。21.
一种目标检测装置，包括：聚合体素化模块，用于对待检测场景中的至少两帧点云进行体素化和时间聚合，得到经时间聚合的体素化结果；聚合特征模块，用于对经时间聚合的体素化结果进行特征提取，得到待检测场景的聚合特征；初始检测模块，用于根据所述待检测场景的聚合特征进行目标检测，得到待检测场景中待检测物体的初始检测结果；聚合检测模块，用于根据所述待检测物体的初始检测结果和所述待检测场景的聚合特征进行目标检测，得到待检测物体的目标检测结果
。22.
根据权利要求
21
所述的装置，其中，所述聚合体素化模块包括：三维体素单元，用于对待检测场景中的至少两帧点云分别进行体素化，得到至少两帧点云的三维体...

【专利技术属性】
技术研发人员：李皓，邹智康，叶晓青，谭啸，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：