非限定类别障碍物检测方法、相关网络训练方法及装置制造方法及图纸

本申请公开了一种非限定类别障碍物检测方法、相关网络训练方法及装置，其中，非限定类别障碍物检测方法包括：基于双目相机获取到第一检测图像和第二检测图像；利用三维检测网络对第一检测图像和第二检测图像进行网络学习得到目标的类别信息、目标在第一检测图像的位置信息、目标在第二检测图像的位置信息以及关键点的位置坐标；基于目标的类别信息确定计算目标的三维位置信息；利用目标在第一检测图像的位置信息、目标在第二检测图像的位置信息以及关键点的位置坐标计算得到目标的三维位置信息。通过上述方法，用于识别障碍物的位置和类别。类别。类别。

【技术实现步骤摘要】
非限定类别障碍物检测方法、相关网络训练方法及装置


[0001]本申请涉及机器人
，特别是涉及一种非限定类别障碍物检测方法、相关网络训练方法及装置。

技术介绍

[0002]室内机器人的日渐普及，主要代表扫地机器人，给人们带来了越来越多的生活便利。扫地机器人在室内首先对室内环境进行建图，在此基础上进行路径规划制定合理的清扫路线。清扫过程中需对运行路线上的障碍物进行检测识别，使扫地机具备避障能力。常用的障碍物检测是通过传感器完成，目前常用的传感器包括带距离反馈的传感器：激光雷达、深度相机（ToF、双目、结构光）；视觉传感器：RGB相机等。
[0003]基于RGB相机的障碍物检测主要使用AI技术，通过深度学习对环境中的特定目标进行识别定位，例如鞋子、体重秤、猫狗宠物等。基于激光雷达和深度相机的障碍物检测方法主要是对激光数据、深度相机点云数据进行预处理、地面分割、聚类等操作，识别出障碍物点云数据，进而得到障碍物的相关信息。
[0004]使用RGB相机，以及相对应的深度学习目标检测算法，可以检测指定类别的室内障碍物。例如室内场景的垃圾桶、拖鞋等类别。这种方法的缺点是只能检测固定类别的目标，训练过程中使用的训练的目标类别数与最终能够检测出的类别数保持一致。因此，目前使用RGB相机AI检测无法检测未知类别的障碍物，只起到辅助、优化、细分障碍物检测的作用，无法单独使用。同时，RGB相机无法提供目标的3D信息。

技术实现思路

[0005]本申请主要解决的技术问题是提供一种非限定类别障碍物检测方法、相关网络训练方法及装置，用于识别障碍物的位置和类别。
[0006]为了解决上述技术问题，本申请第一方面提供了一种三维检测网络训练方法，所述三维检测网络包括区域候选检测子网络，所述三维检测网络训练方法包括：对第一图像进行特征提取得到第一特征图，以及对第二特征图像进行特征提取得到第二特征图；其中，所述第一图像和所述第二图像为针对同一目标区域在不同采集方向采集的两帧图像；将所述第一特征图与所述第二特征图进行特征融合，并利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的第一目标候选区域，以及其余类别的第二目标候选区域；基于所述第一目标候选区域与所述第二目标候选区域中相同类别的目标候选区域的第一余弦距离，以及不同类别的目标候选区域的第二余弦距离；按照预设训练条件，利用所述第一余弦距离和所述第二余弦距离对所述三维检测网络进行训练。
[0007]其中，所述预设训练条件为所述第一余弦距离与所述第二余弦距离的差值越来越小，直至达到训练阈值。
[0008]其中，所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的第一目标候选区域，以及其余类别的第二目标候选区域，包括：利用所述区域候选
检测子网络对特征融合后的特征图进行处理，得到多个目标候选框及其分类类别、分类得分；将分类类别为预设类别，且分类得分大于等于预设得分的目标候选框对应的区域，标记为所述预设类别的第一目标候选区域；获取标记目标框；将与所述标记目标框重叠率小于等于预设重叠率，且分类得到大于等于预设得分的目标候选框对应的区域，标记为所述其余类别的第二目标候选区域。
[0009]其中，所述三维检测网络还包括类别检测子网络；所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的第一目标候选区域，以及其余类别的第二目标候选区域之后，所述三维检测网络训练方法还包括：将所述区域候选检测子网络输出的候选区域信息与所述第一特征图、所述第二特征图进行融合，得到第一融合特征图；将所述第一融合特征图输入所述类别检测子网络；利用所述类别检测子网络对所述第一融合特征图中的目标，进行类别预设，并按照预设的类别给每个分类输出分配相应的能量值，其中，对预测为预设类别的分类输出分配第一能量值，对预测为其余类别的分类输出分配第二能量值，所述第一能量值小于所述第二能量值；利用所有分配能量值后的分类输出的总和，对所述三维检测网络进行训练。
[0010]其中，所述三维检测网络还包括位置回归子网络；所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的第一目标候选区域，以及其余类别的第二目标候选区域之后，所述三维检测网络训练方法还包括：将所述区域候选检测子网络输出的候选区域信息与所述第一特征图、所述第二特征图进行融合，得到第二融合特征图；将所述第二融合特征图输入所述位置回归子网络；利用所述位置回归子网络对所述第二融合特征图中的目标，进行位置预设，得到目标的预测位置参数；利用所述目标的预测位置参数和标记位置参数的差值，对所述三维检测网络进行训练。
[0011]其中，所述三维检测网络还包括关键点子网络；所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的第一目标候选区域，以及其余类别的第二目标候选区域之后，所述三维检测网络训练方法还包括：将所述区域候选检测子网络输出的候选区域信息与所述第一特征图或者所述第二特征图进行融合，得到第三融合特征图；将所述第三融合特征图输入所述关键点子网络；利用所述关键点子网络对所述第三融合特征图中的目标，进行关键点预设，得到目标的关键点参数；利用所述目标的关键点参数与目标位置框参数的差值，对所述三维检测网络进行训练。
[0012]其中，所述三维检测网络训练方法还包括：基于双目相机获取第一初始图像和第二初始图像；利用所述第一初始图像和所述第二初始图像对所述双目相机进行标定，以使所述双目相机针对同一目标区域在不同采集方向采集到所述第一图像和所述第二图像。
[0013]为了解决上述问题，本申请第二方面提供一种非限定类别障碍物检测方法，其中，所述非限定类别障碍物检测方法包括：基于双目相机获取到第一检测图像和第二检测图像；利用三维检测网络对所述第一检测图像和所述第二检测图像进行网络学习得到目标的类别信息、目标在第一检测图像的位置信息、目标在第二检测图像的位置信息以及关键点的位置坐标；其中，所述三维检测网络是通过上述三维检测网络训练方法得到的三维检测网络；基于所述目标的类别信息确定计算所述目标的三维位置信息；利用所述目标在第一检测图像的位置信息、所述目标在第二检测图像的位置信息以及所述关键点的位置坐标计算得到目标的三维位置信息；所述三维位置信息包括所述目标的中心点坐标和旋转角。
[0014]其中，所述类别信息包括目标的分类得分；所述基于所述目标的类别信息确定计算所述目标的三维位置信息，包括：基于所述目标的分类得分确定所述目标为障碍物或非障碍物；基于所述目标为障碍物，利用所述目标在第一检测图像的位置信息、所述目标在第二检测图像的位置信息以及所述关键点的位置坐标计算得到所述障碍物的三维位置信息。
[0015]其中，所述三维检测网络包括骨干子网络、区域候选检测子网络、类别检测子网络、位置回归子网络以及关键点检测子网络；所述利用三维检测网络对所述第一检测图像和所述第二检测图像进行网络学习得到目标的类别信息、目标在第一检测图像的位置信息、目标在第二检测图像的位置信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维检测网络训练方法，其特征在于，所述三维检测网络应用于非限定类别障碍物的类别检测，所述三维检测网络包括区域候选检测子网络，所述三维检测网络训练方法包括：对双目相机拍摄到的第一图像和第二图像进行特征提取分别得到第一特征图和第二特征图；其中，所述第一图像和所述第二图像为所述双目相机针对同一目标区域在不同采集方向上采集到的两帧图像；将所述第一特征图与所述第二特征图进行特征融合，并利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的第一目标候选区域，以及其余类别的第二目标候选区域；基于所述第一目标候选区域与所述第二目标候选区域获得相同类别的目标候选区域的第一余弦距离，以及不同类别的目标候选区域的第二余弦距离；按照预设训练条件，利用所述第一余弦距离和所述第二余弦距离对所述三维检测网络进行训练。2.根据权利要求1所述的三维检测网络训练方法，其特征在于，所述预设训练条件为所述第一余弦距离与所述第二余弦距离的差值越来越小，直至达到训练阈值。3.根据权利要求1或2所述的三维检测网络训练方法，其特征在于，所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的第一目标候选区域，以及其余类别的第二目标候选区域，包括：利用所述区域候选检测子网络对特征融合后的特征图进行处理，得到多个目标候选框及其分类类别、分类得分；将分类类别为预设类别，且分类得分大于等于预设得分的目标候选框对应的区域，标记为所述预设类别的第一目标候选区域；获取标记目标框；将与所述标记目标框重叠率小于等于预设重叠率，且分类得分大于等于预设得分的目标候选框对应的区域，标记为所述其余类别的第二目标候选区域。4.根据权利要求1所述的三维检测网络训练方法，其特征在于，所述三维检测网络还包括类别检测子网络；所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的第一目标候选区域，以及其余类别的第二目标候选区域之后，所述三维检测网络训练方法还包括：将所述区域候选检测子网络输出的候选区域信息与所述第一特征图、所述第二特征图进行融合，得到第一融合特征图；将所述第一融合特征图输入所述类别检测子网络；利用所述类别检测子网络对所述第一融合特征图中的目标，进行类别预设，并按照预设的类别给每个分类输出分配相应的能量值，其中，对预测为预设类别的分类输出分配第一能量值，对预测为其余类别的分类输出分配第二能量值，所述第一能量值小于所述第二能量值；利用所有分配能量值后的分类输出的总和，对所述三维检测网络进行训练。
5.根据权利要求1所述的三维检测网络训练方法，其特征在于，所述三维检测网络还包括位置回归子网络；所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的第一目标候选区域，以及其余类别的第二目标候选区域之后，所述三维检测网络训练方法还包括：将所述区域候选检测子网络输出的候选区域信息与所述第一特征图、所述第二特征图进行融合，得到第二融合特征图；将所述第二融合特征图输入所述位置回归子网络；利用所述位置回归子网络对所述第二融合特征图中的目标，进行位置预设，得到目标的预测位置参数；利用所述目标的预测位置参数和标记位置参数的差值，对所述三维检测网络进行训练。6.根据权利要求1所述的三维检测网络训练方法，其特征在于，所述三维检测网络还包括关键点检测子网络；所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的第一目标候选区域，以及其余类别的第二目标候选区域之后，所述三维检测网络训练方法还包括：将所述区域候选检测子网络输出的候选区域信息与所述第一特征图和所述第二特征图中的一个进行融合，得到第三融合特征图；将所述第三融合特征图输入所述关键点检测子网络；利用所述关键点检测子网络对所述第三融合特征图中的目标，...

【专利技术属性】
技术研发人员：张诚成，马子昂，刘征宇，
申请(专利权)人：杭州华橙软件技术有限公司，
类型：发明
国别省市：