【技术实现步骤摘要】
本申请涉及计算机视觉，更具体的说，是涉及一种障碍物状态预测方法、机器人地图构建方法、装置、相关设备及计算机程序产品。
技术介绍
1、随着技术的发展，可移动机器人的使用越来越广泛。这里所称的可移动机器人泛指具备路径规划能力，并按照规划的路径移动的机器设备，如人形机器人、家庭清洁机器人、具备自动驾驶功能的车辆等。可移动机器人需要根据实时环境对障碍物进行检测，根据障碍物状态来规划行进路线。
2、障碍物状态信息示例如包括障碍物的类别、位置等信息，障碍物状态预测可以在机器人行进过程中发挥重要作用，更加准确的障碍物状态信息可以辅助更准确的规划机器人行进路线。现有的障碍物状态预测方案部分采用单独基于深度传感器采集的深度信息进行预测，这种方式容易受到噪声影响导致深度信息缺失或者产生异常数据，进而不能够准确获取障碍物的位置、高度等状态信息。还有一部分方案利用rgb摄像头采集rgb图像，首先在rgb图像上分割出障碍物的掩码区域mask，进一步根据障碍物的mask在深度信息中获取障碍物的位置、高度信息。这种方案受障碍物mask分割的准确性影响，过分割和欠分割都会导致后续障碍物位置、高度信息出错。
技术实现思路
1、鉴于上述问题，提出了本申请以便提供一种障碍物状态预测方法、机器人地图构建方法、装置、相关设备及计算机程序产品，以解决现有方案无法有效利用多模态信息，导致障碍物状态检测结果不准确的问题。具体方案如下：
2、第一方面，提供了一种障碍物状态预测方法，包括：
3、获
4、提取所述二维图像的图像模态特征，以及提取所述点云数据的点云模态特征；
5、融合所述图像模态特征及所述点云模态特征，得到融合特征；
6、基于所述融合特征预测所述障碍物的状态信息。
7、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，提取并融合所述图像模态特征、所述点云模态特征，基于所述融合特征预测所述障碍物的状态的过程，通过预训练的障碍物状态检测模型实现；
8、所述障碍物状态检测模型采用标注有障碍物状态标签的二维图像样本及点云数据样本训练得到。
9、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，所述障碍物状态检测模型训练过程的损失函数包括：
10、第一损失函数，用于约束障碍物状态检测模型针对训练样本所预测的状态信息趋近于所述训练样本对应的状态信息标签，其中，所述训练样本包括对参考障碍物拍摄的二维训练图像及点云训练数据；
11、第二损失函数，用于约束障碍物状态检测模型针对所述训练样本所预测的所述参考障碍物的补全后点云数据趋近于所述参考障碍物的完整点云数据标签。
12、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，所述障碍物状态检测模型的训练过程，包括：
13、获取对参考障碍物拍摄的二维训练图像及点云训练数据，以及，获取所述参考障碍物的状态信息作为状态信息标签，获取所述参考障碍物的完整点云数据，作为完整点云数据标签；
14、利用障碍物状态检测模型提取所述二维训练图像的图像模态特征，提取所述点云训练数据的点云模态特征，融合所述图像模态特征和所述点云模态特征，得到融合特征，基于融合特征预测所述参考障碍物的状态信息、所述参考障碍物的补全后点云数据；
15、基于所述状态信息标签及预测的所述参考障碍物的状态信息计算第一损失函数的值，基于所述完整点云数据标签及预测的所述参考障碍物的补全后点云数据计算第二损失函数的值；
16、计算所述第一损失函数的值和第二损失函数的值的和，得到总损失函数值，并按照总损失函数值更新所述障碍物状态检测模型的参数，直至达到设定训练结束条件为止。
17、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，所述障碍物状态检测模型包括：第一主干网络、第二主干网络、特征融合网络及第一预测网络；
18、则，提取所述二维图像的图像模态特征，以及提取所述点云数据的点云模态特征的过程，包括：
19、通过所述第一主干网络提取所述二维图像的图像模态特征，通过所述第二主干网络提取所述点云数据的点云模态特征；
20、融合所述图像模态特征及所述点云模态特征，得到融合特征的过程，包括：
21、通过所述特征融合网络融合所述图像模态特征及所述点云模态特征，得到融合特征；
22、基于所述融合特征预测所述障碍物的状态信息的过程，包括：
23、通过所述第一预测网络，基于所述融合特征预测所述障碍物的状态信息。
24、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，所述特征融合网络包括第一融合子网络和第二融合子网络，所述第一融合子网络采用多头注意力机制进行特征融合处理，所述第二融合子网络采用多尺度目标检测网络；
25、则通过所述特征融合网络融合所述图像模态特征及所述点云模态特征，得到融合特征的过程，包括：
26、通过所述第一融合子网络，采用多头注意力机制融合所述图像模态特征及所述点云模态特征中的有效信息，得到第一融合特征；
27、通过所述第二融合子网络，采用多尺度特征融合算法对所述第一融合特征进行处理，得到第二融合特征。
28、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，所述障碍物状态检测模型还包括第二预测网络，该方法还包括：
29、通过所述第二预测网络，基于所述第一融合特征预测所述障碍物的补全后点云数据。
30、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，所述障碍物的状态信息包括以下任意一项或多项：
31、所述障碍物的类别、高度、位置及轮廓信息。
32、第二方面，提供了一种机器人地图构建方法，采用前述第一方面的障碍物状态预测方法得到机器人所处工作环境中各障碍物的状态信息；
33、将各所述障碍物的状态信息转换到俯视图视角，并根据俯视图视角下各所述障碍物的状态信息，构建障碍物地图。
34、在一种可能的设计中，在本申请实施例的第二方面的另一种实现方式中，还包括：
35、基于构建的所述障碍物地图，对机器人的运动路径进行规划。
36、第三方面，提供了一种障碍物状态预测装置，包括：
37、数据获取单元，用于获取对障碍物拍摄的二维图像以及点云数据；
38、特征提取单元，用于提取所述二维图像的图像模态特征，以及提取所述点云数据的点云模态特征；
39、特征融合单元，用于融合所述图像模态特征及所述点云模态特征，得到融合特征；
40、状态预测单元，用于基于所述融合特征预测所述障碍物的状态信息。
41、第四方面，提供了一种障碍物状态预测设备，包括：存储器和处理器；
4本文档来自技高网...
【技术保护点】
1.一种障碍物状态预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，提取并融合所述图像模态特征、所述点云模态特征，基于所述融合特征预测所述障碍物的状态的过程，通过预训练的障碍物状态检测模型实现；
3.根据权利要求2所述的方法，其特征在于，所述障碍物状态检测模型训练过程的损失函数包括：
4.根据权利要求2所述的方法，其特征在于，所述障碍物状态检测模型的训练过程，包括：
5.根据权利要求2所述的方法，其特征在于，所述障碍物状态检测模型包括：第一主干网络、第二主干网络、特征融合网络及第一预测网络；
6.根据权利要求5所述的方法，其特征在于，所述特征融合网络包括第一融合子网络和第二融合子网络，所述第一融合子网络采用多头注意力机制进行特征融合处理，所述第二融合子网络采用多尺度目标检测网络；
7.根据权利要求6所述的方法，其特征在于，所述障碍物状态检测模型还包括第二预测网络，该方法还包括：
8.根据权利要求1-7任一项所述的方法，其特征在于，所述障碍物的状态信息包括以下任意一项或多项：<...
【技术特征摘要】
1.一种障碍物状态预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，提取并融合所述图像模态特征、所述点云模态特征，基于所述融合特征预测所述障碍物的状态的过程，通过预训练的障碍物状态检测模型实现；
3.根据权利要求2所述的方法，其特征在于，所述障碍物状态检测模型训练过程的损失函数包括：
4.根据权利要求2所述的方法，其特征在于，所述障碍物状态检测模型的训练过程，包括：
5.根据权利要求2所述的方法，其特征在于，所述障碍物状态检测模型包括：第一主干网络、第二主干网络、特征融合网络及第一预测网络；
6.根据权利要求5所述的方法，其特征在于，所述特征融合网络包括第一融合子网络和第二融合子网络，所述第一融合子网络采用多头注意力机制进行特征融合处理，所述第二融合子网络采用多尺度目标检测网络；
7.根据权利要求6所述的方法，其特征在于，所述障碍...
【专利技术属性】
技术研发人员：李渊强，胡金水，吴嘉嘉，张圆，龙思源，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。