【技术实现步骤摘要】
本公开涉及视觉定位，具体地，涉及一种机器人位姿确定方法、装置、介质及电子设备。
技术介绍
1、视觉slam(simultaneous localization and mapping，同时定位和地图构建)定位是一种广泛应用在机器人室内外定位领域的技术，所谓的视觉定位，即将通过视觉传感器获取的图像数据与提前已知的三维视觉地图进行匹配，并结合imu或视觉里程计，实时计算机器人的位姿。
2、在视觉定位的使用场景中，例如在弱纹理、重复纹理以及角度变化大的环境下，会出现定位精度下降的问题，又例如在机器人当前行走的方向与已构建地图中关键帧方向差距过大的情况下，会出现定位漂移且定位准确性下降问题。
技术实现思路
1、为克服相关技术中存在的问题，本公开提供一种机器人位姿确定方法、装置、介质及电子设备。
2、根据本公开实施例的第一方面，提供一种机器人位姿确定方法，包括：
3、根据所述机器人上配置的各传感器采集到的初始信息，确定所述机器人在采集当前帧的采集视觉图像时的初始位姿；
4、从视觉点云地图中确定当前帧的采集视觉图像的关键帧图像，根据当前帧的采集视觉图像中的特征点以及从所述关键帧图像的视觉点中匹配的特征点，构建点云匹配对；
5、将当前帧对应的所述初始位姿输入预先训练的神经辐射场模型中，得到所述神经辐射场模型预测的所述机器人在所述初始位姿下的预测视觉图像；
6、根据所述点云匹配对、所述预测视觉图像、所述采集视觉图像、所述初始信
7、根据对应的所述初始位姿、所述位姿变化信息以及所述机器人采集所述关键帧图像时对应的位姿，确定所述机器人采集当前帧的采集视觉图像时的位姿。
8、可选地，所述根据对应的所述初始位姿、所述位姿变化信息以及所述机器人采集所述关键帧图像时对应的位姿，确定所述机器人采集当前帧的采集视觉图像时的位姿，包括：
9、根据对应的所述初始位姿以及所述机器人采集所述关键帧图像时对应的位姿，确定所述位姿变化信息是否满足预设条件；
10、在所述位姿变化信息不满足所述预设条件的情况下，执行从所述将当前帧对应的所述初始位姿输入预先训练的神经辐射场模型中，到所述根据对应的所述初始位姿以及所述机器人采集所述关键帧图像时对应的位姿，确定所述位姿变化信息是否满足所述预设条件的步骤，直到所述位姿变化信息满足所述预设条件，根据机器人采集当前帧的采集视觉图像时的初始位姿以及所述位姿变化信息，确定机器人采集当前帧的采集视觉图像时的位姿。
11、可选地，所述根据所述点云匹配对、所述预测视觉图像、所述采集视觉图像、所述初始信息中的轮速信息和定位信息，确定所述机器人的位姿变化信息，包括：
12、根据所述预测视觉图像与所述采集视觉图像中相同位置上像素之间的通道颜色距离，确定所述预测视觉图像与所述采集视觉图像之间的图像距离；
13、根据所述图像距离、所述点云匹配对、所述初始信息中的轮速信息和定位信息，确定当前帧的初始位姿的雅可比矩阵以及位姿观测函数值；
14、根据所述雅可比矩阵以及所述位姿观测函数值，确定所述机器人的位姿变化信息。
15、可选地，所述神经辐射场模型是通过以下方式训练得到的：
16、将所述机器人的样本位姿以及所述机器人在所述样本位姿采集到的样本视觉图像输入待训练的神经辐射场模型，根据所述样本位姿对应的机器人朝向，构建所述样本位姿下所述机器人的视觉射线；
17、在所述视觉射线上确定多个采样点，并确定各所述采样点的颜色和体密度；
18、根据所述采样点的颜色和所述体密度，确定所述视觉射线指示的方向对应的通道颜色；
19、根据所述视觉射线指示的方向对应的通道颜色，渲染得到所述样本位姿对应的预测样本视觉图像；
20、根据所述预测样本视觉图像以及对应的所述样本采集视觉图像，对所述待训练的神经辐射场模型的损失函数进行反向传播更新，得到所述预先训练的神经辐射场模型。
21、可选地，所述根据所述机器人上配置的各传感器采集到的初始信息，确定所述机器人在采集当前帧的采集视觉图像时的初始位姿，包括：
22、根据所述初始信息中当前帧的采集视觉图像以及在所述当前帧之前采集的采集视觉图像，进行特征点提取以及特征点光流跟踪，得到光流信息；
23、根据所述光流信息以及所述初始信息中所述当前帧的采集视觉图像对应的惯性信息，确定所述机器人在采集当前帧的采集视觉图像时的初始位姿。
24、可选地，所述根据当前帧的采集视觉图像中的特征点以及从所述关键帧图像的视觉点中匹配的特征点，构建点云匹配对，包括：
25、将所述当前帧的采集视觉图像中的特征点以及从所述关键帧图像的视觉点进行匹配，构建多个初始匹配对；
26、根据所述初始匹配对中相互之间不共线的匹配对，确定变换矩阵；
27、分别计算每个所述初始匹配对与所述变换矩阵的投影误差；
28、根据所述投影误差，从所述初始匹配对中确定点云匹配对。
29、可选地，所述根据所述投影误差，从所述初始匹配对中确定点云匹配对，包括：
30、若所述投影误差大于预设误差阈值，则将该投影误差对应的所述初始匹配对排除；
31、若所述投影误差小于或者等于所述预设误差阈值，则将该投影误差对应的所述初始匹配对确定为所述点云匹配对。
32、根据本公开实施例的第二方面，提供一种机器人位姿确定装置，包括：
33、第一确定模块，被配置为根据所述机器人上配置的各传感器采集到的初始信息，确定所述机器人在采集当前帧的采集视觉图像时的初始位姿；
34、构建模块，被配置为从视觉点云地图中确定当前帧的采集视觉图像的关键帧图像，根据当前帧的采集视觉图像中的特征点以及从所述关键帧图像的视觉点中匹配的特征点，构建点云匹配对；
35、输入模块，被配置为将当前帧对应的所述初始位姿输入预先训练的神经辐射场模型中，得到所述神经辐射场模型预测的所述机器人在所述初始位姿下的预测视觉图像；
36、第二确定模块，被配置为根据所述点云匹配对、所述预测视觉图像、所述采集视觉图像、所述初始信息中的轮速信息和定位信息，确定所述机器人的位姿变化信息；
37、第三确定模块，被配置为根据对应的所述初始位姿、所述位姿变化信息以及所述机器人采集所述关键帧图像时对应的位姿，确定所述机器人采集当前帧的采集视觉图像时的位姿。
38、根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。
39、根据本公开实施例的第四方面，提供一种电子设备，包括：
40、存储器，其上存储有计算机程序；
41、处理器，用于执行所述存储器中的所述本文档来自技高网...
【技术保护点】
1.一种机器人位姿确定方法，其特征在于，包括：
2.根据权利要求1所述的位姿确定方法，其特征在于，所述根据对应的所述初始位姿、所述位姿变化信息以及所述机器人采集所述关键帧图像时对应的位姿，确定所述机器人采集当前帧的采集视觉图像时的位姿，包括：
3.根据权利要求1所述的位姿确定方法，其特征在于，所述根据所述点云匹配对、所述预测视觉图像、所述采集视觉图像、所述初始信息中的轮速信息和定位信息，确定所述机器人的位姿变化信息，包括：
4.根据权利要求1所述的位姿确定方法，其特征在于，所述神经辐射场模型是通过以下方式训练得到的：
5.根据权利要求1所述的位姿确定方法，其特征在于，所述根据所述机器人上配置的各传感器采集到的初始信息，确定所述机器人在采集当前帧的采集视觉图像时的初始位姿，包括：
6.根据权利要求1-5中任一项所述的位姿确定方法，其特征在于，所述根据当前帧的采集视觉图像中的特征点以及从所述关键帧图像的视觉点中匹配的特征点，构建点云匹配对，包括：
7.根据权利要求6所述的位姿确定方法，其特征在于，所述根据所述投影
8.一种机器人位姿确定装置，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种机器人位姿确定方法，其特征在于，包括：
2.根据权利要求1所述的位姿确定方法，其特征在于，所述根据对应的所述初始位姿、所述位姿变化信息以及所述机器人采集所述关键帧图像时对应的位姿，确定所述机器人采集当前帧的采集视觉图像时的位姿，包括：
3.根据权利要求1所述的位姿确定方法，其特征在于，所述根据所述点云匹配对、所述预测视觉图像、所述采集视觉图像、所述初始信息中的轮速信息和定位信息，确定所述机器人的位姿变化信息，包括：
4.根据权利要求1所述的位姿确定方法，其特征在于，所述神经辐射场模型是通过以下方式训练得到的：
5.根据权利要求1所述的位姿确定方法，其特征在于，所述根据所述机器人上配置...
【专利技术属性】
技术研发人员：侯杰虎，李昊鑫，刘宁，李谣顺，
申请(专利权)人：达闼机器人股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。