一种基于多目相机的室外视觉定位深度模型训练方法技术

本发明专利技术公开了一种基于多目相机的室外视觉定位深度模型训练方法，主要包括离线数据采集以及在线实时定位两部分；进行离线数据采集时，在机器人四周的任意位置安装多个相机，并且安装IMU、GPS或基站装置，在需要定位的环境中进行数据采集；在线实时定位时，利用机器人周围的多个相机采集图片，之后将图片输入至深度卷积网络中提取图片关键点，并与离线数据库中的关键点描述符进行匹配，通过所有相机的位姿信息解算出机器人的坐标和位姿信息。其有益效果：不受双目相机基线限制，不受传感器安装位置限制，在实时定位过程中不需要GPS、IMU的辅助只需要相机即可，只需保证机器人的动作不影响各传感器间的刚性变换即可。影响各传感器间的刚性变换即可。影响各传感器间的刚性变换即可。

【技术实现步骤摘要】
一种基于多目相机的室外视觉定位深度模型训练方法


[0001]本专利技术涉及智能机器人
，特别涉及一种基于多目相机的室外视觉定位深度模型训练方法。

技术介绍

[0002]目前在实施机器人定位时，一般情况下在室外主要的定位方法包括GPS定位、基站定位和激光雷达定位等，而GPS定位只能用于空旷场地，在隧道或遮挡较多的环境下无法搜寻GPS信号，而基站和激光雷达定位成本较高；基于双目相机的视觉定位由于基线等限制，感知范围较小，所以大多数用于室内场景，而如何利用多目相机实现室外视觉定位，是本专利技术所要解决的主要问题。

技术实现思路

[0003]本专利技术的目的在于提供一种基于多目相机的室外视觉定位深度模型训练方法，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术一种基于多目相机的室外视觉定位深度模型训练方法，主要包括离线数据采集以及在线实时定位两部分；
[0005]进行离线数据采集时，在机器人四周的任意位置安装多个相机，并且安装IMU、GPS或基站装置，在需要定位的环境中进行数据采集；
...

【技术保护点】

【技术特征摘要】
1.一种基于多目相机的室外视觉定位深度模型训练方法，其特征在于，主要包括离线数据采集以及在线实时定位两部分；进行离线数据采集时，在机器人四周的任意位置安装多个相机，并且安装IMU、GPS或基站装置，在需要定位的环境中进行数据采集；在线实时定位时，利用机器人周围的多个相机采集图片，之后将图片输入至深度卷积网络中提取图片关键点，并与离线数据库中的关键点描述符进行匹配，通过所有相机的位姿信息解算出机器人的坐标和位姿信息。2.根据权利要求1所述的一种基于多目相机的室外视觉定位深度模型训练方法，其特征在于，所述相机在拍摄每张图片时，会记录下当前的时间戳，保存当前IMU和GPS数据，在将数据离线采集结束后，将所有图片放入深度卷积网络中提取关键点信息和特征描述符向量，深度卷积网络分为骨干网络、关键点生成网络和特征描述符生成网络，其中骨干网络采用常见的ResNet网络，用于提取图片特征信息，关键点生成网络能够提取图片中包含纹理特征的关键点，特征描述符生成网络能为每个关键点生成对应的特征描述符向量。3.根据权利要求2所述的一种基于多目相机的室外视觉定位深度模型训练方法，其特征在于，所述关键点生成网络首先会在ImageNet公开数据集上进行训练，使网络能够提取到鲁棒的关键点信息，之后将采集到的图像输入至深度卷积网络提取特征点信息，并使用ResNet骨干网络提取到高维图像特征。4.根据权利要求3所述的一种基于多目相机的室外视觉定位深度模型训练方法，其特征在于，所述高维图像特征张量大小维度为64，长宽只有相机图像的八分之一，即图像特征中的每个像素对应相机图像中8*8的像素块，在特征点提取分支中，使用3*3卷积对图像进一步特征提取并进行降维，之后使用SoftMax函数计算每个像素点的鲁棒性得分，之后进行阈值筛选(一般设为0.8)，超过阈值的像素点为筛选后的特征点。5.根据权利要求4所述的一种基于多目相机的室外视觉定位深度模型训练方法，其特征在于，所述在特征描述符向量分支中，会使用多层3*3卷积对图像特征做进一步提取，获得...

【专利技术属性】
技术研发人员：王佶骏，谷容辉，张继，
申请(专利权)人：江苏博人文化科技有限公司，
类型：发明
国别省市：