【技术实现步骤摘要】
本专利技术属于机器人应用，具体涉及一种基于深度学习的视觉激光传感器融合定位算法。
技术介绍
1、目前，较为常见的移动机器人包括家庭服务机器人、agv物流机器人等。家庭服务机器人主要有教育机器人、清洁机器人、助老助残机器人等。在特殊场合，如展会、餐厅、迎宾、导购、安防和监控中，专用机器人正发挥着越来越重要的作用。尽管功能复杂的移动机器人为人们生产生活带来颠覆性变化，但机器人功能仍存在局限性。在复杂场景和性能要求高的领域，机器人功能和性能仍有较大提升空间。对于自主移动的机器人而言，机器人定位和导航是关键问题，涉及精准定位、场景识别、语义理解及障碍物分析和决策等方面，需要我们深入分析和研究。
2、slam(simultaneouss localization and mapping，时定位与建图)系统是机器人通过采集和计算多种传感器数据，生成对自身位置姿态的定位和场景地图信息的系统。slam系统通常包含多种传感器和功能模块。按核心功能模块区分，目前成熟且常见的slam系统可分为基于激光雷达的slam(激光slam)和基于视觉的slam(vslam)。
3、视觉传感器能采集丰富的环境信息，成本较低，但其感知框架在高速运动下易出现“丢帧”，且基于视觉信息的环境感知受光照条件影响。激光传感器在环境感知方面具有高精度、大范围等特点，同时在检测边缘信息(如道路边缘)方面具有优势。激光传感器工作相对稳定，在恶劣天气下表现良好，但无法感知环境细节信息，难以实现经典视觉slam框架的重定位和回环检测等功能。
4、单
5、多传感器融合slam可结合各传感器在不同环境下的优势。在周边环境纹理较少或纹理分布有规律的情况下，纯视觉里程计定位效果不佳，易产生轨迹漂移。同样，周边环境障碍物较少或环境呈有规律分布会导致纯激光里程计产生定位漂移。为解决单一传感器在某些环境下丢失定位问题，许多研究将视觉传感器和激光传感器与其他传感器(如imu、码盘等)相结合。相较于纯视觉或纯激光传感器里程计，融合传感器具有更高定位精度，且在复杂环境下不易丢失精度，具有更好鲁棒性。
6、尽管通过融合多传感器提高了slam系统鲁棒性，但许多研究没有充分利用各传感器数据。如图像处理，通常提取点特征或利用光流法进行像素追踪。在低纹理环境下，像素变化不明显，导致特征点提取和光流追踪效果不佳。为此，部分研究通过提取线特征进行关键帧匹配。在低纹理环境下，线特征数量较多，充分利用了视觉传感器数据。
7、在低纹理环境下，传统特征提取方法鲁棒性不高，提取特征效果质量较差。同时，传统的多传感器融合方法一般采用低耦合的方法，不能够很好的应对复杂环境的突然变化，因此，我们提出一种致力于研究在低纹理环境下，利用深度学习进行点线特征提取，并利用深度学习进行环境识别然后将多传感器数据进行融合，以提高定位精度和系统鲁棒性的基于深度学习的视觉激光传感器融合定位算法来解决上述问题。
技术实现思路
1、为了弥补现有技术的不足，在低纹理环境下特征质量和定位精度有待提高的问题，本专利技术提出一种基于深度学习的视觉激光传感器融合定位算法。
2、为实现上述目的，本专利技术提供如下技术方案：一种基于深度学习的视觉激光传感器融合定位算法，具体包括以下步骤：
3、s1、传感器数据采集：通过机器人上的激光雷达、摄像头和imu传感器采集实时数据；
4、s2、特征提取与环境识别：利用深度学习模型对预处理后的数据进行特征提取和环境识别；
5、s3、多传感器数据融合：根据特征提取和环境识别结果，对不同传感器数据进行加权融合，得到更精确的位姿估计；
6、s4、后端因子图优化：利用imu数据和gps数据通过后端因子图优化得到更加精确的位姿。
7、作为优选，所述步骤s3中，多传感器数据包括激光雷达数据、视觉图像数据、imu数据。
8、作为优选，所述步骤s3中，通过slam系统采用多传感器数据融合技术对机器人位置和姿态的实时估计，slam系统基于激光slam或vslam。
9、作为优选，所述slam系统为基于视觉的slam系统，这类系统使用相机捕捉环境信息，并结合计算机视觉技术进行特征提取和环境建图，通过使用深度学习模型，如卷积神经网络(cnn)进行特征提取，可以提高视觉slam系统在低纹理环境下的性能。
10、作为优选，所述slam系统为基于激光雷达的slam系统，这类系统使用激光雷达进行环境感知，利用点云数据进行特征提取和地图构建，激光雷达具有较高的精度和鲁棒性，能够在复杂环境下实现较好的定位效果。
11、作为优选，所述slam系统为基于视觉与激光雷达融合的slam系统，这类系统结合视觉和激光雷达的优势，实现多传感器数据融合，通过深度学习模型进行特征提取，可以提高系统在低纹理环境下的性能，同时，激光雷达的加入可以提高系统的鲁棒性和精度。
12、作为优选，所述slam系统为基于滤波算法的slam系统，这类系统通过设计滤波算法，如卡尔曼滤波器、粒子滤波器等，对多传感器数据进行融合和优化，实现对机器人位置和姿态的估计。滤波算法可以在一定程度上提高系统的鲁棒性和定位精度。
13、本专利技术的技术效果和优点：
14、1.本专利技术采用深度学习模型进行点线特征提取和环境识别，在低纹理环境下提高特征质量和定位精度。相比现有技术，本专利技术能够在复杂环境下实现更高的定位精度。
15、2.本专利技术通过多传感器数据融合，提高系统在复杂环境下的鲁棒性。在存在遮挡、纹理缺失等复杂场景下，本专利技术的slam系统具有更好的稳定性和可靠性。
16、3.本专利技术的slam系统实现对机器人位置和姿态的实时估计，能够快速响应环境变化，提高导航精度。相比现有技术，本专利技术在实时性方面具有明显优势。
17、4.本专利技术的slam系统具有更高的定位精度和鲁棒性，能够拓展机器人在复杂环境下的应用范围，如无人驾驶、机器人导航等。
18、5.本专利技术采用深度学习模型进行特征提取和环境识别，相比传统特征提取方法，如sift、surf等，能够降低计算复杂度，提高运算效率。
19、综上所述，本专利技术在提高定位精度、增强系统鲁棒性、实时性、拓展应用范围以及降低计算复杂度等方面具有优势，相较于现有技术具有更高的技术价值和实用价值。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的视觉激光传感器融合定位算法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的视觉激光传感器融合定位算法，其特征在于：所述步骤S3中，多传感器数据包括激光雷达数据、视觉图像数据、IMU数据。
3.根据权利要求1所述的一种基于深度学习的视觉激光传感器融合定位算法，其特征在于：所述步骤S3中，通过SLAM系统采用多传感器数据融合技术对机器人位置和姿态的实时估计，SLAM系统基于激光SLAM或VSLAM。
4.根据权利要求3所述的一种基于深度学习的视觉激光传感器融合定位算法，其特征在于：所述SLAM系统为基于视觉的SLAM系统，该系统使用相机捕捉环境信息，并结合计算机视觉技术进行特征提取和环境建图，通过使用深度学习模型，如卷积神经网络进行特征提取。
5.根据权利要求3所述的一种基于深度学习的视觉激光传感器融合定位算法，其特征在于：所述SLAM系统为基于激光雷达的SLAM系统，该系统使用激光雷达进行环境感知，利用点云数据进行特征提取和地图构建。
6.根据权利要求3所述的一种基于深度学
7.根据权利要求3所述的一种基于深度学习的视觉激光传感器融合定位算法，其特征在于：所述SLAM系统为基于滤波算法的SLAM系统，该系统通过设计滤波算法，对多传感器数据进行融合和优化，实现对机器人位置和姿态的估计。
...【技术特征摘要】
1.一种基于深度学习的视觉激光传感器融合定位算法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的视觉激光传感器融合定位算法，其特征在于：所述步骤s3中，多传感器数据包括激光雷达数据、视觉图像数据、imu数据。
3.根据权利要求1所述的一种基于深度学习的视觉激光传感器融合定位算法，其特征在于：所述步骤s3中，通过slam系统采用多传感器数据融合技术对机器人位置和姿态的实时估计，slam系统基于激光slam或vslam。
4.根据权利要求3所述的一种基于深度学习的视觉激光传感器融合定位算法，其特征在于：所述slam系统为基于视觉的slam系统，该系统使用相机捕捉环境信息，并结合计算机视觉技术进行特征提取和环境建图，通过使用深度学习模型，...
【专利技术属性】
技术研发人员：曹一波，范敬文，赵佳恒，杨正东，
申请(专利权)人：广州创源机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。