一种基于深度相机与热像仪的室内定位与建图方法技术

本发明专利技术一种基于深度相机与热像仪的室内定位与建图方法，包括以下步骤：步骤一、将深度相机和热像仪固连，并对深度相机和热像仪进行内外参标定；步骤二、使用深度相机和热像仪采集图像，对热像图根据人体区域的灰度值阈值进行处理，得到人体mask图；步骤三、将RGB图像与对应的人体mask图进行融合，得到RGB图像的感兴趣区域；构建相邻帧图像之间的位姿关系，并通过非线性优化算法迭代求解该位姿关系，得到彩色镜头的位姿；步骤四、提取关键帧图像，将与关键帧图像对应的深度图像、人体mask图送入建图线程，构建全局Octomap地图。本发明专利技术充分利用热像仪感知温度的特性提取这些动态特征，使得建图时能够有效避开这些动态特征，提高定位与建图的精度。

【技术实现步骤摘要】
一种基于深度相机与热像仪的室内定位与建图方法
本专利技术属于机器人智能感知与环境建模
，具体是一种基于深度相机和热像仪的室内定位与建图方法。
技术介绍
目前，服务机器人未能得到很好的量产及普及使用，制约其发展的一个重要因素是鲁棒的定位与建图(SLAM)方法。现有的SLAM方法均是基于静态场景的基本假设，即假设机器人所处的空间是静态的，因此提取到的特征均是静态的，利用这些特征进行环境建模与机器人的位姿估计。然而在实际使用环境中，行走的人以及宠物等均为动态对象，当提取到此类特征进行位姿估计时，显然会引起严重的定位误差。目前虽然有一些方法在解决动态SLAM问题，比如DS-SLAM，但是这些方法大多是基于深度学习的神经网络与辅助算法搭建起来的系统；神经网络用于目标检测，从而在算法层面剔除掉动态对象特征，神经网络采用彩色图提取特征，存在漏检、误检的情况；而辅助算法则可以对神经网络的漏检、误检情况进行补偿，但是这种方法复杂，而且计算量大，需要强有力的GPU加速才能实现实时处理，成本高，适用性较低。专利技术内容针对现有技本文档来自技高网...

【技术保护点】
1.一种基于深度相机与热像仪的室内定位与建图方法，其特征在于，包括以下步骤：/n步骤一、将深度相机和热像仪固连，并对深度相机和热像仪进行内外参标定，使得同一视野的RGB图像、深度图像与热像图逐像素配准；/n步骤二、使用深度相机和热像仪采集图像，得到连续的RGB图像、深度图像与热像图，并对热像图根据人体区域的灰度值阈值进行处理，得到人体mask图；/n步骤三、将RGB图像与对应的人体mask图进行融合，得到RGB图像的感兴趣区域，并对感兴趣区域进行特征提取；构建相邻帧图像之间的位姿关系，并通过非线性优化算法迭代求解该位姿关系，得到彩色镜头的位姿；/n步骤四、提取关键帧图像，将与关键帧图像对应的深...

【技术特征摘要】
1.一种基于深度相机与热像仪的室内定位与建图方法，其特征在于，包括以下步骤：
步骤一、将深度相机和热像仪固连，并对深度相机和热像仪进行内外参标定，使得同一视野的RGB图像、深度图像与热像图逐像素配准；
步骤二、使用深度相机和热像仪采集图像，得到连续的RGB图像、深度图像与热像图，并对热像图根据人体区域的灰度值阈值进行处理，得到人体mask图；
步骤三、将RGB图像与对应的人体mask图进行融合，得到RGB图像的感兴趣区域，并对感兴趣区域进行特征提取；构建相邻帧图像之间的位姿关系，并通过非线性优化算法迭代求解该位姿关系，得到彩色镜头的位姿；
步骤四、提取关键帧图像，将与关键帧图像对应的深度图像、人体mask图送入建图线程，构建全局Octomap地图。


2.根据权利要求1所述的基于深度相机与热像仪的室内定位与建图方法，其特征在于，步骤三的具体操作过程是：
3-1根据人体mask图，设定对应的RGB图像的感兴趣区域为人体范围之外的区域；采用ORB特征提取算法对RGB图像的感兴趣区域进行特征提取，并得到感兴趣区域的ORB特征；然后将下一帧图像的ORB特征与上一帧图像的ORB特征进行特征匹配，并剔除误匹配，得到一组相匹配的优质特征点，并将得到的优质特征点存入局部特征图中；
3-2从对应的深度图像上获取每帧图像的优质特征点的深度值，并计算这些优质特征点的3D点云，同时得到上一帧图像与下一帧图像相匹配的一组特征3D点云；然后利用ICP算法进行相邻两帧图像之间的位姿估计；相邻两帧图像的任意两个匹配的特征3D点之间的位姿变换关系为R、t，R和t分别表示两个匹配的特征3D点之间的旋转和平移，且满足公式(4)；



利用彩色镜头的位姿构建如公式(5)的最小二乘损失函数，并通过不断迭代求解得到使公式(5)达到极小值时的R、t，此时R、t即为下一...

【专利技术属性】
技术研发人员：张建华，张霖，赵岩，李辉，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12