一种危险化工事故中移动机器人定位与建图方法技术

本发明专利技术公开了一种危险化工事故环境下移动机器人的定位与建图方法，本方法应用于搜救移动机器人，可以在复杂危险化工事故现场进行定位和建图，一定程度上减弱了危险化学品爆炸等造成的光照和烟雾影响，提高了事故发生情况下定位和建图的鲁棒性和精度。本方法的核心在于使用时空马尔可夫随机场的方法进行图片去雾处理，采用较稳定的基于特征点法的单目视觉SLAM方法融合IMU传感器数据进行危险化工事故中移动机器人的定位与建图，进一步提高在危险的化工事故情况下机器人对环境的探索能力。

A Location and Mapping Method for Mobile Robot in Hazardous Chemical Accidents

The invention discloses a method for locating and mapping mobile robots in hazardous chemical accident environment. The method is applied to search and rescue mobile robots, which can locate and map complex hazardous chemical accident sites, to a certain extent reduces the influence of light and smoke caused by explosion of hazardous chemicals, and improves the robustness and accuracy of locating and mapping in the case of accidents. The core of this method is to use the space-time Markov random field method for image fog removal. A stable monocular visual SLAM method based on feature point method is used to fuse IMU sensor data to locate and map mobile robots in dangerous chemical accidents, so as to further improve the robot's ability to explore the environment in dangerous chemical accidents.

【技术实现步骤摘要】
一种危险化工事故中移动机器人定位与建图方法
本专利技术属于移动机器人定位导航
，涉及到一种对烟雾进行预处理的基于单目视觉和IMU传感器的移动机器人在危险化工事故环境下的定位与建图方法。
技术介绍
近年来，危化品环境事故频发，危化品环境等特殊环境的安全问题引起越来越大的关注。危化品事故突发环境具有复杂，危险系数高的特点，并且危化品爆炸或泄露造成光照和烟雾污染。考虑到环境的复杂性和危险性，本方法移动机器人通过自主定位与建图对环境进行探索，并且一定程度上提高了该环境下定位与建图的鲁棒性和精度。即时定位与地图构建(SLAM，SimultaneousLocalizationandMapping)是使机器人在未知环境中自动创建地图，并根据对自身状态的估计和地图进行自定位的技术。高精度的自定位信息是移动机器人拥有智能，进行路径规划、地图绘制等任务的前提条件。对于危险化工事故现场的复杂环境，现有的SLAM方法显然无法正常工作。基于激光雷达的SLAM相对精确，误差模型简单，在强光条件下也能稳定运行。同时，激光雷达SLAM价格昂贵，无法进行重定位的问题会造成累积误差。无法在危险化工事故情况下进行定位和建图。惯性导航算法具有定位精度高、自适应性强和适用环境广泛的优点，同时视觉具有传感器价格低廉、易于维护、所利用的纹理信息丰富的特点，在重定位和场景分类上具有巨大优势。结合多种传感器的优势，多传感器融合技术成为SLAM领域的研究热点。对于基于视觉和IMU的危险化工事故环境下定位与建图，难点在于解决随机噪声，爆炸或者危化品泄露条件下光照不均匀和烟雾影响。因此，如何解决以上问题，是解决机器人应用在危化品事故环境中定位与建图的关键问题。
技术实现思路
以下给出一个或多个方面的主要概述以应对这些方面的基本理解。此概述不能将所有构想的方面进行详述，其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。针对移动机器人在危化品事故环境下随机噪声多，光照不均匀和烟雾情况，如图3所示，采用结合图像去雾预处理的单目视觉和IMU联合定位与建图方法。对比surf，orb和sift特征点的性能，采用速度较快的orb特征点，使用一种基于时空的马尔科夫随机场算法进行图像去雾预处理，随后采用单目视觉结合IMU的方法进行危化品事故环境下移动机器人的定位和建图，提高了机器人在危化品事故环境中定位和建图的鲁棒性。本专利技术提出一种应用于危化品事故环境下的移动机器人定位与建图方法，包括：步骤一：采用kinect相机采集图像信息，采用基于时空的马尔科夫随机场方法对图像进行去雾操作。考虑到危化品爆炸造成的烟雾，其对特征匹配的影响如图6所示，会降低特征正确匹配的数量。采用基于时空的马尔科夫随机场算法进行图像去雾预处理。步骤二：在相机采集的图像进行去雾操作的基础上，采用单目视觉和IMU联合初始化，先进行单目视觉初始化，然后利用单目SLAM测量的每个关键帧的位置和旋转来初始化IMU，得到较为准确的尺度，重力加速度的方向，速度，陀螺仪和加速度的偏置。步骤三：在系统初始化完成后，构建单目视觉和IMU融合SLAM系统。前端采用光照鲁棒性较强的orb特征点进行提取和匹配，采用对极几何约束和PnP算法估计相机位姿。融合IMU数据跟踪局部地图，后端优化重投影误差项和IMU的时间误差项。而对于SLAM系统建图，从初始的关键帧开始增量的构建一个生成树。对于每一个新的关键帧进行闭环搜索，使用视觉词袋进行回环检测，为确保全局地图的一致性，利用相似性约束对位姿图进行优化。一种基于单目视觉和IMU传感器的危化品事故中移动机器人定位与建图方法。步骤一包括以下步骤：步骤1：从单目相机中获取图像帧数据。步骤2：采用DCP算法估计烟雾浓度，计算暗通道图D(x)。步骤3：基于IVP算法，构建时间和空间马尔科夫随机场方法求解相关优化随机域参数，计算得到去雾的图像。根据本专利技术的一种危化品事故环境的定位与建图方法，在步骤二中，包括以下步骤：步骤1：单目视觉的初始化，根据匹配关键帧之间的位姿，三角化测量初始的特征点云深度，进而获得点云地图，BA优化初始化点云。步骤2：根据两个连续帧进行陀螺仪的偏置估计，计算尺度、重力方向、速度、加速度和陀螺仪的偏置。根据本专利技术的一种基于单目视觉和IMU传感器的危险化工事故环境下移动机器人定位与建图方法，在步骤三中，包括以下步骤：步骤1：orb特征点的提取和匹配。步骤2：通过特征点匹配，采用对极几何约束和PnP算法估计相机位姿并跟踪局部地图，决策是否添加关键帧。步骤3：如果有新的关键帧插入，利用视觉惯性融合IMU数据采用局部BA算法优化相机位姿，融合关键帧数据。其中IMU和视觉传感器融合的是重投影误差项和IMU的时间误差项。步骤4：如果有新的关键帧插入，在完成步骤三之后进行回环检测，纠正相机累计误差，为了确保全局地图的一致性，利用相似性约束对位姿图进行优化，最后启动启动第四个线程执行全局BA算法，来计算整个系统最优结构和运动的结果。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为系统框架示意图；图2为本专利技术中整体系统的流程图；图3为危化品环境；图4为帧到帧特征点的提取和匹配流程图；图5为orb特征点提取和匹配实验仿真结果；图6为图像去雾流程图。具体实施方式以下结合附图和具体实施例对本专利技术作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本专利技术的保护范围进行任何限制。步骤一：针对危化品事故发生时造成的烟雾现象，烟雾会使得图片亮度提高而饱和度降低。采用一种基于时空的马尔科夫随机场算法进行图像去雾处理：基于大气光散射模型：I(x)＝J(x)T(x)+A(1-T(x))其中I(x)是观察到的图像，J(x)是真实场景图像，T(x)是中值透射率，A是全局大气光，x是像素值。采用暗通道先验算法得到暗通道图，其与透射率之间的关系为T(x)＝1-wD(x)/A，其中系数w设定为0.7。后建立时空MRF下以微调烟雾浓度D(x)，首先考虑的是暗通道图。步骤1：获取单目相机获取的图片帧。步骤2：采用DCP算法估计烟雾浓度，其中其中Ic的含义是图像的颜色通道，r、g、b分别代表红绿蓝三个通道，选择通道c亮度最低的像素值绘制暗通道图。步骤4：基于像素亮度值先验算法，像素的亮度值因雾浓度不同而不同，基于时间和空间构建马尔科夫随机场。为了保证处理图片自然，时间上和空间上满足连续性，将图片的强度值函数V(x)线性关联到烟雾浓度D(x)，其关于参数w和b的空间s似然函数Ps(w，b)：其中参数Ω(x)是以x为中心的r×r的图像块，σs是空间参数。其关于时间t的似然函数P：在第t帧，τ代表帧差，f是相邻帧的数量，这里将f设为7，是时间参数。其联合的似然函数表述为：其中σs被省略。取log函数得到最大似然估计：求导使得函数取极值，计算得像素优化随机域参数W和B。步骤4：由上步得到的参数W和B，带入求得图像的D(x)。步骤5：根据大气光散射模型计算得到相应的改善后的图像。步骤二：单目视觉和IMU联合初始化。步骤1：单目视觉的初始化，采用针孔相机模型，相机坐本文档来自技高网...

【技术保护点】
1.一种应用于危化品事故环境下的移动机器人定位与建图方法，其特征在于：该方法包括如下步骤，步骤一：采用kinect相机采集图像信息，采用基于时空的马尔科夫随机场方法对图像进行去雾操作；考虑到危化品爆炸造成的烟雾，会降低特征正确匹配的数量；采用基于时空的马尔科夫随机场算法进行图像去雾预处理；步骤二：在相机采集的图像进行去雾操作的基础上，采用单目视觉和IMU联合初始化，先进行单目视觉初始化，然后利用单目SLAM测量的每个关键帧的位置和旋转来初始化IMU，得到较为准确的尺度，重力加速度的方向，速度，陀螺仪和加速度的偏置；步骤三：在系统初始化完成后，构建单目视觉和IMU融合SLAM系统；前端采用光照鲁棒性较强的orb特征点进行提取和匹配，采用对极几何约束和PnP算法估计相机位姿；融合IMU数据跟踪局部地图，后端优化重投影误差项和IMU的时间误差项；而对于SLAM系统建图，从初始的关键帧开始增量的构建一个生成树；对于每一个新的关键帧进行闭环搜索，使用视觉词袋进行回环检测和相机的重定位，为确保全局地图的一致性，利用相似性约束对位姿图进行优化。

【技术特征摘要】
1.一种应用于危化品事故环境下的移动机器人定位与建图方法，其特征在于：该方法包括如下步骤，步骤一：采用kinect相机采集图像信息，采用基于时空的马尔科夫随机场方法对图像进行去雾操作；考虑到危化品爆炸造成的烟雾，会降低特征正确匹配的数量；采用基于时空的马尔科夫随机场算法进行图像去雾预处理；步骤二：在相机采集的图像进行去雾操作的基础上，采用单目视觉和IMU联合初始化，先进行单目视觉初始化，然后利用单目SLAM测量的每个关键帧的位置和旋转来初始化IMU，得到较为准确的尺度，重力加速度的方向，速度，陀螺仪和加速度的偏置；步骤三：在系统初始化完成后，构建单目视觉和IMU融合SLAM系统；前端采用光照鲁棒性较强的orb特征点进行提取和匹配，采用对极几何约束和PnP算法估计相机位姿；融合IMU数据跟踪局部地图，后端优化重投影误差项和IMU的时间误差项；而对于SLAM系统建图，从初始的关键帧开始增量的构建一个生成树；对于每一个新的关键帧进行闭环搜索，使用视觉词袋进行回环检测和相机的重定位，为确保全局地图的一致性，利用相似性约束对位姿图进行优化。2.根据权利要求1所述的一种应用于危化品事故环境下的移动机器人定位与建图方法，其特征在于：步骤一包括以下步骤，步骤1：从单目相机中获取图像帧数据；步骤2：采用DCP算法估计烟雾浓度，计算暗通道图D(x)；步...

【专利技术属性】
技术研发人员：曹政才，谢红玉，黄冉，胡标，周萌，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：北京,11