一种利用红外相机和深度相机融合构建栅格地图的方法技术

本发明专利技术公开了一种利用红外相机和深度相机融合构建栅格地图的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法构建栅格地图。系统容易构建，程序简单，易于实现；利用红外相机和深度相机融合构建地图，可以低亮度或夜间使用，而且算法鲁棒性强精度高。

A method of constructing raster map by fusion of infrared camera and depth camera

【技术实现步骤摘要】
一种利用红外相机和深度相机融合构建栅格地图的方法
本专利技术属于图像处理和计算机视觉领域。利用红外相机和深度相机的特性，相互弥补缺陷，使得构建栅格地图更精细更准确。是一种利用多传感器构建栅格地图的方法。
技术介绍
近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种地图，因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问题。现阶段主流的方法大致利用三种传感器，双目相机，深度相机和雷达。三种传感器由于自身的特性存在着不可避免的缺点，双目相机受光照和纹理影响大，深度相机测距范围有限。抗干扰能力差，激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建栅格地图不能完整准确的反映出场景的结构。因此传感器融合成为一种趋势，现阶段存在的融合方案有双目相机和雷达，使用双目相机的稠密数据填充雷达的稀疏数据，使用雷达的精确数据修正双目相机的粗略数据，最终构建可较好反映场景深度图，然后可利用生成的深度图构建栅格地图。但是这样的方案设备成本高，算法中数据融合消耗资源多、实时性较差，而且不适合在规模较小的环境使用。
技术实现思路
为解决上述问题本专利技术提出使用红外相机和深度相机构建栅格地图的方法，深度相机测距范围有限但是精度高，红外相机与双目相机相似测距范围大获取可以获取远处的信息，而且红外相机可以全天候使用。但是两传感器的位姿和时间标定存在困难，本专利技术中使用最大点云配准和分段对齐完成。两传感器数据融合影响算法的执行效率，本专利技术提出的权值状态更新方法融合数据可以提升算法效率。本专利技术提出一种高效的利用深度相机和红外相机构建栅格地图的方法。具体技术方案的步骤如下：1)传感器配准使用红外相机和深度相机同时拍摄不同姿态、不同位置的标定物，设由深度图转换得到的点云分别为Pi和Pd，使点对满足且点对的数量达到最大，得到位姿为T；获得红外相机深度图序列和深度相机深度图序列，分别计算两个序列的运动轨迹li和ld，并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn；取平均值t作为两传感器的时间偏移；2)深度权值更新两种传感器生成的深度图分别为Di和Dd，精度分别为Wi和Wd；使用红外图像进行场景判别；如果场景为室内则用系数因子βi和βd分别乘以传感器精度，否则判断场景的亮度，如果低于Imin则用系数因子αi和αd分别乘以传感器精度；3)筛选视线传感器深度图Di和Dd；首先判断两深度图是否满足时间偏移t，若不满足则放弃处理；若满足则用位姿T配准得到点云Pf；然后对点云进行筛选，连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影；4)更新栅格状态设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为xt+1＝-wq+xt；如果栅格在Q的位置说明此时栅格中存在障碍物，则更新栅格的状态为xt+1＝wq+xt；由测量值推断出wq表示存在障碍物的概率，wq是由精度Wq′推导出的log-odds分数。算法中ε、n和h为设定的值。本专利技术的有益效果是：本专利技术设计了一种利用红外相机和深度相机融合构建栅格地图的方法。利用两种传感器的特性，相互弥补缺陷，使得构建栅格地图更精细更准确。具有以下特点：1、程序简单，易于实现；2、算法效率高，实时性强；3、可以亮度低或夜间场景使用，构建栅格地图更精细更准确。附图说明图1是系统架构。图2是传感器配准的算法流程。图3是传感器融合构建栅格地图的算法流程。图4为红外相机图像。图5为红外相机深度图。图6为仿真深度相机视差图。图7为栅格地图效果示意图。具体实施方式本专利技术提出了一种利用红外相机，深度相机和双目相机融合构建栅格地图方法，结合附图及实施例详细说明如下：总体流程如图1，首先系统获取传感器得到的深度图如图5和6，然后利用配准信息进行深度融合，并构建栅格地图，最后在PC可视化显示地图。所述的方法包括下列步骤：1)传感器配准首先进行传感器位姿配准如图2下部，使用红外相机和深度相机同时拍摄不同姿态。不同位置的标定物，设由深度图转换得到的点云分别为Pi和Pd，位姿T要使点对满足且点对的数量达到最大，得到位姿为T。然后进行传感器时间戳配准如图2上部，使用红外相机和深度相机同时拍摄，并保持相机充分移动。获得的数据为红外相机深度图序列和深度相机深度图序列，分别计算两个序列的运动轨迹li和ld，并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn。取平均值t作为两传感器的时间偏移。在传感器配准后两传感器达到空域和时域的对齐。2)深度权值更新两种传感器生成的深度图分别为Di和Dd，精度分别为Wi和Wd。使用红外图像，如图4进行场景判别如图3上部，；如果场景为室内则用系数因子βi和βd分别乘以传感器精度，否则判断场景的亮度，如果低于Imin则用系数因子αi和αd分别乘以传感器精度；3)筛选视线如图3下部，传感器深度图Di和Dd。首先判断两深度图是否满足时间偏移，若满足则用位姿T配准得到点云Pf。然后对点云进行筛选，连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′。从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影。4)更新栅格状态如图3最后是使用更新后的权值更新栅格状态。在更新栅格状态时，设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为xt+1＝-wq+xt。如果栅格在Q的位置说明此时栅格中应该存在障碍物，则更新栅格的状态为xt+1＝wq+xt。由测量值可以推断出wq表示存在障碍物的概率，wq是由精度Wq′推导而出的log-odds分数。栅格地图预期可视化效果为图7。本文档来自技高网...

【技术保护点】
1.一种利用红外相机和深度相机融合构建栅格地图的方法，其特征在于，该方法包括以下步骤：/n1)传感器配准/n使用红外相机和深度相机同时拍摄不同姿态、不同位置的标定物，设由深度图转换得到的点云分别为P

【技术特征摘要】
1.一种利用红外相机和深度相机融合构建栅格地图的方法，其特征在于，该方法包括以下步骤：
1)传感器配准
使用红外相机和深度相机同时拍摄不同姿态、不同位置的标定物，设由深度图转换得到的点云分别为Pi和Pd，使点对满足且点对的数量达到最大，得到位姿为T；
获得红外相机深度图序列和深度相机深度图序列，分别计算两个序列的运动轨迹li和ld，并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn；取平均值t作为两传感器的时间偏移；
2)深度权值更新
两种传感器生成的深度图分别为Di和Dd，精度分别为Wi和Wd；使用红外图像进行场景判别；如果场景为室内则用系数因子βi和βd分别乘以传感器精度，否则判断场景的亮度，如果低于Imin则用系数因子αi和αd分别乘以传感器精度；最后的精度分为Wi′和W′d；
3)筛选视线
传感器深度图Di和Dd；首先判断两深度图是否满足时间偏移t，若不满足则放弃处理；若满足则用位姿...

【专利技术属性】
技术研发人员：仲维，李豪杰，陈圣伦，王智慧，罗钟铉，刘日升，樊鑫，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21