视觉里程计背景过滤方法及装置制造方法及图纸

一种视觉里程计背景过滤方法及装置，其中方法包括如下步骤：根据预设场景三维地图和行车图像计算各像素点的景深，得到景深图；根据景深图和行车图像计算权重视差图，所述权重视差图包括各像素点的视差信息和权重信息；对权重视差图进行后期处理，得到背景概率图，所述背景概率图包括各像素点为背景的概率信息；对背景概率图进行处理，得到最佳背景区块。解决了视觉里程计的背景识别问题。

【技术实现步骤摘要】
视觉里程计背景过滤方法及装置
本专利技术涉及视觉里程计使用领域，尤其涉及一种视觉里程计背景过滤方法及装置。
技术介绍
视觉里程计(visualodometry)是一种利用连续的摄像机图片计算载体(如机器人)相对于固定场景位移和姿态变化的方法。比起其它的位移测距法(odometry)，视觉里程计的好处有：1.成本较低，只需要传感器上摄像机即可2.能够不受多种类别的干扰(如轮子位移传感器受轮子滑移的影响)3.准确率上较好。其原理和人类通过视觉判断自身位移和姿态变化非常相似。人类仅仅靠双眼的图像信息便能准确地判断位移，这给视觉里程计提供了一个很好的参照视觉里程计的方法一般可以概括为这几个步骤(以下简称视觉里程计流水线)：1.获取图像，可以使用单镜头摄像机(singlecamera)，立体摄像机或者全景摄像机(omnidirectionalcamera)2.图像校正，这一步采用图像处理技术纠正透镜畸变等，改善图像质量。3.特征发现，这一步可分为：a.特征采集，从一幅图像中提取出有代表性的、稳固的特征。b.特征配对，对比连续的图像，将不同图像中的同一特征配对起来。4.利用特征在连续图像之间的变化，建立视觉场(opticalfield)。5.利用视觉场估算位移。6.定期地增加新的特征和去除过期(不再场景内)的特征，以保证特征对于图像的完整覆盖。另外一种视觉里程计的方法不进行特征提取和配对，而是直接用整个场景/原始图片作为输入。比如，利用深度学习可以解决较为简单的环境下的静动态物体区分。但是在复杂的城市环境(交通，弱光环境)中，深度学习的成本骤增，不如直接利用环境的一些不变属性提取特征。这些属性包括物体的相对位置和绝对位置，分别可用景深和GPS坐标刻画，也包括物件本身的视觉属性，比如棱角。对于无人车而言，视觉里程计可以作为多种位移测距系统中的一种，以提供对其它位移测距法的补充，同时也可以作为一套冗余备份系统。
技术实现思路
为此，需要提供一种视觉里程计背景过滤方法及装置，解决识别图像背景的问题。为实现上述目的，专利技术人提供了一种视觉里程计背景过滤方法，包括如下步骤：根据预设场景三维地图和行车图像计算各像素点的景深，得到景深图；根据景深图和行车图像计算权重视差图，所述权重视差图包括各像素点的视差信息和权重信息；对权重视差图进行后期处理，得到背景概率图，所述背景概率图包括各像素点为背景的概率信息；对背景概率图进行处理，得到最佳背景区块。具体地，还包括步骤：采集预设场景三维地图。具体地，还包括步骤：采集行车图像。优选地，根据景深图和同一时刻不同镜头采集到的行车图像计算权重视差图。优选地，根据景深图和不同时刻同一镜头采集到的行车图像计算权重视差图。一种视觉里程计背景过滤装置，包括景深图计算模块、权重视差图计算模块、背景概率图计算模块、最佳背景区块计算模块：所述景深图计算模块用于根据预设场景三维地图和行车图像计算各像素点的景深，得到景深图；所述权重视差图计算模块用于根据景深图和行车图像计算权重视差图，所述权重视差图包括各像素点的视差信息和权重信息；所述背景概率图计算模块用于对权重视差图进行后期处理，得到背景概率图，所述背景概率图包括各像素点为背景的概率信息；所述最佳背景区块计算模块用于对背景概率图进行处理，得到最佳背景区块。具体地，还包括地图采集模块：所述地图采集模块用于采集预设场景三维地图。具体地，其特征在于，还包括行车图像采集模块：所述行车图像采集模块用于采集行车图像。优选地，所述权重视差图计算模块用于根据景深图和同一时刻不同镜头采集到的行车图像计算权重视差图。优选地，所述权重视差图计算模块用于根据景深图和不同时刻同一镜头采集到的行车图像计算权重视差图。区别于现有技术，上述技术方案巧妙地解决了视觉里程计中背景的精确识别与过滤的问题。附图说明图1为本专利技术具体实施方式所述场景与过滤后背景概率对比图；图2为本专利技术具体实施方式所述预先采集的三维地图示例；图3为本专利技术具体实施方式所述的静态景深图；图4为本专利技术具体实施方式所述的视差法示意图；图5为本专利技术具体实施方式所述的视觉流图法示意图；图6为本专利技术具体实施方式所述的方法流程图；图7为本专利技术具体实施方式所述的装置模块图；附图标记说明：700、景深图计算模块；702、权重视差图计算模块；704、背景概率图计算模块；706、最佳背景区块计算模块；708、地图采集模块；710、行车图像采集模块。具体实施方式为详细说明技术方案的
技术实现思路
、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。视觉里程计的一个主要挑战就是在充斥着动态物体的场景内准确判断位移。这对于城市中行驶的无人车尤其重要，因为城市道路上充斥着各种大尺寸的车辆。这些大尺寸运动物体容易导致视觉里程计流水线效能的严重下降。如果能够有效地过滤掉这些动态物体，让视觉里程计流水线集中于场景静态的部分，则能有效提高视觉里程计的准确性。而本方法能够协助动态环境下的视觉里程计准确地辨识背景。为了区分背景和运动物体，一个简单的想法是，先“记忆”背景，再比较所见之景和“记忆”之间的偏差。差别越大，越不可能是背景。我们首先要定义“记忆”是什么。一个固定场景的轮廓构成的点集是算法所需的“记忆”。也就是说，在无人车运行之前，它已经记录下整个场景的座标。本方法是一种利用预先采集的场景三维信息(如场景的3维激光扫描地图/激光点云图)，生成一幅背景概率图，以便过滤掉动态物体尽可能还原场景原始的静态的面貌。如图1所示：左为过滤之前的场景，右为生成的背景概率图。概率图颜色越浅(越白)的地方为静态背景的概率越高。本方法可以应用于满足如下条件的环境中：1、对预设环境进行了3维激光地图的采集。采集车辆配备高质量的激光雷达，并且有精准的定位仪器(如gps)。2、需要立体摄像机。3、三维激光地图尽量不要有其它的临时的、非固定的物体。这里可以参见图2，为某实施例中预先采集的激光地图本方法的主要步骤可以概括为：利用某种方法判断无人车在三位空间内的位置，然后将预先采集的三维激光图投射到当前摄像机的视角；利用视差图法或者视觉流图法，比较如图3所示的静态景深图和实时获取的图像(以下简称当前图像)，得出一个背景概率图。在图3所示的实施例中，图3a显示了示例用的摄像机场景影像(Cameraimageofthesceneforrefrence)；图3b显示了预采集的3D场景的激光强度值图样(3Dscencepriorcolouredwithcorrespondinglaserintensityvalues)；图3c显示了将激光扫描图投影到估计摄像机位置上的情况(Reprojectedlaser-intensityimageattheestimatedcameraposeintheprior)；图3d显示了投影后的景深图，亮度代表了更大的景深(Reprojecteddepthimage,wherelightercoloursrepresentlargerdepth)。视差比较的是同一时刻，两个观察点产生的图像之间的偏移。视觉流比较的是不同时刻的图像的区别。这两个方法一个侧重于绝对位置，另一侧重于速度，可以互补。从所见的图像可以生成这两个量，从“记忆”中的特性也可以生成它们本文档来自技高网...

【技术保护点】
一种视觉里程计背景过滤方法，其特征在于，包括如下步骤：根据预设场景三维地图和行车图像计算各像素点的景深，得到景深图；根据景深图和行车图像计算权重视差图，所述权重视差图包括各像素点的视差信息和权重信息；对权重视差图进行后期处理，得到背景概率图，所述背景概率图包括各像素点为背景的概率信息；对背景概率图进行处理，得到最佳背景区块。

【技术特征摘要】
1.一种视觉里程计背景过滤方法，其特征在于，包括如下步骤：根据预设场景三维地图和行车图像计算各像素点的景深及合成景深，得到两张景深图；所述景深根据当前行车图像计算获得，所述合成景深通过记忆的行车图像计算合成，所述记忆为固定场景的轮廓构成的点集；所述根据预设场景三维地图和行车图像计算各像素点的合成景深包括：利用线形二维延拓计算每个像素上的合成景深，根据景深图和行车图像计算权重视差图，所述权重视差图包括各像素点的视差信息和权重信息；对权重视差图进行后期处理，得到背景概率图，所述背景概率图包括各像素点为背景的概率信息；所述对权重视差图进行后期处理包括：延拓局部最大值，对背景概率图进行处理，得到最佳背景区块。2.根据权利要求1所述的视觉里程计背景过滤方法，其特征在于，还包括步骤：采集预设场景三维地图。3.根据权利要求1所述的视觉里程计背景过滤方法，其特征在于，还包括步骤：采集行车图像。4.根据权利要求1所述的视觉里程计背景过滤方法，其特征在于，根据景深图和同一时刻不同镜头采集到的行车图像计算权重视差图。5.根据权利要求1所述的视觉里程计背景过滤方法，其特征在于，根据景深图和不同时刻同一镜头采集到的行车图像计算权重视差图。6.一种视觉里程计背景过滤装置，其特征在于，包括景深图计算模块、权重视差图计算模块、背景概率图计算模块、最佳背景区块计算模块：所述景深图计算模块用于...

【专利技术属性】
技术研发人员：潘晨劲，赵江宜，
申请(专利权)人：福州华鹰重工机械有限公司，
类型：发明
国别省市：福建;35