用于测量环境地形的方法技术

一种用于形成对应于成像环境的地形的点云的方法，包括：用安装在车辆上的具有WFOV镜头的相机获取环境的第一图像；通过大于阈值的调整来改变相机姿态；以及用处于改变姿态的相机获取环境的第二图像。图像被映射到相应表面上，以形成由相同的非平面几何形状定义的相应映射图像。第一或第二映射图像之一被分成像素块；并且对于每个像素块，通过对另一个映射图像执行搜索以评估每个映射图像中像素块的位置的位置差异来形成深度图。当车辆在环境中移动时，深度图被转换成对应于车辆周围环境的局部地形的点云的一部分；并且根据相机姿态的调整来缩放点云。整来缩放点云。整来缩放点云。

【技术实现步骤摘要】
【国外来华专利技术】用于测量环境地形的方法


[0001]本申请涉及一种用于测量由相机成像的环境的地形的方法。更具体地，本专利技术涉及一种测量环境地形的方法，该环境地形是使用根据环境的运动立体图像评估的密集深度测量来成像的。

技术介绍

[0002]相机是一种产生场景或环境图像的装置。当两个相机从不同位置产生同一场景的图像时，可以比较不同的图像来确定场景的各部分的深度，该深度是到由两个相机位置限定的平面的相对距离的度量。在某些假设和/或某些信息下，相对深度可被校准为绝对距离测量。这就是视差成像的深度原理。深度测量可用于近似成像环境的地形。
[0003]通常，来自视差成像的深度需要N目镜系统，其中N>1，通常双目系统具有两个相机，产生场景的同步图像对。该对图像中的一个图像中的特征可以与另一个图像中的相应特征相匹配。特征可以包括不同的成像元素，例如相似像素的角或区域、斑点，但特征也可以包括图像的任何给定像素。然后，图像之间匹配特征的定位差异可以用于计算视差。根据特征的差异和双目系统的相机的已知间隔，可以评估特征的深度。通常，双目系统获取的图像被映射到表面上，以帮助后续的图像处理或使获取的图像更适合观看。
[0004]Gehrig在2005年第1期OmniVis中的“Large Field of View Stereo for Automotive Applications”涉及放置在汽车后视镜左侧和右侧的相机，并描述了分析具有大视场的立体视觉和执行物体检测的选项。
[0005]Yamaguchi在2011年出版的书“Three Dimensional Measurement Using Fisheye Stereo Vision,Advances in Theory and Applications of Stereo Vision”的第八章中的“Three Dimensional Measurement Using Fisheye Stereo Vision,Advances in Theory and Applications of Stereo Vision”公开了将鱼眼图像映射到平面上并匹配特征，并且得出鱼眼立体视觉允许在相对大的空间中测量3D物体。
[0006]Zhu在IEEE ICAR,2001中的“Omnidirectional Stereo Vision”涉及全向立体成像的配置，并对全向表示、极线几何和深度误差特性进行了数值分析。
[0007]Bogdan等人在ICARCV 2016中的“Direct Fisheye Stereo Correspondence Using Enhanced Unified Camera Model and Semi
‑
Global Matching Algorithm”提出了一种将直线投影到圆锥曲线上的鱼眼相机模型，并描述了一种用于鱼眼立体系统的匹配算法，以计算密集的直接立体对应，而无需矫正鱼眼图像。
[0008]Li在IEEE期刊关于Intelligent Transportation Systems 9,589,2008中的“Binocular Spherical Stereo”涉及双目鱼眼立体图像，并描述了转换成球形图像以及使用纬度
‑
经度表示来加速特征点匹配。
[0009]Abraham等人在期刊Photogrammetry and Remote Sensing 59，278，2005中的“Fish
‑
Eye
‑
Stereo Calibration and Epipolar Rectification”涉及鱼眼立体图像的校准和极线矫正，并讨论了生成极线图像。
[0010]Schnedier等人在IEEE Robotics and Automation,1,227,2016中的“On the Accuracy of Dense Fisheye Stereo”分析了鱼眼立体相机的极线矫正模型，并讨论了相关的精度。
[0011]Drulea等人于2014年在ICCP IEEE提出的“Omnidirectional stereo vision using fisheye lenses”涉及一种全向立体系统以及将鱼眼镜头图像分割成矫正图像。立体匹配算法被应用于每对矫正的图像以形成点云。
[0012]本专利技术的目的是克服此相关工作的至少一些限制。

技术实现思路

[0013]本专利技术由独立权利要求限定。
[0014]本专利技术的实施例提供了一种从由具有宽视场镜头的相机获取的图像中恢复密集、准确的深度信息的方法。这使得来自车辆上的单目相机的图像能够形成点云的一部分，该点云对应于车辆在环境中移动时车辆周围的环境的局部地形。
[0015]从属权利要求提供了进一步的可选特征。
附图说明
[0016]现在将参考附图，通过示例的方式描述本专利技术的实施例，其中：
[0017]图1示意性地示出了安装有相机的车辆，每个相机能够根据本专利技术进行操作；
[0018]图2示出了碗表面，来自多个相机的拼接图像可以映射到该碗表面上；
[0019]图3显示了未矫正的立体相机设置；
[0020]图4示出了矫正后的立体相机设置中的视差；
[0021]图5a和5b示出了用于移动相机的球形极线矫正表面，图5a示出了当相机沿着运动轴观察时的情况，图5b示出了当相机垂直于运动轴观察时的情况；
[0022]图6a和6b示出了用于移动相机的直立圆柱形极线矫正表面，图6a示出了当相机沿着运动轴观察时的情况，图6b示出了当相机垂直于运动轴观察时的情况；
[0023]图7示出了当相机沿着运动轴观察并且圆柱体与运动轴同心时移动相机的圆柱形矫正表面；
[0024]图8a和8b分别示出了基线对准的球形和圆柱形矫正表面；
[0025]图9示出了用于极线矫正的球面坐标系；
[0026]图10示出了圆锥形矫正表面；
[0027]图11示出了包括多个平面的矫正表面；
[0028]图12a和12b分别示出了根据本专利技术实施例的相应多部分矫正表面；
[0029]图13a和13b示出了使用平面矫正表面计算深度的几何关系；以及
[0030]图14示出了使用球形矫正表面计算深度的几何关系。
具体实施方式
[0031]对于许多涉及驾驶车辆的任务，获取关于本地环境的信息对于安全地完成任务是重要的。例如，当停车时，向驾驶员显示车辆周围环境的实时图像是有利的。
[0032]车辆的驾驶员不需要是人类，因为车辆可以是自动驾驶的，即自主车辆。在这种情
况下，获取的信息的准确性对于识别物体和避免获取的信息误导车辆驾驶系统特别重要。驾驶员也可以是人类和一个或多个辅助驾驶的自动化系统的组合。
[0033]本专利技术中使用的相机的灵敏度不必限于任何特定的波长范围，但最常见的是，它将与对可见光本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于形成对应于成像环境的地形的点云的方法，包括：用安装在车辆上的具有宽视场镜头的相机(C1)获取环境的第一图像；通过大于阈值的调整来改变相机姿态；用处于改变姿态(C2)的相机获取环境的第二图像；将第一图像映射到第一表面上以形成第一映射图像；将第二图像映射到第二表面上以形成第二映射图像，所述第一表面和第二表面由相同的非平面几何形状(120、122、124)定义；将第一映射图像或第二映射图像之一划分成像素块；对于每个像素块，通过对第一映射图像或第二映射图像中的另一个执行搜索以评估每个映射图像中像素块的位置的位置差异来形成深度图；当车辆在环境中移动时，将深度图转换成对应于车辆周围环境的局部地形的点云的一部分；以及根据相机姿态的调整缩放点云。2.根据权利要求1所述的方法，其中，执行搜索包括沿着经矫正的极线(b)对图像数据执行一维搜索。3.根据权利要求1或2所述的方法，其中，所述方法还包括利用车辆里程计传感器提供的里程计信息评估相机姿态的变化。4.根据任一前述权利要求所述的方法，其中，所述宽视场镜头是鱼眼镜头。5.根据任一前述权利要求所述的方法，其中，所述非平面几何形状限定锥形表面。6.根据权利要求1至4中任一项所述的方法，其中，所述非平面几何形状限定球形表面。7.根据权利要求1至4中任一项所述的方法，其中，所述非平面几何形状限定圆柱形表面。8.根据任一前述权利要求所述的方法，其中，所述非平面几何形状关于所述相机的光轴对称。...

【专利技术属性】
技术研发人员：C休斯，P埃尔米利奥斯，M伦科，S钱德拉，
申请(专利权)人：康诺特电子有限公司，
类型：发明
国别省市：