借助伪随机图案序列的投射以及立体摄像模块的三维环境感测制造技术

技术编号:25054011 阅读:28 留言:0更新日期:2020-07-29 05:41
本发明专利技术涉及一种车辆(1)用的摄像装置,该摄像装置用于确保三维立体周围环境感测,以及一种借助所述摄像装置进行三维立体周围环境感测的方法。所述装置和方法尤其可用在驾驶员辅助系统范围。用于车辆(1)的摄像装置包括至少两个摄像模块(21、22),所述至少两个摄像模块具有至少部分重叠的感测区域;摄像装置控制单元;分析评估单元和点光源投射装置(3)。点光源投射装置(3)的设置和配置方式是,使点光源投射装置(3)将具有测量点(6、16、26)的光图案投射到车辆周围环境(10、11)。至少两个摄像模块(21、22)的设置和配置方法是,使所投射的光图案的至少一部分在重叠的感测区域中成像。分析评估单元配置成用于,根据用至少两个摄像模块(21、22)拍摄的图像数据确定测量点(6、16、26)在车辆周围环境(10、11)中的三维位置。点光源投射装置(3)配置成用于,生成一个“伪噪声图案”序列作为光图案,“伪噪声图案”在时间上先后地(t0、t1、......、tn)被投射到车辆周围环境(10、11)中。

【技术实现步骤摘要】
【国外来华专利技术】借助伪随机图案序列的投射以及立体摄像模块的三维环境感测
本专利技术涉及一种确保三维环境感测的车辆用摄像装置,以及一种借助所述摄像装置进行三维环境感测的方法。所述装置和方法尤其可用在驾驶员辅助系统领域。
技术介绍
为识别车辆周围环境中的目标,将立体摄像装置用于三维环境感测。为计算距离信息,使摄像图像之间的图像信息相关联。在车辆周围环境中用于由立体图像之间的相关性确定距离信息的常用方法是半全局匹配(SGM)。在此,可能会出现以下问题:在有利的照明条件下(例如白天),视频图像中大部分情况下存在足够的纹理信息来确定密集的(图像充填)深度信息。因此,对立体图像处理而言,大部分情况下仅凭日光便足以进行相关分析。然而,在不良的照明条件下(例如夜间),尽管车辆有照明,但所使用的立体相关法(SGM)会迅速达到其极限。由于所用成像器的有限的暗灵敏度,视频传感装置的图像中的结构在夜晚无法足够好地被相互关联。长曝光时间在夜间会造成一额外的负面影响,因为相关分析所要求的结构由于视频数据中的运动模糊而不再能被识别。从DE19730414A1中已知一种用于提前判断机动车辆轮子在其上滚动的车道的状态的方法,其中,由激光光源发射的激光图案通过三角剖分方法分析评估。DE202015105376U1中描述了一种三维立体摄像装置,该装置从一监视区域拍摄三维立体图像并且具有一照明单元,所述照明单元用于在监视区域生成结构化照明图案。在三维立体摄像装置中,两个摄像模块以一已知的相距彼此的固定距离安装,分别拍摄监视区域的图像。一分析评估单元设置成用于,通过图像数据计算三维立体图像,并首先生成没有结构化照明图案的监控区域的预扫描,并以所述预扫描和监视区域中所需的结构化照明图案计算一要投射的结构化照明图案。照明单元设置成用于实时投射像素分辨的量化的结构化照明图案,并具有可切换的发光二极管(LED)阵列或激光二极管阵列。DE102015008551A1涉及一种用于校准机动车辆摄像单元的方法。一可预定义的图案借助机动车的前照灯投射到机动车的周围环境中。被投射到机动车辆周围环境中的可预定图案借助摄像单元被光学地感测。在考虑到光学感测图案的情况下,摄像单元被自动校准。
技术实现思路
下文中,提出了一种确保三维立体周围环境的改进型检测的解决方案。根据本专利技术所述的用于车辆的摄像装置包括至少两个摄像模块,这两个摄像模块具有至少部分重叠的感测区域;摄像装置控制单元;分析评估单元和点光源投射装置。点光源投射装置的设置和配置方式是,使点光源投射装置将具有测量点的光图案投射到车辆周围环境。至少两个摄像模块的设置和配置方法是,使所投射的光图案的至少一部分在重叠的感测区域中成像。分析评估单元配置成用于,根据由至少两个摄像模块拍摄的图像数据确定车辆周围环境中的测量点的三维位置。点光源投射装置配置成用于,生成一个“伪噪声图案”序列作为光图案,其中,“伪噪声图案”按时间顺序/在时间上先后地(t0、t1、......、tn)被投射到车辆周围环境中。摄像装置控制单元优选配置成用于,借助至少两个摄像模块建立投射序列与图像序列拍摄之间的时间关系。为此,摄像装置控制单元可将数据发送到点光源投射装置和/或从点光源投射装置接收数据。作为选项,摄像装置控制单元可预先规定至少两个摄像模块的同步拍摄起始时间。术语“点光源投射装置”和“测量点”不应理解为仅提供圆形光点作为光图案的基础/组成部分。相反,它意味着投射装置能以至少不同的强度照亮平面区域。光图案例如可由“孔”(在其他均匀照明中的负标记/测量点)组成。也可使用相交线、角或棋盘格图案的光图案。所述摄像装置控制单元或分析评估单元尤其可包括微控制器或微处理器,数字信号处理器(DSP),专用集成电路(ASIC),现场可编程门阵列(FPGA)等许多类似器件,以及用于执行相应控制或分析评估步骤的软件等。因此,本专利技术可在数字电子电路、计算机硬件、固件或软件中实现。本专利技术的主题还涉及一种用于借助具有至少部分重叠感测区域的至少两个摄像模块以及点光源投射装置对车辆周围环境进行空间感测的方法。点光源投射装置将具有测量点的光图案投射到车辆周围环境中。所投射光图案的至少一部分在至少两个摄像模块的重叠感测区域中成像。根据用至少两个摄像模块所拍摄的图像数据确定车辆周围环境中测量点的三维位置。生成一个“伪噪声图案”序列作为光图案,它们在时间上先后地(t0、t1、......、tn)被发射到车辆周围环境中。所述方法尤其能以软件的形式在摄像装置的一个控制单元或多个控制单元或分析评估单元上实现。其他有益的方面是从属权利要求的主题。明确摘录的说明内容构成了权利要求的内容。下面给出其他有益的方面。由伪噪声序列构成的光图案-点光源图案在任何时间点都是不规则的。-所投射的光图案由一“伪噪声图案”序列构成,它们在时间上先后地(t0、t1、......、tn)被发射到车辆周围环境中。-由于在时间上相继的“伪噪声图案”,在n个时间步长内,每个周围环境位置被光图案的测量点占位至少一次。-摄像系统可籍此确定在每个空间方向均匀分布的三维测量值。-在由立体摄像装置或视频传感装置拍摄的图像之间,各点光源图案会发生变换。变换的点光源投射的持续时间-点光源图案发射期间的持续时间与视频传感装置曝光时间适配成使得,点光源图案在视频传感装置的曝光阶段内是可见的。调整光点的距离和大小,使其适配视频传感装置的相关性掩模大小-对“伪噪声图案”内测量点之间的空间距离进行调整,使其适配立体摄像传感器的三角剖分算法的相关性掩模大小。-照射的光点之间的角度相当于视频图像中补丁相关器大小的大约两倍。-测量点不大于补丁相关器大小的1/3。摄像装置和点光源投射装置的校准/耦合-在所介绍方法的情况下,不需要在摄像系统和点光源之间进行校准。-通过立体摄像装置或多摄像装置已完全实现三维测量功能。-在本方法中,投射装置和摄像装置之间无须像“经典”结构化光源那样进行三角剖分。-因此,不需要在摄像装置和投射装置之间进行机械耦合或校准。三维位置和相对速度的直接测量-由于投射装置和摄像装置之间的“准静态”安装,即使在摄像装置运动的情况下,也可对光点进行捕捉而不产生运动模糊。-但是,如果在曝光时间内到一测量点的距离改变了,则在视频图像中立体图像内各相应光点处会发生一线性失真。-因此,在线性失真的光点中,直接根据线性元素的长度确定测量点的相对速度。-因此,相对于经典立体系统和激光系统,它能实现“直接”的速度测量,不然这种速度测量只能通过依次测量和跟踪来测定。独立于行驶方向的组装-可在车辆任意方向进行光图案构建和测量点检测。-这独立于相关行驶方向。该系统可安装在车辆尾部或侧面。-点光源投射装置可安装在挡风玻璃后或前照灯区。日/夜模式=>改善眼睛安全性...

【技术保护点】
1.用于车辆(1)的摄像装置,所述摄像装置包括至少两个摄像模块(21、22)、摄像装置控制单元、分析评估单元和点光源投射装置(3),所述至少两个摄像模块具有至少部分重叠的感测区域,/n-所述点光源投射装置(3)设置和配置成,所述点光源投射装置(3)将具有测量点(6、16、26)的光图案投射到车辆周围环境(10、11)中,/n-所述至少两个摄像模块(21、22)设置和配置成使得,所投射的光图案的至少一部分在重叠的感测区域中成像,/n-所述分析评估单元配置成用于,根据由所述至少两个摄像模块(21、22)拍摄的图像数据,确定测量点(6、16、26)在车辆周围环境(10、11)中的三维位置,以及/n-所述点光源投射装置(3)配置成用于生成一个“伪噪声图案”序列作为所述光图案,所述“伪噪声图案”在时间上先后地(t0、t1、......、tn)被投射到所述车辆周围环境(10、11)中。/n

【技术特征摘要】
【国外来华专利技术】20171214 DE 102017222708.71.用于车辆(1)的摄像装置,所述摄像装置包括至少两个摄像模块(21、22)、摄像装置控制单元、分析评估单元和点光源投射装置(3),所述至少两个摄像模块具有至少部分重叠的感测区域,
-所述点光源投射装置(3)设置和配置成,所述点光源投射装置(3)将具有测量点(6、16、26)的光图案投射到车辆周围环境(10、11)中,
-所述至少两个摄像模块(21、22)设置和配置成使得,所投射的光图案的至少一部分在重叠的感测区域中成像,
-所述分析评估单元配置成用于,根据由所述至少两个摄像模块(21、22)拍摄的图像数据,确定测量点(6、16、26)在车辆周围环境(10、11)中的三维位置,以及
-所述点光源投射装置(3)配置成用于生成一个“伪噪声图案”序列作为所述光图案,所述“伪噪声图案”在时间上先后地(t0、t1、......、tn)被投射到所述车辆周围环境(10、11)中。


2.根据权利要求1所述的摄像装置,所述点光源投射装置(3)配置成使得,由于在时间上相继的“伪噪声图案”,在n个时间步长中,处于所述至少两个摄像模块(21、22)的重叠感测区域中的每个周围环境位置被所述光图案的测量点(6、16、26)占据至少一次。


3.根据权利要求1或2所述的摄像装置,所述点光源投射装置(3)配置成使得,所述光图案的相邻的能被照亮的测量点(6、7、16、26)之间的距离与一相关性掩模(40、41)的大小适配,其中,所述相关性掩模(40、41)被分析评估单元利用以由所拍摄的图像数据来确定三维位置。


4.根据上述权利要求中任一权利要求所述的摄像装置,所述车辆(1)的前照灯用作所述点光源投射装置(3),该车辆的前照灯的照明元件以阵列形式设置并且能...

【专利技术属性】
技术研发人员:S·海因里希J·马森D·克勒克尔T·费希纳
申请(专利权)人:康蒂特米克微电子有限公司
类型:发明
国别省市:德国;DE

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1