确定车辆视觉系统外部参数的方法以及车辆视觉系统技术方案

为了确定车辆视觉系统（2至4）的外部参数，在由车辆视觉系统（2至4）的摄像机（2、3）捕捉的至少一幅影像中识别多条道路车道标线（21至23）。针对所述多条道路车道标线（21至23）中的各道路车道标线，分别确定第一参数集，其定义道路车道标线（21至23）在影像平面中延伸所沿着的线的朝向和位置。确定第二参数集，其定义对应道路车道标线（21至23）在道路平面中延伸所沿着的线的朝向和位置。确定线性变换，对于所述多条道路车道标线（21至23；31至33）中的所有道路车道标线，所述线性变换定义第一参数集与第二参数集之间的映射。根据确定的线性变换来建立外部参数，建立的外部参数定义摄像机（2、3）的至少一个朝向。

【技术实现步骤摘要】
确定车辆视觉系统外部参数的方法以及车辆视觉系统
本专利技术实施方案涉及确定车辆视觉系统外部参数的方法以及车辆视觉系统。本专利技术实施方案尤其涉及允许使用影像处理来确定外部参数的方法以及车辆视觉系统。
技术介绍
在车辆系统中整合一个或者多个影像传感器已经变得越来越普遍。所述影像传感器可被用作驾驶员辅助系统的组件，其中，所述影像传感器捕捉车辆环境影像。捕捉的影像可被处理以执行目标识别，以及/或者可能在处理之后，可显示给使用者。自动报警和辅助功能可被执行以警告驾驶员潜在危险情况，或者通过启动刹车等来主动控制车辆操作。影像传感器还可被用作后视或者侧视摄像机，所述后视或者侧视摄像机帮助驾驶员停车或者其它关键操作。在车辆应用中利用影像传感器正变得越来越普及，校准车辆视觉系统所需的复杂性和时间成为重要问题。校准车辆视觉系统需要知道外部参数和内部参数。虽然内部参数随着时间推移可经常保持不变，但是这可能并不总是适用于外部参数。摄像机在车辆上的位置以及摄像机的三维朝向对于所述外部参数而言是示例性的。摄像机朝向可随着时间推移改变，例如，这是归因于在车辆继续运行期间的震动，这可能引起摄像机朝向改变。摄像机朝向改变可需要重新校准视觉系统，以避免潜在的危险运行情况。一种确定外部参数的方法在于：在相对于车辆的预定位置处定位一个或者多个专用路标；确定路标在摄像机影像平面中的位置；以及确定线性映射参数，所述线性映射将车辆坐标系中目标坐标映射到影像平面中目标坐标上。所述方法是基于点在世界坐标系中的三维坐标与影像平面中二维坐标之间的映射。这样一种方法可能需要相对于车辆高精度定位路标，这可能需要在专业车间执行重新校准。这对可频繁确定外部参数强加约束。
技术实现思路
所属领域还需要确定车辆视觉系统外部参数的方法以及车辆视觉系统，其中，校准不需要针对校准程序使用专用路标。所属领域还需要允许在车辆驾驶操作期间确定外部参数的这样一种方法和这样一种车辆视觉系统。根据一个方面，提供确定车辆视觉系统外部参数的方法。车辆视觉系统包括安装在车辆中的摄像机。处理由摄像机捕捉的道路的至少一幅影像以识别所述至少一幅影像中的多条道路车道标线，所述多条道路车道标线相互平行地在道路平面中延伸。针对所述多条道路车道标线中各道路车道标线，确定第一参数集和第二参数集。第一参数集定义道路车道标线在至少一幅影像的影像平面中延伸所沿着的线的朝向和位置。第二参数集定义道路车道标线在道路平面中延伸所沿着的线的朝向和位置。基于关于道路车道标线在道路平面中的间距的信息来确定第二参数集。确定线性变换，针对所述多条道路车道标线中各道路车道标线，所述线性变换定义第一参数集与第二参数集之间的映射。基于确定的线性变换来建立外部参数，其中，建立的外部参数定义摄像机的至少一个朝向。在所述方法中，在分别定义影像平面和道路平面中的线的第一参数集和第二参数集之间确定线性映射。通过基于定义道路平面中的线的第二参数集与定义影像平面中的线的第一参数集之间的映射来确定外部参数，校准程序的稳健性得以实现。道路车道标线用作定义所述线以确定线性变换的标线。道路车道标线在车辆驾驶操作期间可用作标线，而无需在相对于车辆的预定位置处定位专用标线。可基于确定的线性变换来建立外部参数，使得建立的外部参数定义摄像机在车辆坐标系中的至少一个朝向，即，在安装车辆视觉系统的车辆的坐标系中。第一参数集分别包括可组织为n元组（n>1）的多个参数。第二参数集分别包括也可组织为n元组的多个参数。在分别定义影像平面和道路平面中的线的第一参数集和第二参数集之间确定线性映射的情况下，外部参数确定对车辆沿车辆行进所沿着的道路的纵向方向的位置不敏感。不需要标线在相对于道路纵向方向上的起始点和结束点的特定位置处定位车辆，这是因为用在校准中的是线，而不是单独点。针对道路车道标线，关于道路车道标线在道路横向方向上的位置的信息可使用地图数据库来确定，所述地图数据库通常在车辆中可用作例如车辆导航系统的一部分。所述地图数据库可包括关于车道宽度的明确信息。所述地图数据库还可包括关于可与道路车道宽度相关联的功能道路等级的信息。所述信息可被用于确定车辆视觉系统外部参数，而无需进行专门测量以在校准时确定道路车道标线的位置。第一参数集可包括影像平面坐标中双线性方程的系数，所述双线性方程定义对应道路车道标线在影像平面中延伸所沿着的线。第二参数集可包括道路平面坐标中双线性方程的系数，所述双线性方程定义对应道路车道标线在道路平面中延伸所沿着的线。可通过确定单应矩阵的矩阵元素来确定线性变换。描述定义对应道路车道标线在影像平面中延伸所沿着的线的双线性方程系数与定义对应道路车道标线在道路平面中延伸所沿着的线的另一个双线性方程系数之间线性映射的矩阵的矩阵元素为单应矩阵的矩阵元素，所述单应矩阵定义车辆和影像平面世界坐标系中的点之间的映射。单应矩阵的矩阵元素可被确定成使得针对每个i=1、…、M，近似其中，i表示道路车道标线整数标识符，M表示所述多个道路车道标线总计数，H表示具有三行和三列的单应矩阵，上标T表示矩阵转置，向量表示针对第i条道路车道标线确定的所述第一参数集的3元组，以及向量表示针对第i条道路车道标线确定的所述第二参数集的3元组。这使得单应矩阵被确定。各种标准和技术可用于确保根据单应矩阵H所依据的未知外部参数数目以及道路车道标线计数M，针对各i=1、…、M，近似为了说明，如果H所依据的未知外部参数数目等于2·M，那么可执行如果H所依据的未知外部参数数目小于2·M，则得到过度确定的方程集。诸如最小二乘近似的多种传统技术可用于确定在该情况下H的矩阵元素。确定第一参数集可分别包括：确定参数值a’i、b’i和c’i，使得道路车道标线在影像平面中延伸所沿着的线由以下定义：a'i·x'+b'i·y'+c'i＝0，（2）其中，i表示整数道路车道标线标识符，而x’和y’表示影像平面中的坐标。双线性方程（2）定义影像平面中的线。确定第二参数集可分别包括：确定参数值ai、bi和ci，使得道路车道标线在道路平面中延伸所沿着的线由以下定义：ai·x+bi·y+ci＝0，（3）其中，x和y表示道路平面中的坐标。双线性方程（3）定义影像平面中的线。单应矩阵的矩阵元素可基于以下值来确定：针对所有i=1、…、M，其中，N[·]表示向量范数，而M表示用在校准中多条道路车道标线总计数。向量范数N[·]可为任何范数，诸如L2或者另一个Lp范数。基于方程（4）针对各种道路车道标线的表达式，单应矩阵的矩阵元素可以数值稳健方式确定。单应矩阵的矩阵元素可被确定成使得方程（4）表达式的i总和最小化。或者，单应矩阵的矩阵元素可被确定成使得方程（5）总和为小于阈值。为了增加稳健性，用在本方法中的道路车道标线计数M可选择成大于单应矩阵中未知外部参数数目除以二。虽然具有三行和三列的单应矩阵H具有九个矩阵元素，但是未知外部参数数目小于或者等于六。如果只有摄像机朝向未知，那么足以确定定义摄像机轴相对于车辆的朝向的三个坐标。单应矩阵的矩阵元素可被确定成使得最小化。使方程（6）总和最小化的单应矩阵H可以数值高效方式找到。为了增加稳健性，计数M可选择成大于单应矩阵中未知外部参数数目除以二。单应矩阵的矩阵元素可被确定成使得，针对各i=1、…、M，本文档来自技高网...

【技术保护点】
一种确定车辆视觉系统（2至4）的外部参数的方法，所述车辆视觉系统（2至4）包括安装在车辆（1）中的摄像机（2、3），所述方法包括以下步骤：处理由所述摄像机（2、3）捕捉的道路（20）的至少一幅影像（30、40、41）以识别所述至少一幅影像（30、40、41）中的多条道路车道标线（21至23；31至33），所述多条道路车道标线（21至23；31至33）在道路平面中相互平行地延伸；针对所述多条道路车道标线（21至23；31至33）中各道路车道标线（21至23；31至33），确定第一参数集，其定义道路车道标线（21至23；31至33）在影像平面中延伸所沿着的线（34至36；44至46；47、48）的朝向和位置；以及第二参数集，其定义道路车道标线（21至23；31至33）在所述道路平面中延伸所沿着的线（21’至23’）的朝向和位置，基于关于所述道路车道标线（21至23；31至33）在所述道路平面中的间距（58、59）的信息来确定所述第二参数集；确定线性变换，对于所述多条道路车道标线（21至23；31至33）中各道路车道标线，所述线性变换定义所述第一参数集与所述第二参数集之间的映射；以及基于所述已确定的线性变换来建立所述外部参数，所述建立的外部参数定义所述摄像机（2、3）的至少一个朝向。...

【技术特征摘要】
2011.06.30 EP 11172195.71.一种确定车辆视觉系统(2至4)的外部参数的方法，所述车辆视觉系统(2至4)包括安装在车辆(1)中的摄像机(2、3)，所述方法包括以下步骤：处理由所述摄像机(2、3)捕捉的道路(20)的至少一幅影像(30、40、41)以识别所述至少一幅影像(30、40、41)中的多条道路车道标线(21至23；31至33)，所述多条道路车道标线(21至23；31至33)在道路平面中相互平行地延伸；针对所述多条道路车道标线(21至23；31至33)中各道路车道标线(21至23；31至33)，确定第一参数集，其定义道路车道标线(21至23；31至33)在影像平面中延伸所沿着的线(34至36；44至46；47、48)的朝向和位置；以及第二参数集，其定义道路车道标线(21至23；31至33)在所述道路平面中延伸所沿着的线(21’至23’)的朝向和位置，基于关于所述道路车道标线(21至23；31至33)在所述道路平面中的间距(58、59)的信息来确定所述第二参数集；确定线性变换，对于所述多条道路车道标线(21至23；31至33)中各道路车道标线，所述线性变换定义所述第一参数集与所述第二参数集之间的映射；以及基于所述已确定的线性变换来建立所述外部参数，所述建立的外部参数定义所述摄像机(2、3)的至少一个朝向；其中，确定所述线性变换包括：确定单应矩阵的矩阵元素。2.根据权利要求1所述的方法，其中，所述单应矩阵的所述矩阵元素被确定成使得针对每个i＝1，…，M近似其中，i表示道路车道标线标识符，M表示所述多条道路车道标线(21至23；31至33)的计数，H表示具有三行和三列的所述单应矩阵，表示针对第i条道路车道标线确定的所述第一参数集的3元组，以及表示针对第i条道路车道标线确定的所述第二参数集的3元组。3.根据权利要求1所述的方法，其中，确定所述第一参数集分别包括：确定参数值a’i、b’i和c’i，使得道路车道标线(21至23；31至33)在所述影像平面中延伸所沿着的线(34至36；44至46；47、48)按如下定义：a′i·x′+b′i·y′+c′i＝0，其中，i表示道路车道标线标识符，而x’和y’表示所述影像平面中的坐标。4.根据权利要求3所述的方法，其中，确定所述第二参数集分别包括：确定参数值ai、bi和ci，使得道路车道标线(21至23；31至33)在所述道路平面中延伸所沿着的线(21’至23’)按如下定义：ai·x+bi·y+ci＝0，其中，x和y表示所述道路平面中的坐标。5.根据权利要求4所述的方法，其中，针对i＝1，…，M，所述单应矩阵的所述矩阵元素基于以下来确定：其中，N[·]表示向量范数。6.根据权利要求4所述的方法，其中，所述单应矩阵的所述矩阵元素被确定成使得最小化。7.根据权利要求4至6中任一项所述的方法，其中，针对所述多条道路车道标线(21至23；31至33)中的每一个，所述参数值ai或者bi中的一个被设定为等于零，而ci与所述参数值ai或者bi中的另一...

【专利技术属性】
技术研发人员：K纳特罗施维利，S瓦塞克，
申请(专利权)人：哈曼贝克自动系统股份有限公司，
类型：发明
国别省市：