通过全景环视图像估计车辆自身运动的方法和设备技术

确定车辆自身运动的方法和设备。从前视摄像头、左视摄像头、右视摄像头和后前视摄像头获取各个序列的连续图像，并且整合所获取的各个序列的连续图像。利用仿射投影提供图像在地平面上的虚拟投影。通过投影图像序列确定光流，通过光流确定车辆的自身运动，再采用自身运动预测车辆的运动学状态。

【技术实现步骤摘要】
【国外来华专利技术】通过全景环视图像估计车辆自身运动的方法和设备
本说明书涉及驾驶员辅助系统。
技术介绍
先进驾驶员辅助系统(ADAS)旨在使车辆系统自动化、强化，从而实现更好的安全驾驶。许多驾驶员辅助系统利用有关车辆位置、方向和运动状态的信息来以各种方式辅助驾驶员。该信息甚至可用于车辆自动驾驶。其中，视觉测距可用于确定车辆的位置。在视觉测距系统中，摄像头记录输入图像，并进行图像校正。随后，检测图中特征，在图像帧之间匹配特征，并且例如通过使用相关性建立两个图像的对应关系、通过提取与关联特征来建立光流场，或者利用卢卡斯-卡纳德(Lucas-Kanade)方法建立光流场。然后检测测程误差，去除相应的界外值，根据光流，利用例如卡尔曼滤波器或通过使基于该特征的几何性质的代价函数最小化来估计摄像头运动。US2014/0247352公开了一种多摄像头俯视视觉系统，用于生成拼接的虚拟俯视图像。以下参考文献[1]至[12]与本说明书的主题相关，因此通过引用并入本文。[1]RezaN.Jazar，《车辆动力学：理论与应用》，斯普林格，2008年3月19日。[2]ThomasD.Gillespie，《车辆动力学的基本原理》，美国机动车工程师协会，1992年。[3]AlonzoKelly，《自主车辆的基本动力学》，卡内基梅隆大学机器人学院，1994年。[4]GideonP.Stein，OferMano，AmnonShashua，《计算车辆自身运动的稳健方法》，美国电气和电子工程师协会智能车辆研讨会，2000年。[5]P.Barreto，FrédérickMartin，RaduHoraud，《运用中心反射折射图像进行视觉伺服/跟踪》，国际实验用机器人学研讨会，先进机器人系列，2002年。[6]AlejandroJ.Weinstein和KevinL.Moore，《阿克曼转向车辆户外自主导航的姿态估计》，2010年美国电气和电子工程师协会国际工业自动化大会记录，智利瓦尔帕莱索，2010年3月。[7]OliverPink，FrankMoosmann，AlexanderBachmann，《车辆定位和自身运动估计的视觉特征》，美国电气和电子工程师协会智能车辆研讨会的会议记录，2009年。[8]D.Cheda，D.Ponsa，A.M.Lopez，《先进驾驶员辅助系统环境下的摄像头自身运动估计》，智能运输系统年会，2010年。[9]GimHeeLee，FriedrichFraundorfer，MarcPollefeys，《装配普通摄像头的自动驾驶车辆的运动估计》，计算机视觉与模式识别会议，2013年。[10]MarcoZucchelli，JoséSantos-Victor，HenrikI.Christensen，《光流法的约束结构和运动估计》，国际模式识别大会，2002年。[11]DanSimon，《最佳状态估计：卡尔曼、HInfinity法和非线性方法》，约翰·威利父子出版公司，2006年。[12]P.WaynePower，Johann.ASchoones，《用于前景分割的背景混合模型的解说》，新西兰图像与视觉计算国际会议的会议记录，2002年。参考文献[1]、[2]、[3]说明了可用于自身运动环境的车辆动力学模型。参考文献[4]中，Stein等人提出了单个摄像头应用，其中车辆的自身运动与道路模型一致。将两个图像中的图像特征组合在全局概率函数中，该函数引入了全局约束以应对光圈问题。参考文献[5]中，Barreto等人描述了使用中心反射折射系统对机器人运动进行视觉控制，并呈现了将机器人的关节速度与图像观察相关联的雅可比矩阵。所给出的解被当作最小二乘法问题，实际上被定义为可用于扩展卡尔曼滤波器的状态矢量。参考文献[6]中，Alejandro等人研究了阿克曼转向车辆的定位方案，该方案通过低成本全球定位系统(GPS)和倾斜仪进行户外自主导航。他们使用扩展卡尔曼滤波器估计车辆的姿态和传感器偏差。参考文献[7]中，Pink等人提出了一种使用视觉特征进行车辆姿态估计和运动跟踪的方法。他们假定初始车辆姿态，然后随着时间在地理坐标中跟踪姿势，使用图像数据作为唯一输入。他们在阿克曼模型的基础上跟踪车辆位置。参考文献[8]中，Cheda等人研究了在先进驾驶员辅助系统的环境下单目相机的自身运动估计，并且比较了非线性和线性算法的性能。参考文献[9]中，Lee等人提出了一种自动驾驶车辆的视觉自身运动估计算法。他们将一套多摄像头系统模拟为一个普通摄像头并应用车辆的非完整运动约束。参考文献[10]中，Marco等人提供了用于光流的结构和运动估计的约束最小化问题的公式。他还介绍了使用Levenberg-Marquardt算法和直接投影解决优化问题的方案。参考文献[11]中，DanSimon在第301页第10.2节中提出了多模型估计方法，其中重新拟定了卡尔曼滤波器的更新阶段，以便对不同的模型加以权衡。参考文献[12]中，Power和Schoones描述了高斯混合模型(GMM)算法和期望最大化法的近似算法。
技术实现思路
根据本说明书，车辆的自身运动被定义为摄像头相对于环境中固定坐标系(即世界坐标系)的三维运动。此外，自身运动还指三维世界坐标系中的给定平面中的二维运动，这种自身运动称为“二维自身运动”。根据本说明书，自身运动是通过光流计算的。光流是由摄像头和场景之间的相对运动引起的图像的表观运动，其中“场景”指的是车辆周围的物体。根据本说明书的一个方法，采用转向几何原理的阿克曼模型来描述车辆运动，并采用递增的姿态更新作为框架来整合多个车辆姿态数据源。光流是利用在一个图像序列的图像帧中探测到的特征计算的，之后在连续帧中进行匹配。光流信息是用于生成在两个图像帧或连续图像中探测到的特征的光流场。连续图像是三维场景在二维平面中的投影，也被称为“视点平面”。光流的估算可使用道路模型加以简化。道路形成一个简单的平面结构，并可仅用三个主要参数表示：前移、俯仰和横摆。不过，根据本说明书，在不使用道路模型的情况下，也可对自身运动进行足够精确的估算。根据第二种办法，使用Horn-Schunck方法估算光流。采用全局约束解决光圈问题，并将道路模型与流场相拟合，以去掉界外值。根据本说明书，全景环视系统采用四个摄像头，用于生成一幅全景环视图，四个摄像头的图像合并为一幅投影到地平面(代表街道标高)的投影图，也称为“顶视图”。二维自身运动根据顶视图的仿射投影计算得出。用随机采样一致性算法(RANSAC)等适当程序筛选出光流场的界外值，如测量误差或移动物体的矢量等。全景环视图仿射投影到地平面上的投影视图通过预先校准予以解读，预先校准可提供深度和尺度信息。或者(或此外)，根据运动算法重建一个结构，该结构可将观察到的场景进行明确重建，从而提供对物体距离的一个预估。根据一个实施案例，对运动进行筛选，以获得一段时间内的一致位置。跟踪过程使用一致的运动模型来预估车辆的实际位置。根据本说明书，使用阿克曼转向模型作为运动模型来表述符合阿克曼转向几何原理的车辆。根据另一个实施案例，将阿克曼模型与多个测程测量值(如GPS测量值、车载传感器测量值等)相结合。首先，本说明书公开了确定机动车(如乘用车、多用途运载车或面包车)的自身运动的方本文档来自技高网...

【技术保护点】
用于确定车辆的自身运动的方法，该方法包括：‑记录前视摄像头的第一序列的连续图像、记录左视摄像头的第二序列的连续图像、记录右视摄像头的第三序列的连续图像、记录后视摄像头的第四序列的连续图像，‑整合第一序列的连续图像、第二序列的连续图像、第三序列的连续图像以及第四序列的连续图像，以获取合并图像的序列，‑利用仿射投影生成合并图像的序列在地平面上的虚拟投影，从而获取投影图像的序列，‑基于投影图像序列确定光流，光流包括在车辆周围的目标物体的运动矢量，‑基于光流确定车辆的自身运动，‑基于自身运动预测车辆的运动学状态。

【技术特征摘要】
【国外来华专利技术】2015.02.16 EP 15155191.81.用于确定车辆的自身运动的方法，该方法包括：-记录前视摄像头的第一序列的连续图像、记录左视摄像头的第二序列的连续图像、记录右视摄像头的第三序列的连续图像、记录后视摄像头的第四序列的连续图像，-整合第一序列的连续图像、第二序列的连续图像、第三序列的连续图像以及第四序列的连续图像，以获取合并图像的序列，-利用仿射投影生成合并图像的序列在地平面上的虚拟投影，从而获取投影图像的序列，-基于投影图像序列确定光流，光流包括在车辆周围的目标物体的运动矢量，-基于光流确定车辆的自身运动，-基于自身运动预测车辆的运动学状态。2.根据权利要求1所述的方法，其中，自身运动的确定包括：-从光流推导出围绕瞬时曲率中心的车辆角速度，-采用推导出的角速度推断车辆的速度。3.根据权利要求1或2所述的方法，其中，自身运动的确定包括：根据目标物体的先前位置、相对于目标物体的先前速度和围绕瞬时曲率中心的旋转的角速度，来推导目标物体的当前位置矢量和相对于目标物体的当前速度。4.根据权利要求1至3中任一项所述的方法，其中，自身运动的确定包括：利用阿克曼转向模型根据轮速和转向角来推导围绕瞬时曲率中心的车辆角速度，在递增的姿态更新中合并已确定的自身运动和车辆角速度。5.根据权利要求1至4中任一项所述的方法，其中，自身运动的确定包括：由光流推导出运动矢量，对运动矢量运用随机采样一致性算法程序。6.根据权利要求1至5中任一项所述的方法，其中，自身运动的确定包括：由光流推导出运动矢量，由光流的运动矢量推导出自身运动矢量，对自身运动矢量运用预测...

【专利技术属性】
技术研发人员：R·格雷罗，A·帕纳克斯，C·席尔瓦，D·亚达夫，
申请(专利权)人：应用解决方案电子及视频有限公司，
类型：发明
国别省市：英国,GB