全景摄像机系统(VPM)与车辆动态技术方案

本公开描述了全景摄像机系统(VPM)与车辆动态，特别是一种基于车辆动态中的变化校正移动平台上诸如车辆上的全景摄像机系统中的多个摄像机的校准的系统和方法。该方法包括读取来车辆上的一个或多个传感器的识别车辆动态中的变化的测量值，并限定多个摄像机和车辆车身作为单个参照坐标系。该方法还包括识别测量值作为坐标系中的旋转矩阵和转换矢量，并将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系，以提供摄像机的校准的校正。

【技术实现步骤摘要】
【专利说明】全景摄像机系统(VPM)与车辆动态与相关申请交叉引用本申请主张2014年5月16日提交的名称为“全景摄像机系统(VPM)与车辆动态”的美国临时专利申请序号N0.61/994，686的优先权日的权益。
本专利技术主要涉及一种用于校正移动平台上多个摄像机的校准的系统和方法，并且特别地，涉及用于校正车辆上的全景摄像机系统中多个摄像机的校准的系统和方法，其包括为车辆上的传感器检测的车辆动态提供校正。
技术介绍
现代车辆通常包括一个或多个摄像机，该摄像机可提供倒车辅助、拍摄车辆驾驶员的图像以确定驾驶员困倦或注意力、提供车辆行驶时道路图像用于避免碰撞目的、提供结构辨别，诸如道路标记等。其他的车辆视图应用包括车道感测系统，其用于感测车辆行驶车道并在车道中央驾驶车辆。许多上述已知车道感测系统为各种应用检测道路上的车道标识，诸如车道偏离警告(LDW)、车道保持(LK)、车道居中(LC)等，并且通常使用位于车辆前部或位于车辆后部的单一摄像机以提供用于检测车道标识的图像。本领域已提出，在车辆上提供环景摄像机系统，其包括前视摄像机、后视摄像机以及左侧和右侧摄像机，其中摄像机系统使用来自摄像机的图像生成车辆及周围区域的自顶向下(top-down)的视图，并且其中图像在车辆角部处相互重叠。自顶向下的视图可以显示给车辆驾驶员，以看到车辆周围的情况用于在倒车、泊车等。未来的车辆可能不使用后视镜，而可以替代地包括由环景摄像机提供的数字图像。2013年4月9日授予Zhang(张)等人的题目为“具有环景系统的全速车道感测”的美国专利申请公开号N0.2013/0293717，转让给本申请的受让人，并且通过引用方式并入本文，公开了一种通过检测道路车道标识来在车辆上提供车道感侧的系统和方法，其中该系统采用了提供车辆周围的自顶向下视图图像的环景摄像机系统。该方法包括在自顶向下视图中检测左侧和右侧车道边界线，并且然后确定图像中的车道边界线在该自顶向下视图图像中从图像帧至下一个图像帧是否对齐以及在图像与图像之间是否对齐。对于许多基于摄像机的车辆应用而言，精确校准摄像机相对于车辆的定位和定向至关重要。摄像机校准通常指估算大量摄像机参数，包括内在参数和外在参数，其中内在参数包括焦距、光心、径向畸变参数等，并且外在参数包括摄像机位置、摄像机定向等。摄像机外在参数校准通常包括确定将摄像机图像坐标与车辆坐标关联的一组参数，反之亦然。一些摄像机参数，诸如摄像机焦距、光心等，是稳定的，而另一些参数，诸如摄像机的定向和位置，是不稳定。例如，摄像机的高度取决于将会不时地变化的车辆的负载。在已知的环景摄像机系统中，来自摄像机的图像在车辆的角部处重叠，其中摄像机校准过程将相邻图像“拼接”在一起，使得单独图像中的公共元素直接相互重叠，以提供期望的自顶向下视图。在车辆制造期间，这些摄像机图像被拼接在一起以提供该图像使用任何数量的校准技术，从而使得当车辆初次投入使用时，摄像机被正确地校准。使用的一种校准技术是将车辆定位于具有交替的明的和暗的正方形的测试板图案上，其中正方开的每个点被便当地识别。在显影图像中，使用这些点允许摄像机校准软件校正图像的位置，这样使得在相同位置识别出相邻图像中的重叠点。然而，一旦车辆投入使用，则可能发生各种情况，其可能导致摄像机定向和位置变化，其中摄像机的校准包括导致自顶向下图像中产生未对准的误差。这些情况可能包括车辆的负载，其导致摄像机位置(诸如高度)和/或摄像机定向(诸如俯仰角)相对于世界坐标发生改变；对车辆的小撞击，其可能改变摄像机的定位和定向等。但是，处理来自摄像机的图像以生成自顶向下视图的当前视频处理模块(VPM)无法在车辆使用时在线重新校准摄像机。相反，车辆操作者必须将车辆带至有能力以在车辆制造期间所进行的同样方式重新校准摄像机的经销商或其他授权服务中心，这具有显而易见的缺点。
技术实现思路
本公开描述了一种基于车辆动态中的变化校正移动平台上(诸如车辆上的全景摄像机系统中)的多个摄像机的校准的系统和方法。该方法包括读取来车辆上的一个或多个传感器的识别车辆动态中的变化的测量值，并限定多个摄像机和车辆车身作为单个参照坐标系。该方法还包括识别测量值作为坐标系中的旋转矩阵和转换矢量，并将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系，以提供摄像机的校准的校正。 本专利技术包括以下方案: 1、一种用于校正车辆上的全景摄像机系统中多个摄像机的校准的方法，所述方法包括: 读取来自车辆上的一个或多个传感器的识别车辆动态变化的测量值； 限定多个摄像机和车辆车身为单个参照坐标系； 识别测量值作为参照坐标系中的旋转矩阵和转换矢量；以及 将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系，以提供摄像机校准的校正。 2、如方案I中所述的方法，其中将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系包括通过下列方程限定全景摄像机系统的静态定向:Xv — X w+t W2V， Xci — R V2Ci*Xv+t V2ci，—Rv2Ci*Xw+t W2ci， 并且通过下列方程限定车辆的动态定向:Xv =Rdyn* (Vt' W2V)， Xe — R V2Ci*-^V+t V2Ci， =Rv2C1*Rdyn*Xw+t " W2Cl， 其中X为样本点，i为摄像机索引，V是车辆坐标的标号，W是参照坐标的标号，C是摄像机坐标的标号，dyn是全部俯仰角、侧倾角和高度变量的车辆动态的标号，R是旋转矩阵以及t是转换矢量。 3、如方案2中所述的方法，其中将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系以提供摄像机校准包括运用下列方程校正摄像机校准: (Ream，Tcam) f ( (Rveh，Tveh)，(Ream，Tcam) stny^， 其中stny是静态的标号，俯仰角、侦_角和高度变量的车辆动态由旋转矩阵Rreh和转换矢量Treh限定，R _为摄像机坐标中的旋转矩阵，以及T _为摄像机坐标中的转换矢量。 4、如方案I中所述的方法，其中读取来自一个或多个传感器的测量值包括读取来自一个或多个传感器的提供车辆或摄像机以及车辆车身俯仰角、侧倾角和高度变量动态的测量值。 5、如方案I中所述的方法，其中全景摄像机系统包括四个摄像机，其中第一摄像机定位于车辆前部，第二摄像机定位于车辆后部，第三摄像机定位于车辆左侧以及第四摄像机定位于车辆右侧。 6、如方案5中所述的方法，其中来自第一摄像机的图像与来自第三摄像机的图像重叠，来自第一摄像机的图像与来自第四摄像机的图像重叠，来自第二摄像机的图像与来自第三摄像机的图像重叠，以及来自第二摄像机的图像与来自第四摄像机的图像重叠。 7、一种用于校正移动平台上的多个摄像机的校准的方法，所述方法包括: 读取来自移动平台上的一个或多个传感器的识别平台动态变化的测量值； 限定多个摄像机和平台主体为单个参照坐当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种用于校正车辆上的全景摄像机系统中多个摄像机的校准的方法，所述方法包括：读取来自车辆上的一个或多个传感器的识别车辆动态变化的测量值；限定多个摄像机和车辆车身为单个参照坐标系；识别测量值作为参照坐标系中的旋转矩阵和转换矢量；以及将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系，以提供摄像机校准的校正。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：J·王，W·张，B·B·利特库希，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国;US