本发明专利技术是为了解决车载环视系统中存在的车辆姿态变化导致俯视图拼接准确性问题而提出的车载多目摄像机环视系统的在线标定处理方法。由重叠区域决定部分，特征量计算部分，车辆姿态计算部分和结果输出部分这四个部分构成在线标定系统。把各种姿态的摄像头视点变换以及拼接处理的结果制作一种查找表，这种查找表包含车辆姿态数据以及对应的各台相机的原始图像位置结果，加权参数等，这样可以在得到车辆姿态数据之后同时进行视点变换和图像拼接处理。
【技术实现步骤摘要】
本专利技术涉及车载多目摄像机环视系统，尤其是一种。
技术介绍
当今社会，汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时，汽车交通事故，汽车尾气排放带来的环境污染以及交通阻塞带来的问题，已成为日益严峻的全球性社会问题。因此，利用各种先进的汽车安全技术、设备和理念减少交通事故和提高汽车安全有很大的市场潜能。 上一世纪90年代以后，随着电子技术、控制技术、传感器技术和新材料在汽车产品中的广泛应用，汽车安全技术得到了更加迅猛的发展。现如今，汽车安全技术的研究已由单一安全技术的研发，向各种安全技术相融合协同的集成化、系统化和智能化方向发展。智能化的汽车安全系统以现代探测技术、光电传感技术、计算机技术和自动控制技术为核心，具有特定的识别判断能力，能在各种复杂情况下自动协助驾驶员或自行控制汽车，确保行车安全。 车载环境感知系统利用各种传感器对车辆自身、周围环境及驾驶员状态等信息进行探测，通过与预先设定的标准进行比较，判别车辆是否处于危险状态及危险程度，必要时能够通过声、光等方式向驾驶员进行预警。 目前车载环境感知系统使用的传感器主要有1)单目或多目摄像机系统，通过对实时采集来的环境图像进行处理得到相关距离，位置等信息；2)激光雷达或毫米波雷达，通过发出并接收红外激光或者电波，根据多普勒效应，计算周边障碍物的距离和位置等信息；3)声纳，通过定向发出并接收超声波，计算周边障碍物的距离和位置等信息。 比较起来，激光或毫米波雷达可测范围广，抗外界恶劣环境的能力强，但通常只有一层或数层扫描面，无法获得整个场景的三维立体信息，而且价格昂贵。声纳只适用于近距测量(比如倒车用)，而且只有照射方向上的一点信息。车载摄像机系统通过视觉得到信息，是目前应用最广泛也是最有前景的传感器之一。比如倒车摄像头是应用最普遍的一种车载视觉系统。它一般安装在车辆后部，方向朝侧下方。在驾驶员倒车时，系统自动接通车载显示屏，为驾驶员提供后方广域景象。 为了让驾驶员更准确的了解车辆周边的障碍物等危险信息，系统通过视角的变换处理将原有的具有一定俯角的图像变换为垂直朝下的虚拟摄像机图像。 倒车摄像机多用于比较复杂的倒车环境，但一台摄像头的视野有限，在车辆前方侧方障碍物较多的情况下，通常采用多台摄像机构成车辆环视系统，为驾驶员提供车辆360度完整的环境感知信息。 车辆环视系统主要是通过安装在车辆前后左右的多台摄像头拍摄的图像，经过前述的视角变换处理得到多张虚拟以车辆为中心垂直向下的俯视图，并通过合成算法拼接为一张完整俯视图。 本专利所述车载多目摄像机环视系统是指车载环境感知的多目立体摄像机系统。 (1)与本专利技术相关的现有技术一视点变换 现有技术一(国际公开专利W000-07373，日本专利JP3625059，JPT2002-067158，日本专利申请JPA特開P2002-166802A，P2008-48317A等)。 车辆环视系统的基础技术在于摄像头的视角变换技术。如图1所示，车载摄像头位置处在以地面为中心的三维坐标系X-Y-γ的(0，0，H)点，光轴方向同Y轴夹角为τ(摄像头的俯角)，摄像头三维坐标系为X”-Y”-γ”。摄像头内的二维投影坐标系为α-β，焦距为f。 根据投影变换的法则，所有位于地面(Z轴坐标为0)的点(x，y)投影到摄像头平面的位置(α，β)可以通过以下公式推定。 一般的视点变换通常把处于摄像头的中心位置的地面参照点作为中心，高度为H’焦距为f’的光轴垂直向下的虚拟相机(参照图4)。由于光轴垂直向下，可以通过平行投影的法则，推导出地面点(x，y)投影到摄像头平面的位置(α’，β’)。 所以综合(1)(2)之后，我们就可以得到视点变换的公式为 视点变换后的示意图如图4所示。 专利文献1日本专利JP3625059；专利文献2日本专利JPT2002-067158。 (2)与本专利技术相关的现有技术二环视图像合成 同上所述，安装在车辆前后左右的摄像头经过视点变换之后，分别形成多张虚拟垂直拍摄的俯视图像。在初始标定处理过程中，各台相机相对于车辆坐标系的位置可以求出。根据摄像头的相对位置数据，可以将这些俯视图像进行合成处理，拼接成一幅车辆环视的全景图。在各台虚拟相机的高度及焦距相同的情况下，这些俯视图像的尺寸比例相同，可以直接进行拼接处理。在拼接后的环绕俯视图上加入自车的俯视示意图，即可得到最后的结果图。专利文献3日本专利JPA2002-067158；专利文献4日本专利JPA2008-34966。 (3)与本专利技术相关的现有技术三对应车辆姿态变化的解决办法 现有技术二中虽然可以生成多视点的车辆环绕俯视图，但由于各台相机的相对位置关系是在初期标定处理中计算出来的，尤其是车辆姿态(俯角和水平偏角)在车辆经久变化，以及载人载物的重量分布出现变化时这些相对位置的信息会出现一定变化，这些变化会影响环视图的拼接质量。 现有技术三(日本专利JPA-2003274394，JPA-2008034966)提出通过安装在后视摄像头内部的可视激光发生器，发出激光束照射路面，同时后视摄像头根据激光点的路面位置来计算车辆的三维姿态变化，来调整拼图的处理参数。JPA-2008034966进一步通过图像处理的方式判断激光点是否照射到平坦的路面上，保证测量参数的准确性。专利文献5日本专利JPA-2003274394；专利文献6日本专利JPA-2008034966。 (4)现有技术的缺点 现有技术一以及现有技术二可以通过多视点的视点变换图像进行拼接，得到环绕俯视图，但由于车辆姿态(车辆相对路面的俯角，水平偏角等)的实时变化，无法保证拼接的准确性。大部分现有技术往往采用固定姿态参数，即在各台摄像头大的初期标定处理之后，系统生成图像视点变化用查找表(Look-uptableLUT)，将拼接后的环视图的每一个像素对应的各台相机的原始图上的位置记录下来。在拼接处理中直接调用原始图像数据进行合成，满足高速处理的需求。但车辆姿态(俯角和水平偏角)在车辆经久变化，以及载人载物的重量分布出现变化时这些相对位置的信息会出现一定变化，这些变化会影响环视图的拼接质量。 现有技术三虽然可以通过外设激光发生器实时判断车辆姿态变化，但遇到路面积水，刹车灯点亮等情况下，无法正确判断投射激光点的位置。同时后视摄像头内安装激光发射器会导致系统成本增加，复杂性和出现故障可能性都会增大。
技术实现思路
本专利技术是为了解决车载环视系统中存在的车辆姿态变化导致俯视图拼接准确性问题而提出的一种，更准确的完成了环视系统的在线标定及拼接。 按照本专利技术提供的技术方案，所述车载多目摄像机环视系统中查表进行环视拼接的方法如下 对多目摄像头得到的原始图像通过查表进行视点变换及图像拼接，得到车辆环视图；所述视点变换及拼接时对于所述环视图各个像素的输出值通过查表确定，所述表包括所述环视图的二维坐标、车辆俯角、车辆水平偏角、摄像头编号、所述原始图像坐标、摄像头的加权参数，一组特定环视图二维坐标、车辆俯角、车辆水平偏角和摄像头编号对应唯一一组该编号摄像头的原始图像坐标、该编号摄像头的加权参数。 所述如下 (1)对车载多目摄像头得到的原始图像的重叠区域，分别进行视点变换本文档来自技高网...
【技术保护点】
一种车载多目摄像机环视系统中查表进行环视拼接的方法，其特征是：对多目摄像头得到的原始图像通过查表进行视点变换及图像拼接，得到车辆环视图；所述视点变换及拼接时对于所述环视图各个像素的输出值通过查表确定，所述表包括：所述环视图的二维坐标、车辆俯角、车辆水平偏角、摄像头编号、所述原始图像坐标、摄像头的加权参数，一组特定环视图二维坐标、车辆俯角、车辆水平偏角和摄像头编号对应唯一一组该编号摄像头的原始图像坐标、该编号摄像头的加权参数。
【技术特征摘要】
【专利技术属性】
技术研发人员：胡振程，
申请(专利权)人：无锡易斯科电子技术有限公司，
类型：发明
国别省市：32[中国|江苏]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。