一种环视合成图重叠区域划分方法和环视合成图表示方法技术

本发明专利技术是为了解决车载环视系统中存在的合成图中各个相机视域中的重叠部分不能达到最清晰程度的问题，提供一种车载多目摄像机环视系统的合成图中各个相机视域中的重叠部分区域的划分方法。按照本发明专利技术提供的技术方案，所有环视合成图中的相邻摄像头重叠区域的像素由该像素反投影到每台摄像头的原始图像坐标进行比较来决定，具体实施方式可以采用原始图像坐标距离光轴中心的远近，或者通过像素空间密度来进行比较。距离光轴近的或者像素空间密度小的那台摄像头取得重叠区域的那个像素点的支配权。通过对所有相邻摄像头重叠区域的像素进行上述处理就可以得到合成图中各个相机视域中的重叠部分最优划分方法。

【技术实现步骤摘要】
一种环视合成图重叠区域划分方法和环视合成图表示方法
本专利技术涉及车载多目摄像机环视系统，尤其是一种车载多目摄像机环视系统的合成图像重叠区域的最优划分方法以及图像合成方法。
技术介绍
当今社会，汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时，汽车交通事故，汽车尾气排放带来的环境污染以及交通阻塞带来的问题，已成为日益严峻的全球性社会问题。因此，利用各种先进的汽车安全技术、设备和理念减少交通事故和提高汽车安全有很大的市场潜能。上一世纪90年代以后，随着电子技术、控制技术、传感器技术和新材料在汽车产品中的广泛应用，汽车安全技术得到了更加迅猛的发展。现如今，汽车安全技术的研究已由单一安全技术的研发，向各种安全技术相融合协同的集成化、系统化和智能化方向发展。智能化的汽车安全系统以现代探测技术、光电传感技术、计算机技术和自动控制技术为核心，具有特定的识别判断能力，能在各种复杂情况下自动协助驾驶员或自行控制汽车，确保行车安全。车载环境感知系统利用各种传感器对车辆自身、周围环境及驾驶员状态等信息进行探测，通过与预先设定的标准进行比较，判别车辆是否处于危险状态及危险程度，必要时能够通过声、光等方式向驾驶员进行预警。目前车载环境感知系统使用的传感器主要有：1）单目或多目摄像机系统，通过对实时采集来的环境图像进行处理得到相关距离，位置等信息；2）激光雷达或毫米波雷达，通过发出并接收红外激光或者电波，根据多普勒效应，计算周边障碍物的距离和位置等信息；3）声纳，通过定向发出并接收超声波，计算周边障碍物的距离和位置等信息。比较起来，激光或毫米波雷达可测范围广，抗外界恶劣环境的能力强，但通常只有一层或数层扫描面，无法获得整个场景的三维立体信息，而且价格昂贵。声纳只适用于近距测量（比如倒车用），而且只有照射方向上的一点信息。车载摄像机系统通过视觉得到信息，是目前应用最广泛也是最有前景的传感器之一。比如倒车摄像机是应用最普遍的一种车载视觉系统。它一般安装在车辆后部，方向朝侧下方。在驾驶员倒车时，系统自动接通车载显示屏，为驾驶员提供后方广域景象。为了让驾驶员更准确的了解车辆周边的障碍物等危险信息，系统通过视角的变换处理将原有的具有一定俯角的图像变换为垂直朝下的虚拟摄像机图像。倒车摄像机多用于比较复杂的倒车环境，但一台摄像机的视野有限，在车辆前方侧方障碍物较多的情况下，通常采用多台摄像机构成车辆环视系统，为驾驶员提供车辆360度完整的环境感知信息。车辆环视系统主要是通过安装在车辆前后左右的多台摄像机拍摄的图像，经过前述的视角变换处理得到多张虚拟以车辆为中心垂直向下的俯视图，并通过合成算法拼接为一张完整俯视图。本专利所述车载多目摄像机环视系统是指车载环境感知的多目立体摄像机系统。（1）与本专利技术相关的现有技术一：视点变换现有技术一可以利用装配在车体前后左右的4台相机的内部参数与外部参数对各台相机的所摄取的图像做单一视点变换使其变换成为以车体为参照中心的俯视图，然后再对这4幅由各个相机所得到的俯视图做拼接生成一幅由4台相机图像无缝拼接的俯视图。现有技术一的前提是相机的内部参数与外部参数即知，车体按照既定位置停放或者车体的姿态即知。专利文献1：日本专利JP3625059；专利文献2：日本专利JPT2002-067158。（2）与本专利技术相关的现有技术二：俯视的环视图像合成同上所述，安装在车辆前后左右的摄像机经过视点变换之后，分别形成多张虚拟垂直拍摄的俯视图像。在初始标定处理过程中，各台摄像机相对于车辆坐标系的位置可以求出。根据摄像机的相对位置数据，可以将这些俯视图像进行合成处理，拼接成一幅车辆环视的全景图。在各台虚拟摄像机的高度及焦距相同的情况下，这些俯视图像的尺寸比例相同，可以直接进行拼接处理。在拼接后的环绕俯视图上加入自车的俯视示意图，即可得到最后的结果图。专利文献3：日本专利JPA2002-067158；专利文献4：日本专利JPA2008-34966。（3）与本专利技术相关的现有技术三：虚拟视点合成图像的解决办法现有技术二中虽然可以生成多视点的车辆环绕俯视图，但比如在慢速倒车状态或者正常行驶状态时，除了要确认自车在场景中的实际位置以外，还需要确认周边车辆和其他障碍物。如果只通过垂直拍摄的虚拟视点的环视图，无法达到所需效果。现有技术三（日本专利JP_P3300334）提出通过采用不同视点，高度，焦距的虚拟视点以及包括平面模型，圆筒模型或模拟圆筒模型等场景模型，根据车辆状态，车速，方向转角来生成不同虚拟环视图像。这样可以达到同时满足确认自车状态以及周边环境的需求。同时现有技术三中还提出了对应不同虚拟视点图像所对应的查表方法。专利文献5：日本专利JP_P3300334。（4）现有技术的缺点通过现有技术一以及现有技术二可以对多视点的视点变换图像进行拼接，得到环绕平面俯视图；现有技术三可以通过圆筒模型或模拟圆筒模型等场景模型来模拟除了平面以外的立体场景。不论是平面俯视图还是立体场景图都是将多幅由设置在车辆不同位置的摄像机拍摄的图像进行拼接合成的。一般情况下,车载环视处理系统是由多台广角摄像机构成，每台摄像机覆盖一定区间，图像经过视点变换生成俯视图，并进行拼接得到车辆环视图。由于各台相机之间可能存在视域重叠部分，在环视图的拼接生成过程中就需要选择一条分界线来将重叠部分分割。如图3所示,分割线将合成图分割成几个互不联通的部分，每一部分对应一个相机的有效视域。由于现有技术没有涉及如何选择一条最优的分界线可以使得最终的合成图达到最清晰化，最终的合成图在视域重叠部分会有模糊的情况发生。
技术实现思路
所述技术方案如下：本专利技术是为了解决车载环视系统中存在的合成图中各个相机视域中的重叠部分不能达到最清晰程度的问题，提供一种车载多目摄像机环视系统的合成图中各个相机视域中的重叠部分分界线的计算方法。本专利技术能为驾驶员提供最清晰的环视合成图。按照本专利技术提供的技术方案，所有环视合成图中的相邻摄像头重叠区域的像素由该像素反投影到每台摄像头的原始图像坐标进行比较来决定，具体实施方式可以采用原始图像坐标距离光轴中心的远近，或者通过像素空间密度来进行比较。距离光轴近的或者像素控件密度小的那台摄像头取得重叠区域的那个像素点的支配权。通过对所有相邻摄像头重叠区域的像素进行上述处理就可以得到合成图中各个相机视域中的重叠部分最优划分方法。本专利技术的优点是：本专利技术解决了车载环视系统中存在的合成图中各个相机视域中的重叠部分不能达到最清晰程度的问题。附图说明图1：车载环视摄像头位置与视域范围图2：合成图分区图3：合成图分区与分割线图4：复合区域分割线确定方法图5：像素空间密度算法。具体实施方式下面结合附图和实施例对本专利技术作进一步说明。车载环视处理系统是由多台广角摄像机构成，每台摄像机覆盖一定区间，图像经过视点变换生成俯视图，并进行拼接得到车辆环视图。由于各台相机之间可能存在视域重叠部分，在环视图的拼接生成过程中就需要选择一条分界线来将重叠部分分割。分割线将合成图分割成几个互不联通的部分，每一部分对应一个相机的有效视域。由于现有技术没有涉及如何选择一条最优的分界线可以使得最终的合成图达到最清晰化，最终的合成图在视域重叠部分会有模糊的情况发生。本专利技术提出车载环视合成图中视域重叠本文档来自技高网...

【技术保护点】
一种环视系统的合成图中重叠区域最优划分的计算和生成方法，其特征在于，所述方法包括：?????在车载环视系统的合成图中重叠区域的像素点，通过投影和坐标变换分别求出对应的相邻前摄像头原始图像的坐标，距离各个摄像头光轴中心近的那台摄像头取得该重叠区域像素点的支配权，从而得到合成图中重叠区域最优划分的计算和生成方法。

【技术特征摘要】
1.一种环视系统的合成图中重叠区域划分的计算和生成方法，其特征在于，所述方法包括：在车载环视系统的合成图中重叠区域的像素点，通过投影和坐标变换分别求出对应的相邻摄像头的原始图像中像素点的坐标或坐标点的空间密度，各求出的像素点进行竞争，竞争关系为：当各台摄像头内部参数相同时，比较各求出的像素点与各自对应的相邻摄像头的光轴中心的距离，距离较短者胜出，此时对应的摄像头取得重叠区域像素点的支配权；当各台摄像头内部参数不相同时，比较各求出的像素点的坐标点的像素空间密度，像素空间密度较小者胜出，此时对应的摄像头取得重叠区域像素点的支配权。2.根据权利要求1所述的环视系统的合成图中重叠区域划分的计算和生成方法，其特征在于，在车载环视系统的合成图的重叠区域确定分界线，分界线将重叠区域完全分割，根...

【专利技术属性】
技术研发人员：董延超，马薇，
申请(专利权)人：无锡维森智能传感技术有限公司，
类型：发明
国别省市：