多编组变角度车辆全景环视系统标定及拼接方法技术方案

本发明专利技术提供了一种用于多编组变角度车辆的全景环视泊车辅助系统，包括鱼眼摄像头、铰接盘角度传感装置和数据采集处理器，其特征在于：全景环视泊车辅助系统利用安装在每节车辆车厢上的两颗或三颗方位视场角至少为180度的鱼眼摄像头采集的视频画面及铰接盘角度传感装置采集的角度信息经数据采集处理器进行处理得到多编组变角度车辆周界区域的无缝拼接全景环视图像；车厢之间铰接盘角度传感装置用于实时测量其铰接的两节车厢所呈角度信息，同时将所测量的角度实时传递给数据采集处理器进行处理。本发明专利技术通过采集、解析车辆铰接盘铰接角，在车厢相对转动即摄像头位置相对变化时，实时修改全景拼接参数，实现多编组实时无缝全景拼接。

Calibration and mosaic method for multi panorama variable angle vehicle panoramic system

The present invention provides a panoramic view parking auxiliary system for multiple marshalling and variable angle vehicles, including a fish eye camera, an articulated disc angle sensing device and a data acquisition processor. The feature is that the panoramic annular parking auxiliary system uses at least two or three azimuth field angles installed on each car compartment at at least 180. The video picture collected by the fish eye camera and the angle information collected by the angle sensing device of the articulated disc are processed to get the seamless panoramic image of the multi marshalling and variable angle vehicle circumferential area, and the angle sensing device of the articulated disc between the carriages is used to measure the angle of the two carriage. At the same time, the measured angle is transmitted to the data acquisition processor in real time. By collecting and analyzing the articulated angle of the articulated disc of the vehicle, the panoramic splicing parameters are modified in real time when the relative rotation of the car is the relative change of the camera position, so as to realize the multi marshalling and real-time seamless panoramic splicing.

【技术实现步骤摘要】
多编组变角度车辆全景环视系统标定及拼接方法
本专利技术属于车辆安全辅助及汽车电子领域，具体涉及一种用于多编组变角度车辆全景环视系统的标定和拼接方法。
技术介绍
随着汽车保有量迅速增长，道路交通安全逐渐成为一个重大的社会问题。全景环视系统可以有效辅助驾驶员，减少车辆在低速行驶情况下的事故发生率。目前，市场上的全景环视泊车辅助系统，绝大多数是针对乘用小轿车的，采用四颗摄像头，分别布置在汽车前保险杠Logo下方、左、右后视镜下方、后牌照灯处；少数针对商用车的全景系统，四颗摄像头分别装在车辆顶部四个方向的中点位置。无论是乘用车还是商用车全景环视系统，行驶过程中摄像头相对位置固定不变。多编组变角度车辆有多节车厢，需要安装多于4颗摄像头，以实现全景拼接；多编组变角度车辆车身较大，各个摄像头采集到的图像物体运动和光线的变化不同，要求更好的白平衡算法实现图像融合；多编组变角度车辆在行驶过程中各车厢之间所呈角度实时变化，导致不同车厢上安装的摄像头之间的相对位置也实时变化。所以，采用现存的全景环视方案，无法实现多编组变角度车辆无缝拼接的全景环视要求。
技术实现思路
本专利技术要解决的技术问题是：提供一种用于多编组变角度车辆的无缝拼接全景环视系统标定和拼接方法，为该类车辆的行驶和泊车提供辅助工具。本专利技术为解决上述技术问题所采取的技术方案为一种用于多编组变角度车辆的全景环视泊车辅助系统，包括鱼眼摄像头、铰接盘角度传感装置和数据采集处理器，其特征在于：全景环视泊车辅助系统利用安装在每节车辆车厢上的两颗或三颗方位视场角至少为180度的鱼眼摄像头采集的视频画面及铰接盘角度传感装置采集的角度信息经数据采集处理器进行处理得到多编组变角度车辆周界区域的无缝拼接全景环视图像；车厢之间铰接盘角度传感装置用于实时测量其铰接的两节车厢所呈角度信息，采用总线方式与所述数据采集处理器连接，将所测量的角度实时传递给数据采集处理器进行处理。进一步地，数据采集处理器包括鱼眼图像畸变校正单元、角点检测单元、透视变换单元、单车厢图像拼接单元、单车厢图像融合单元、铰接盘角度采集单元、多车厢图像拼接单元、多车厢图像融合单元；其中：鱼眼图像畸变校正单元用于根据各鱼眼摄像头的内部结构和建立的畸变模型，标定得到摄像头参数和畸变矫正参数，得到从鱼眼图像到畸变矫正图像的映射关系；角点检测单元在各个鱼眼摄像头所抓取的图像中，检测标定布角点；透视变换单元根据测量场景得到的理想角点位置以及检测得到的实际角点位置，将来自不同鱼眼摄像头的图像，投影到同一坐标系下变成鸟瞰图，建立由矫正图到鸟瞰图的映射关系；单车厢图像拼接单元，用于对来自相邻的摄像头转换得到的鸟瞰图中重叠区域进行特征点匹配，将单车厢所有摄像头鸟瞰图拼接成单车厢全景鸟瞰图，最后生成单车厢全景鸟瞰图与各摄像头鱼眼畸变图的映射关系，生成并保存查找表；单车厢图像融合单元，用于在全景鸟瞰图中相邻摄像头图像接缝处，划定过渡区域，采用加权融合的方法，消除拼接缝；铰接盘角度采集单元通过总线与铰接盘角度传感装置连接，接收并解析车厢间相对角度信息；多车厢图像拼接单元将各车厢单独鸟瞰图以铰接点为基准，进行裁剪和拼接，根据铰接盘角度信息对相应车厢的单独鸟瞰图进行旋转，同时对全局鸟瞰图进行上下平移，以适应屏幕显示需求；多车厢图像融合单元，对各摄像头进行全局白平衡，对各裁剪过后的单独车厢鸟瞰图的各边缘进行加权融合，以消除多车厢鸟瞰图拼接的拼接缝。该专利技术还提供了一种多编组变角度车辆全景环视系统进行标定和拼接的方法，其特征在于，具体包括以下步骤：S1、鱼眼图像畸变校正单元用于根据各鱼眼摄像头的内部结构和建立的畸变模型，标定得到摄像头参数和畸变矫正参数，得到从鱼眼图像到畸变矫正图像的映射关系；S2、在各个鱼眼摄像头所抓取的图像中，检测标定布角点；S3、根据S2检测得到的实际角点位置，结合测量场景得到的理想角点位置，将来自不同鱼眼摄像头的图像，投影到同一坐标系下变成鸟瞰图，建立由矫正图到鸟瞰图的映射关系；S4、单车厢图像拼接单元对来自相邻的摄像头转换得到的鸟瞰图中重叠区域进行特征点匹配，将单车厢所有摄像头鸟瞰图首次拼接成单车厢全景鸟瞰图，最后生成单车厢全景鸟瞰图与各摄像头鱼眼畸变图的映射关系，查找表形式保存在存储单元中；S5、得到查找表后，通过读取查表方式从存储单元中获得鱼眼摄像头采集的原始视频画面像素点与单车厢全景鸟瞰图像素点的映射关系信息，将所有鱼眼摄像头采集的视频画面实时映射成单车厢全景鸟瞰图；S6、在全景鸟瞰图中相邻摄像头图像接缝处，划定过渡区域，采用加权融合的方法，消除拼接缝；S7、将各车厢单独鸟瞰图以铰接点为基准进行裁剪，然后拼接为静态多车厢全景鸟瞰图。S8、通过总线接收铰接盘角度传感装置信息，解析得到车厢间相对角度信息，根据铰接盘角度信息对相应车厢的单独鸟瞰图进行旋转，同时对全局鸟瞰图进行上下平移，以适应屏幕显示需求；S9、对所有摄像头抓取得到的图像进行全局白平衡，消除光照影响；对各裁剪过后的单独车厢鸟瞰图的各边缘进行加权融合，以消除多车厢鸟瞰图拼接的拼接缝。进一步地，所述的S1采用多项式模型的作为摄像头畸变模型，利用单幅包含棋盘格的鱼眼图像完成摄像头标定。进一步地，所述的S2首先检测位于鱼眼摄像头视野中心的棋盘格阵列标定布中的角点，然后根据该部分角点位置划定用于检测视野两侧黑色大方格的感兴趣区域，在感兴趣区域中进行四边形拟合，通过限制四边形位置、四边形面积、四边形形状、相邻边长比、对角线比排除干扰四边形轮廓，得到黑色大方格轮廓以及四个顶点坐标，在顶点坐标周围使用亚像素角点检测方法，确定黑色大方格顶点位置。进一步地，所述S7中，前车厢、后车厢鸟瞰图不剪裁，中间车厢鸟瞰图以在车身宽度方向不剪裁，让前车厢鸟瞰图中与中车厢鸟瞰图中的前-中车厢铰接点位置重合，让后车厢鸟瞰图中与中车厢鸟瞰图中的后-中车厢铰接点位置重合，拼接为静态多车厢全景鸟瞰图。进一步地，所述S8中，车厢鸟瞰图不进行旋转，前车厢依据前-中铰接盘角度信息绕前-中铰接点旋转，后车厢依据后-中铰接盘角度信息绕后-中铰接点旋转；当前车厢或后车厢超出显示范围时，将全景拼接图整体向转向相反的方向平移，当平移后中间车厢超出显示范围时，将全景拼接图像整体进行收缩。本专利技术的有益效果为：1、当前现存的全景环视系统，均是针对摄像头相对位置不变的情况，在首次标定、拼接完成后，用固定参数实现全景拼接。在多编组变角度车辆转弯时，不同车厢的摄像头位置相对变化，若采用固定参数进行全景拼接，在不同车厢鸟瞰图的拼接处会产生严重的图像错动，无法实现拼接。本专利技术通过采集、解析车辆铰接盘铰接角，在车厢相对转动即摄像头位置相对变化时，实时修改全景拼接参数，实现多编组实时无缝全景拼接。2、当前现存的全景环视系统，大多采用4颗摄像头进行全景拼接，极少数采用6颗摄像头进行全景拼接，没有采用8颗或以上摄像头进行拼接。但是多编组车辆三车厢需要8颗摄像头才能完成全景拼接。本专利技术采用CVBS视频信号直连传输方法，解决了当前嵌入式方案中传输带宽不支持8路摄像头同时输入的问题；采用查找表方法进行单车厢全景拼接，通过旋转单车厢全景鸟瞰图实现多车厢拼接，减小运算量，保证实时性。3、在进行多编组全景鸟瞰图显示时，若将中间车厢及其鸟瞰图放置在显示屏本文档来自技高网...

【技术保护点】
1.一种用于多编组变角度车辆的全景环视泊车辅助系统，包括鱼眼摄像头、铰接盘角度传感装置和数据采集处理器，其特征在于：全景环视泊车辅助系统利用安装在每节车辆车厢上的两颗或三颗方位视场角至少为180度的鱼眼摄像头采集的视频画面及铰接盘角度传感装置采集的角度信息经数据采集处理器进行处理得到多编组变角度车辆周界区域的无缝拼接全景环视图像；车厢之间铰接盘角度传感装置用于实时测量其铰接的两节车厢所呈角度信息，采用总线方式与所述数据采集处理器连接，将所测量的角度实时传递给数据采集处理器进行处理。

【技术特征摘要】
1.一种用于多编组变角度车辆的全景环视泊车辅助系统，包括鱼眼摄像头、铰接盘角度传感装置和数据采集处理器，其特征在于：全景环视泊车辅助系统利用安装在每节车辆车厢上的两颗或三颗方位视场角至少为180度的鱼眼摄像头采集的视频画面及铰接盘角度传感装置采集的角度信息经数据采集处理器进行处理得到多编组变角度车辆周界区域的无缝拼接全景环视图像；车厢之间铰接盘角度传感装置用于实时测量其铰接的两节车厢所呈角度信息，采用总线方式与所述数据采集处理器连接，将所测量的角度实时传递给数据采集处理器进行处理。2.根据权利要求1所述的用于多编组变角度车辆的全景环视泊车辅助系统，其特征在于：数据采集处理器包括鱼眼图像畸变校正单元、角点检测单元、透视变换单元、单车厢图像拼接单元、单车厢图像融合单元、铰接盘角度采集单元、多车厢图像拼接单元、多车厢图像融合单元；其中：鱼眼图像畸变校正单元用于根据各鱼眼摄像头的内部结构和建立的畸变模型，标定得到摄像头参数和畸变矫正参数，得到从鱼眼图像到畸变矫正图像的映射关系；角点检测单元在各个鱼眼摄像头所抓取的图像中，检测标定布角点；透视变换单元根据测量场景得到的理想角点位置以及检测得到的实际角点位置，将来自不同鱼眼摄像头的图像，投影到同一坐标系下变成鸟瞰图，建立由矫正图到鸟瞰图的映射关系；单车厢图像拼接单元，用于对来自相邻的摄像头转换得到的鸟瞰图中重叠区域进行特征点匹配，将单车厢所有摄像头鸟瞰图拼接成单车厢全景鸟瞰图，最后生成单车厢全景鸟瞰图与各摄像头鱼眼畸变图的映射关系，生成并保存查找表；单车厢图像融合单元，用于在全景鸟瞰图中相邻摄像头图像接缝处，划定过渡区域，采用加权融合的方法，消除拼接缝；铰接盘角度采集单元通过总线与铰接盘角度传感装置连接，接收并解析车厢间相对角度信息；多车厢图像拼接单元将各车厢单独鸟瞰图以铰接点为基准，进行裁剪和拼接，根据铰接盘角度信息对相应车厢的单独鸟瞰图进行旋转，同时对全局鸟瞰图进行上下平移，以适应屏幕显示需求；多车厢图像融合单元，对各摄像头进行全局白平衡，对各裁剪过后的单独车厢鸟瞰图的各边缘进行加权融合，以消除多车厢鸟瞰图拼接的拼接缝。3.利用权利要求1所述的多编组变角度车辆全景环视系统进行标定和拼接的方法，其特征在于，具体包括以下步骤：S1、鱼眼图像畸变校正单元用于根据各鱼眼摄像头的内部结构和建立的畸变模型，标定得到摄像头参数和畸变矫正参数，得到从鱼眼图像到畸变矫正图像的映射关系；S2、在各个鱼眼摄像头所抓取的图像中，检测标定布角点；S3、根据S2检测得到的实际角点位置，结合测量场景得到的理想角点位置，将来自不同鱼眼摄像头的图像，投影...

【专利技术属性】
技术研发人员：曹心成，陈凯，刘百超，
申请(专利权)人：长沙立中汽车设计开发股份有限公司，
类型：发明
国别省市：湖南,43