一种车辆夜间辅助驾驶仪及其多视场图像拼接、图像融合处理方法技术

本发明专利技术提供一种车辆夜间辅助驾驶仪及其多视场图像拼接、图像融合处理方法。该车辆夜间辅助驾驶仪包括夜视摄像头组件、安装支架、显示设备，其中夜视摄像头组件包括主视场微光镜头、辅视场微光镜头、主视场红外镜头以及超广角微光镜头等多个图像传感器组件。这些不同功能的镜头主要负责采集路况图像，然后对采集到的图像分类进行拼接和融合处理，由此形成的超广角、高分辨率图像通过显示设备显示出来，辅助驾驶员在低照度或夜间环境下驾驶车辆，提高了驾驶的安全性。高了驾驶的安全性。

【技术实现步骤摘要】
一种车辆夜间辅助驾驶仪及其多视场图像拼接、图像融合处理方法


[0001]本专利技术涉及光电设备
，具体涉及一种车辆夜间辅助驾驶仪及其多视场图像拼接、图像融合处理方法。

技术介绍

[0002]车辆作为人员、物资、设备的运输载体，具有用途广、数量大等特点，已成为保障机动的主要平台，其夜间行驶能力十分关键。作为众多夜视装备中的一种，车辆夜间驾驶仪是有效支持车辆全天时、全天候正常服役的重要辅助装备，确保其在夜晚或烟、雾、雨、雪等低能见度天气条件下，探测、识别道路信息，显示车辆驾驶所需的视频图像信息，辅助驾驶员观察道路及周边环境，最终确保车辆装备满足夜间机动性和行驶安全性要求。
[0003]目前已有的夜间驾驶仪视场较小，在车辆拐弯、上坡时视野无法需求，存在较大的观察盲区。此外单一红外型的夜间驾驶仪在低照度环境下很难分辨复杂路况信息，不能满足车辆在夜间的行使机动性及安全性要求。因此，开发多镜头或多传感器的夜间驾驶仪很有必要，这就涉及图像拼接和图像融合技术。
[0004]图像拼接是将同一场景的多个重叠图像拼接成较大图像的一种方法，通过图像处理算法能够实现不同摄像头在不同方向视场图像的融合，其在医学成像、计算机视觉、卫星数据、军事目标自动识别等领域具有重要意义。图像拼接的输出是两个输入图像的并集，但它的基本思想并非简单的将两张有共同区域的图像按照相同的区域重合起来，而是以一张图像为基准对另外一张图像进行相应的透视变换，然后将透视变换后的图像进行简单的平移后与基准图像的共同区域进行重合。图像融合则是将两个或两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息加以综合，以生成新的有关此场景解释的信息处理过程。这也就是说，图像融合是图像拼接的关键技术，它囊括于图像拼接之中。

技术实现思路

[0005]本专利技术的目的之一在于提供一种车辆夜间辅助驾驶仪，其主要包括夜视摄像头组件、显示设备，所述夜视摄像头组件至少包括红外镜头、微光镜头、超广角镜头。
[0006]进一步的，所述夜视摄像头组件安装在车外，所述显示设备安装在车内，并且夜视摄像头组件、显示设备之间以无线或有线的方式进行通信，由此完成图像采集和输出。
[0007]进一步的，所述夜视摄像头组件通过磁吸的方式固定在车顶或车盖上，所述显示设备通过安装支架真空吸附在驾驶室顶部或挡风玻璃上。
[0008]进一步的，所述夜视摄像头组件包括常规微光镜头、主视场红外镜头、超广角微光镜头，各个镜头均布置在车辆夜间辅助驾驶仪壳体的同一侧面上。
[0009]进一步的，所述常规微光镜头包括1个主视场微光镜头和至少2个辅视场微光镜头，所述主视场微光镜头正对前方，辅视场微光镜头围绕在主视场微光镜头周围，并且倾斜
一定角度朝向不同方位。
[0010]进一步的，所述主视场微光镜头对应的视场为57.6
°
(H)
×
43.6
°
(V)，所述辅视场微光镜头对应的视场为50.7
°
(H)
×
41.5
°
(V)，所述主视场红外镜头对应的视场为50.7
°
(H)
×
41.5
°
(V)，所述超广角微光镜头对应的视场为89
°
(H)
×
66
°
(V)。不同镜头的作用不同，各司其职且不能相互代替，其中主视场微光镜头主要用于主视场微光观察以及融合观察；辅视场微光镜头主要用于从其他角度辅助微光观察，进而与主视场微光镜头进行拼接；主视场红外镜头主要用于主视场红外观察、融合观察；超广角微光镜头主要用于辅助车辆拐弯及上坡观察。
[0011]本专利技术的目的之二在于提供上述车辆夜间辅助驾驶仪的多视场图像拼接、图像融合处理方法，包括以下步骤：(a)夜视摄像头组件中的各个镜头获取车辆运动方向上的图像；(b)选择性对获取的不同类型图像进行融合、拼接处理，得到目标图像后输出至显示设备上显示出来，供驾驶员参考路况。
[0012]进一步的，图像融合处理的具体过程如下：首先对主视场微光镜头、主视场红外镜头获得的图像进行二维经验模式分解，分别得到一系列子图像和残余图像；对子图像进行区域映射处理；对残余图像进行加权融合得到初始融合图像，运用模糊均值聚算类算法对初始融合图像进行基于梯度的区域分割；最后将区域分割处理后的残余图像与映射处理后的子图像各个区域进行加权融合，重构得到融合图像。
[0013]进一步的，图像拼接处理的具体过程如下：首先依次利用FAST算法、BRIEF算法对主视场微光镜头、辅视场微光镜头获得的图像进行特征点检测，然后分别利用汉明距离、RABSAC算法对特征点进行粗匹配和精匹配，根据匹配得到的多个特征点计算两幅拼接图像之间的单应性变换矩阵，最后进行重叠区融合得到拼接图像。
[0014]进一步的，经过融合、拼接处理得到的目标图像的视场角为145
°
(H)
×
43
°
(V)。
[0015]本专利技术开发了一种基于多视场图像拼接、图像融合技术的车辆夜间辅助驾驶仪，利用夜视摄像头组件中的不同镜头获取不同的图像，然后对这些图像进行拼接和融合处理，最终形成超广角、高分辨率图像并输出到车内的显示组件上，为驾驶员提供详细的路况信息，辅助驾驶员驾驶车辆。本专利技术提供的车辆夜间辅助驾驶仪具有以下优势：(1)利用多个不同类型的镜头获取了各种不同的路况图像，经过图像融合和图像拼接处理后形成了超广角、高分辨率的图像，能够帮助驾驶员在低照度或夜间环境下操控车辆行驶，大幅度减少了观察盲区同时提高了安全性和可靠性；(2)该车辆夜间辅助驾驶仪采用模块化、标准化设计，生产成本较低，各模块机械接口、电气接口具有一致性，产品软件具有通用性，各模块可以直接互换，安装拆卸方便快捷。
附图说明
[0016]图1为车辆夜间辅助驾驶仪安装示意图；
[0017]图2为夜视摄像头组件主视图；
[0018]图3为图像拼接流程示意图；
[0019]图4为图像融合流程示意图。
[0020]其中1
‑
夜视摄像头组件，2
‑
安装支架，3
‑
显示设备，4
‑
主视场微光镜头，5
‑
辅视场微光镜头，6
‑
主视场红外镜头，7
‑
超广角微光镜头，8
‑
壳体，9
‑
摄像头支架。
具体实施方式
[0021]为使本领域普通技术人员充分理解本专利技术的技术方案和有益效果，以下结合具体实施例及附图进行进一步说明。
[0022]如图1
‑
2所示的一种车辆夜间辅助驾驶仪，主要包括夜视摄像头组件(1)、安装支架(2)、显示设备(3)，其中夜视摄像头组件(1)包括主视场微光镜头(4)、辅视场微光镜头(5)、主视场红外镜头(6)、超本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆夜间辅助驾驶仪，其特征在于：该车辆夜间辅助驾驶仪包括夜视摄像头组件、显示设备，所述夜视摄像头组件至少包括红外镜头、微光镜头、超广角镜头。2.如权利要求1所述的车辆夜间辅助驾驶仪，其特征在于：所述夜视摄像头组件安装在车外，所述显示设备安装在车内，并且夜视摄像头组件、显示设备之间无线连接或有线连接。3.如权利要求2所述的车辆夜间辅助驾驶仪，其特征在于：所述夜视摄像头组件可分离式固定在车顶或车盖上，所述显示设备可分离式固定在驾驶室顶部或挡风玻璃上。4.如权利要求1所述的车辆夜间辅助驾驶仪，其特征在于：所述夜视摄像头组件包括常规微光镜头、主视场红外镜头、超广角微光镜头，各个镜头均布置在车辆夜间辅助驾驶仪壳体的同一侧面。5.如权利要求4所述的车辆夜间辅助驾驶仪，其特征在于：所述常规微光镜头包括1个主视场微光镜头和至少2个辅视场微光镜头，所述主视场微光镜头正对前方，所述辅视场微光镜头围绕在主视场微光镜头周围，并且倾斜一定角度朝向不同方位。6.如权利要求5所述的车辆夜间辅助驾驶仪，其特征在于：所述主视场微光镜头对应的视场为57.6
°
(H)
×
43.6
°
(V)，所述辅视场微光镜头对应的视场为50.7
°
(H)
×
41.5
°
(V)，所述主视场红外镜头对应的视场为50.7
°
(H)
×
41.5
°
(V)，所述超广角...

【专利技术属性】
技术研发人员：郭太波，黄德军，侯志超，周威，韩志刚，刘岩，冯闯，
申请(专利权)人：湖北华中长江光电科技有限公司，
类型：发明
国别省市：