车载周视双光谱视景增强系统及车辆视景增强方法技术方案

本发明专利技术属于视景增强技术领域，尤其为一种车载周视双光谱视景增强系统及车辆视景增强方法，该车载周视双光谱视景增强系统包括双光谱成像装置、视景增强装置、图像实时显示及记录装置和高精度定位装置，双光谱成像装置用于采集周边视景，并通过视景增强装置对采集的红外图像和微光图像进行融合增强以及拼接，然后在图像实时显示及记录装置显示、存储和回放；高精度定位装置能够将位置信息和数字地图相融合，使得显示屏能够显示当前位置信息；该车辆视景增强方法能够获得全景增强视景图像，使得车辆、战车、飞机等操控过程中，在较为恶劣环境下，驾驶室中能够获取清晰、完整的视景，提高驾驶安全性。驾驶安全性。驾驶安全性。

【技术实现步骤摘要】
车载周视双光谱视景增强系统及车辆视景增强方法


[0001]本专利技术属于视景增强
，具体涉及一种车载周视双光谱视景增强系统及车辆视景增强方法。

技术介绍

[0002]对于环境、气候恶劣，视景不好的驾驶场景，会严重影响驾驶安全和正确的驾驶路径。比如，在现代战场上，坦克作为集群突击力量的地位正逐步降低，取而代之的是这样一个大型战斗平台作为陆战信息化节点的地位正日渐突出，而为了扮演好这一角色，坦克必须拥有极强的、全天候的态势感知能力，能够准确判断周围环境情况；又如，飞机起降、飞行过程中，在天气恶劣情况下，容易出现延误和航班变动，并存在较大的起降隐患；再如，汽车行驶中，光线不好、雨天情况下，也对驾驶带来较大困难。
[0003]车辆、飞机等驾驶舱视景增强技术有利于提高驾驶便捷性及安全性，比如，现有技术中，公开号为CN106611414A的中国专利文献记载了一种增强视景系统及增强视景中跑道的增强显示方法，通过在飞机驾驶舱中突出显示跑道画面。公开号为CN104044745A的中国专利文献记载了一种飞机驾驶舱显示器以及用于组合视景显示中的障碍物的增强显示的系统和方法，通过将障碍物的合成视景图像覆盖在增强视景图像之上，使得障碍物的在视觉上突显。这两种方法都是将局部的视景增强，不便于从全局掌握视景情况。

技术实现思路

[0004]本专利技术旨在提供一种车载周视双光谱视景增强系统及车辆视景增强方法，解决现有技术中不能从全景上对视景增强的技术问题。
[0005]为解决上述技术问题，本专利技术的第一方面是：
[0006]提供一种车载周视双光谱视景增强系统，包括：
[0007]双光谱成像装置，其包括多个双光谱成像模块，每个所述双光谱成像模块包括一套红外传感器和一套微光传感器，以用于对外界景物进行红外/微光成像，并分别输出红外视频和微光视频；
[0008]视景增强装置，其包括多个视景增强模块和一个图像拼接模块，所述视景增强模块用于对应接收所述双光谱成像模块输出的红外视频和微光视频，并对两路视频进行视景增强处理，所述全景图像拼接模块用于对各路视景增强后的视频进行拼接处理；
[0009]图像实时显示及记录装置，其包括视频记录及实时显示处理模块、磁盘阵列、显示屏，以用于对全景拼接后的视频图像进行实时显示处理、存储、回放；
[0010]高精度定位装置，其包括数字地图处理单元、高精度定位处理模块、图像融合处理模块，以用于对行进车辆进行实时定位并叠加数字地图后送往所述图像实时显示及记录装置显示并存储。
[0011]优选的，所述图像实时显示及记录装置还设有与所述实时显示处理模块信号连接的压缩模块，所述磁盘阵列信号连接到所述压缩模块；在所述实时显示处理模块的控制下，
全景拼接后的视频图像先在所述显示屏上实时显示，然后再经过所述压缩模块压缩存储在所述磁盘阵列中。
[0012]优选的，所述视景增强模块包括FPGA+DSP单元，以及分别用于接收红外图像和微光图像的第一视频解码单元、第二视频解码单元，所述第一视频解码单元、第二视频解码单元与所述FPGA+DSP单元信号连接。
[0013]优选的，所述图像拼接模块包括FPGA+DSP+QDR单元、第三视频解码单元，所述第三视频解码单元信号连接到所述FPGA+DSP+QDR单元，所述第三视频解码单元用于接收各所述视景增强模块输出的图像信号。
[0014]本专利技术的第二方面是：
[0015]提供一种车辆视景增强方法，用于通过宽视场相机拍摄的红外图像与微光图像进行视景增强，包括以下步骤：
[0016](1)微光图像去噪增强：包括图像去噪步骤和图像增强步骤；
[0017](2)图像畸变校正，包括：
[0018](2.1)通过摄像头标定法获得摄像头的内外参及畸变系数，以用于计算三维空间点与图像中对应点的映射关系；
[0019](2.2)建立宽视场相机畸变模型：
[0020]由于图像径向畸变程度沿径向方向增加，对于图像上的任意畸变点p，其校正后的坐标可由与距离相关的多项式函数拟合，该多项式函数表示为：
[0021][0022][0023]其中，坐标(x,y)为畸变点p的归一化坐标，坐标表示径向畸变校正后点的坐标，r为畸变点p的径向距离，k1、k2、k3为径向畸变系数；
[0024]对于宽视场相机，畸变点p的切向畸变同样破坏了部分图像结构，其数学表达式为：
[0025][0026]联合以上数学表达式，对于任意相机坐标P＝(X,Y,Z)，其在归一化平面上的校正点为(x＇,y＇)，畸变模型表示为：
[0027][0028]最后，利用相机内参矩阵得到像素平面上点的正确位置坐标(u,v)表示为：
[0029][0030]其中，g
x
与g
y
为内参矩阵函数，x
c
与y
c
为像素坐标系下原点平移的距离；
[0031](3)红外图像与微光图像异源匹配：
[0032]将红外图像与微光图像融合，使红外图像与微光图像的两个传感器上各像素点对应的空间位置一致，提取两种图像的确定性特征点并建立相互联系，利用这种联系消除红外和微光图像的视觉差异，达到图像配准目的；
[0033](4)红外与微光图像融合增强：
[0034]采用指导性滤波器作为图像多尺度分解算法，将图像分解为基础层和细节层，在基础层中采用显著性检测的结果作为权重融合基础，在细节层使用区域最大作为细节层的融合结果，最后对融合得到的细节层以及基础层进行合并，得到融合图像，提高红外图像与微光图像的融合效果；
[0035](5)进行图像全景拼接。
[0036]优选的，在所述步骤(1)中，采用多帧累加平均法、均值滤波法、中值滤波处理法或/和众值滤波法进行图像去噪；所述图像增强步骤中，通过双直方图均衡化方法和强光抑制方法对图像进行增强。
[0037]优选的，在所述步骤(2.1)中，采用张正友标定法、全向相机标定法、自标定法进行摄像头标定。
[0038]优选的，在所述步骤(3)中，采用基于特征的图像配准方法对红外图像和微光图像进行异源匹配，并采用最小二乘法进行特征匹配；特征匹配过程中，引入仿射变形系数以减少特征匹配时有可能出现的误差，以抑制由于视角变化大导致误匹配的可能；另一方面，采用具有颜色不变性的SIFT匹配结果作为迭代初始值，加快最小二乘法的迭代速度，保证收敛性。
[0039]优选的，所述步骤(5)具体包括：
[0040](5.1)首先根据宽视场相机焦距参数对待拼接图像进行柱面投影，得到待拼接图像的柱面投影图像；
[0041](5.2)然后对柱面投影图像利用基于特征点的图像配准方法进行配准；
[0042](5.3)接着利用配准后得到的特征点对计算图像变换模型参数，将图像以重采样坐标变换方法变换到同一坐标系下；
[0043](5.4)最后采用线性加权融合方法处理待拼接图像在灰度和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载周视双光谱视景增强系统，其特征在于，包括：双光谱成像装置，其包括多个双光谱成像模块，每个所述双光谱成像模块包括一套红外传感器和一套微光传感器，以用于对外界景物进行红外/微光成像，并分别输出红外视频和微光视频；视景增强装置，其包括多个视景增强模块和一个图像拼接模块，所述视景增强模块用于对应接收所述双光谱成像模块输出的红外视频和微光视频，并对两路视频进行视景增强处理，所述全景图像拼接模块用于对各路视景增强后的视频进行拼接处理；图像实时显示及记录装置，其包括视频记录及实时显示处理模块、磁盘阵列、显示屏，以用于对全景拼接后的视频图像进行实时显示处理、存储、回放；高精度定位装置，其包括数字地图处理单元、高精度定位处理模块、图像融合处理模块，以用于对行进车辆进行实时定位并叠加数字地图后送往所述图像实时显示及记录装置显示并存储。2.根据权利要求1所述的车载周视双光谱视景增强系统，其特征在于，所述图像实时显示及记录装置还设有与所述实时显示处理模块信号连接的压缩模块，所述磁盘阵列信号连接到所述压缩模块；在所述实时显示处理模块的控制下，全景拼接后的视频图像先在所述显示屏上实时显示，然后再经过所述压缩模块压缩存储在所述磁盘阵列中。3.根据权利要求1所述的车载周视双光谱视景增强系统，其特征在于，所述视景增强模块包括FPGA+DSP单元，以及分别用于接收红外图像和微光图像的第一视频解码单元、第二视频解码单元，所述第一视频解码单元、第二视频解码单元与所述FPGA+DSP单元信号连接。4.根据权利要求1所述的车载周视双光谱视景增强系统，其特征在于，所述图像拼接模块包括FPGA+DSP+QDR单元、第三视频解码单元，所述第三视频解码单元信号连接到所述FPGA+DSP+QDR单元，所述第三视频解码单元用于接收各所述视景增强模块输出的图像信号。5.一种车辆视景增强方法，其特征在于，采用权利要求1
‑
4任一项所述的车载周视双光谱视景增强系统，权利要求1
‑
4任一项所述的车载周视双光谱视景增强系统属于宽视场相机，该车辆视景增强方法用于对通过宽视场相机拍摄的红外图像与微光图像进行视景增强，包括以下步骤：(1)微光图像去噪增强：包括图像去噪步骤和图像增强步骤；(2)图像畸变校正，包括：(2.1)通过摄像头标定法获得摄像头的内外参及畸变系数，以用于计算三维空间点与图像中对应点的映射关系；(2.2)建立宽视场相机畸变模型：由于图像径向畸变程度沿径向方向增加，对于图像上的任意畸变点p，其校正后的坐标可由与距离相关的多项式函数拟合，该多项式函数表示为：可由与距离相关的多项式函数拟合，该多项式函数表示为：
其中，坐标(x,y)为畸变点p的归一化坐标，坐标表示径向畸变校正后点的坐标，r为畸变点p的径向距离，k1、k2、k3为径向畸变系数；对于宽视场相机，畸变点p的...

【专利技术属性】
技术研发人员：张明兴，
申请(专利权)人：吉林省中业光电技术有限公司，
类型：发明
国别省市：