异源图像融合的夜视抗晕光视频处理方法技术

本发明专利技术公开了一种异源图像融合的夜视抗晕光视频处理方法。该方法通过研究两帧图像特征向量余弦夹角θ、非线性相关信息熵NCIE与去帧率之间的相关性，确定视频内容连续的最佳余弦夹角阈值，舍弃视频序列中的冗余帧，仅对保留帧进行抗晕光融合处理，可极大地提高算法的处理效率，解决了夜视抗晕光视频融合方法在信息融合过程中导致的数据膨胀问题；通过保留提取帧的原始帧号作为时间标记，确定各提取帧之间的待插帧数，恢复了去帧后的视频帧率；利用帧间内容差异计算物体的运动矢量，通过对基准运动矢量赋予不同的自适应权重，得到待插帧与参考帧之间的运动矢量，从而构建出与原视频同步的待插帧图像，解决了插帧后视频与原视频的内容不同步的问题。

【技术实现步骤摘要】
异源图像融合的夜视抗晕光视频处理方法
本专利技术属于夜视抗晕光
，尤其涉及一种异源抗晕光融合视频的帧提取与补偿插帧方法，具体涉及一种异源图像融合的夜视抗晕光视频处理方法。
技术介绍
通过红外与可见光图像融合技术可消除夜视图像中的晕光，提高图像的色彩、细节信息，改善夜视图像的成像质量，其发展经历了两个阶段，早期采用色彩空间、空间多分辨率等单一变换的融合方法，具有算法简单、处理速度快等优点，但融合图像存在晕光消除不彻底、边缘轮廓信息模糊等问题；后续发展的色彩空间与多分辨率、多尺度变换相结合的融合方法效果显著，能够完全消除晕光，且融合图像细节清晰、色彩丰富，但因为算法复杂度较高、处理效率低，适用于单帧图像的处理，应用于视频融合易造成视频播放卡顿、不连续等问题，难以达到人眼观察要求的视觉效果。
技术实现思路
本专利技术针对夜视抗晕光融合方法在处理视频图像时存在播放卡顿、不连续，难以达到人眼观察要求的视觉效果的问题，设计了一种异源图像融合的夜视抗晕光视频处理方法，用于提高夜视抗晕光视频图像融合效率，改善夜视抗晕光融合视频的视觉效果。为了达到上述目的，本专利技术的技术方案是：一种异源抗晕光融合视频的帧提取与补偿插帧方法，包括基于视频帧间内容相关性的帧提取步骤和具有时间标记的自适应补偿插帧步骤两个部分：基于视频帧间内容相关性的帧提取步骤，包括以下具体步骤：步骤1、获取可见光晕光图像的RGB直方图；步骤2、构建4灰度分区的RGB直方图特征向量，将RGB三维向量映射为一维特征向量；步骤3、计算参考帧和当前帧的特征向量余弦夹角θ(r,c)；步骤4、将参考帧特征向量R和当前帧特征向量C之间的余弦夹角θ(r,c)、参考帧特征向量R和当前帧C的上一帧特征向量之间的余弦夹角θ(r,c-1)，分别与设定阈值τ进行比较，阈值τ取值为1.5～2.2，判定当前帧C的上一帧是冗余帧还是保留帧；步骤5、若当前帧C的上一帧为舍弃帧，则参考帧R不变，将当前帧C的下一帧设为新的当前帧；若当前帧C的上一帧为保留帧S，则当前帧C不变，将当前帧C的上一帧设为新的参考帧；再返回到步骤1，按照计算规则，依次迭代并确定整个视频序列的所有保留帧S及其相应的帧号。二、具有时间标记的自适应补偿插帧步骤，包括以下具体步骤：步骤1、对步骤一得到的保留帧序列，由两相邻保留帧的序号之差确定二者之间的待插帧数，实现两保留帧中间的插帧数与原视频帧数相同；步骤2、根据下式，确定参考帧和各待插帧(insertedframes)之间的运动矢量MVri，构建出与原视频内容同步的各待插帧图像MVri＝λMVrs式中，下标r表示参考帧，为两相邻保留帧的第1帧；下标s表示保留帧，为两相邻保留帧的第2帧；下标i表示第i个待插帧；λ为自适应权重，随帧间内容差异变化自动调节；MVrs为参考帧与保留帧间的运动矢量。自适应权重λ由下式确定：式中，θri为当前的参考帧与待插帧特征向量之间的余弦夹角；θrs为当前的参考帧与保留帧特征向量之间的余弦夹角；1/θrs为权重的自适应调节系数，在整个插帧过程中随参考帧和保留帧的更新而自动调整。上述步骤一的具体步骤4中，阈值τ取1.8。位于NCIE平稳区的中间位置，距离NCIE突变的拐点较远且去帧率也较高，能保证在视频序列连续的前提下最大限度的安全去帧，即视频内容连续时的最低传输帧数，有效地减少了帧间冗余且满足人眼视觉特性。上述第一部分的步骤2，包括以下的具体处理步骤：步骤2.1根据下式，将每一个RGB像素值映射为一个整数；indexi＝[Bi/64]×42+[Gi/64]×41+[Ri/64]×40,1≤i≤N式中，indexi为第i个像素点3个像素值的映射值，取值范围为[0,63]中的整数，Ri、Gi、Bi为图像中第i个像素点的像素值，N为总像素点。([Rimod64],[Gimod64],[Bimod64])是从低到高共三位的四进制数，有(0,1,2,3)四个颜色分区。步骤2.2统计整幅图像中每种映射值的数量，64种映射值的数量就构成了一维特征向量X，记为X＝(Num0,Num1,…,Num63)。上述第一部分的步骤3，特征向量余弦夹角θ(r,c)由下述公式计算得到：式中，参考帧的特征向量R＝[r0,r1,...,r63]，当前帧的特征向量C＝[c0,c1,...,c63]。θ(r,c)越接近0，表示两帧图像差异越小；反之两帧差异越大。本专利技术首先提供了一种帧提取方法，可大大减少了夜视抗晕光处理的运算量，使去帧后的视频内容连续，但去帧后视频帧率低于原视频的帧率，视频播放的视觉效果不满足实际要求。本专利技术在帧提取步骤之后又提供了自适应补偿插帧步骤，用于恢复去帧后的视频帧率。与现有技术相比，本专利技术的有益效果如下：1.本专利技术提供的异源夜视抗晕光融合视频的帧提取步骤中，去除了视频序列中的冗余帧，大大缩减了夜视抗晕光融合方法的运算量，解决了夜视抗晕光融合方法在信息融合过程中造成的数据膨胀问题，有效提高了夜视抗晕光融合方法的处理效率。为进一步的处理奠定了基础。2.本专利技术提供的异源夜视抗晕光融合视频的自适应补偿插帧步骤，通过保留视频帧号作为时间标记，避免了传统插帧方法存在的插帧数过少或者过多而导致的视频画面加速或者减速以及静止等现象，保证了插帧后视频的帧数、时长与原采集视频保持一致，恢复了去帧后的视频帧率；根据帧间内容差异自动调节待插帧的运动矢量，解决了插帧后视频与原采集视频内容不同步的问题，有效提高了夜视抗晕光融合后视频的视觉效果。3、本专利技术的方法处理效率高，可有效改善视频播放的视觉效果，本专利技术结合了红外图像无晕光、可见光图像色彩细节信息丰富的优点，为解决夜间行车的晕光问题提供了一种新途径，有很好的应用前景。附图说明图1是视频帧提取流程图；图2是红外慢速运动视频序列第1帧图像；图3是红外慢速运动视频序列第4帧图像；图4是红外慢速运动视频序列第6帧图像；图5是红外慢速运动视频序列第12帧图像；图6是红外快速运动视频序列第1帧图像；图7是红外快速运动视频序列第3帧图像；图8是红外快速运动视频序列第4帧图像；图9是红外快速运动视频序列第7帧图像；图10是参考帧34和保留帧38之间舍弃的原序列第35帧图像；图11是参考帧34和保留帧38之间舍弃的原序列第36帧图像；图12是参考帧34和保留帧38之间舍弃的原序列第37帧图像；图13是参考帧34和保留帧38之间传统运动补偿插帧恢复的第1帧图像；图14是参考帧34和保留帧38之间传统运动补偿插帧恢复的第2帧图像；图15是参考帧34和保留帧38之间传统运动补偿插帧恢复的第3帧图像；图16是参考帧34和保留帧38之间优化运动补偿插帧恢复的第35帧图像；图17是参考帧34和保留帧38本文档来自技高网...

【技术保护点】
1.异源抗晕光融合视频的帧提取与补偿插帧方法，其特征在于：包括基于视频帧间内容相关性的帧提取步骤和具有时间标记的自适应补偿插帧步骤，所述基于视频帧间内容相关性的帧提取步骤包括如下步骤：/n步骤1、获取可见光晕光图像的RGB直方图；/n步骤2、构建4灰度分区的RGB直方图特征向量，将RGB三维向量映射为一维特征向量；/n步骤3、计算参考帧和当前帧的特征向量余弦夹角θ

【技术特征摘要】
1.异源抗晕光融合视频的帧提取与补偿插帧方法，其特征在于：包括基于视频帧间内容相关性的帧提取步骤和具有时间标记的自适应补偿插帧步骤，所述基于视频帧间内容相关性的帧提取步骤包括如下步骤：
步骤1、获取可见光晕光图像的RGB直方图；
步骤2、构建4灰度分区的RGB直方图特征向量，将RGB三维向量映射为一维特征向量；
步骤3、计算参考帧和当前帧的特征向量余弦夹角θ(r,c)；
步骤4、将参考帧特征向量R和当前帧特征向量C之间的余弦夹角θ(r,c)、参考帧特征向量R和当前帧C的上一帧特征向量之间的余弦夹角θ(r,c-1)，分别与设定阈值τ进行比较，阈值τ取值为1.5～2.2，判定当前帧C的上一帧是冗余帧还是保留帧；



步骤5、若当前帧C的上一帧为舍弃帧，则参考帧R不变，将当前帧C的下一帧设为新的当前帧；若当前帧C的上一帧为保留帧S，则当前帧C不变，将当前帧C的上一帧设为新的参考帧；再返回到步骤1，按照计算规则，依次迭代并确定整个视频序列的所有保留帧S及其相应的帧号；
所述具有时间标记的自适应补偿插帧步骤包括如下步骤：
步骤1、对步骤一得到的保留帧序列，由两相邻保留帧的序号之差确定二者之间的待插帧数，实现两保留帧中间的插帧数与原视频帧数相同；
步骤2、根据下式，确定参考帧和各待插帧(insertedframes)之间的运动矢量MVri，构建出与原视频内容同步的各待插帧图像
MVri＝λMVrs
式中，下标r表示参考帧，为两相邻保留帧的第1帧；下标s表示保留帧，为两相邻保留帧的第2帧；下标i表示第i个待插帧；λ为自适应权重，随帧间内容差异变化自动调节；MVrs为参考帧与保留帧间的运动矢量。
自适应权重λ由下式确定：

【专利技术属性】
技术研发人员：郭全民，柴改霞，田英侠，范文明，陈阳，杨建华，
申请(专利权)人：西安工业大学，
类型：发明
国别省市：陕西;61