一种基于多相机提高图像帧频和分辨率的方法技术

本发明专利技术涉及一种基于多相机提高图像帧频和分辨率的方法，包括步骤a)成像系统光学结构设计，将每个成像器装配一个光学镜头组成相互独立的相机，相机间构成紧密排列的阵列，每个相机的视场角覆盖同一场景，且每个相机的成像图像间相互还存在亚像元位移；b)成像电路与时序设计，成像系统在接受到外部信号触发进行时成像时，通过成像电路与时序设计，使得时序控制电路依次控制启动各个相机成像得到低分辨率数字图像序列；c)高分辨率图像帧重构及视频输出，数据处理单元在接受到步骤b)中各个相机采集的低分辨率数字图像序列后，从中提取特征点并根据相似原则进行特征点匹配，估计视频间的时空配准参数，重构高分辨率图像帧并进行视频输出。

【技术实现步骤摘要】

本专利技术属于图像的增强或复原处理领域，具体涉及一种通过使用多幅图像提高视 频图像分辨的方法。
技术介绍
随着数字成像设备的广泛使用和技术的发展，大量的图像应用要求处理数字成 像设备的数字图片，而图像在各个领域的应用又促使人们对图像质量提出了更高的要求。图像分辨率是图像质量的一项重要指标，高分辨率图像在遥感监测、军事侦察、交 通及安全监控、医学诊断处理、模式识别等专业领域起着非常重要的作用，在日常应用中， 高分辨率图像能带来也良好的视觉感受。 但是，任何摄像设备的所成图像均受成像系统物理条件限制。现有的通过提高工 艺水平，减小探测元尺寸，增加探测元集成数量，虽然可以达到提高图像分辨率的目的， 但这些手段受到现有技术水平和设备本身特性的限制，进一步减小探测元尺寸，增加探测 元集成数量，会导致设备的价格不成比例的急剧提高，使其无法得到普及使用。同样为了提 高视频的帧频，需要采用高速摄影设备，而随着帧频的提高，设备的成本也会不成比例的大 幅度提1?。 中国专利CN201310138393. 8公开了一种多线阵(XD亚像元错位成像超分辨率重 构方法，能够线阵数大于2的多线阵CCD成像进行超分辨率重构，但该方法只适用于对采用 多线阵CCD集成在一个芯片的情况下，而这种情况时虽然能够一定程度的突破现有探测元 集成数量上限，但还是受技术水平限制不能大幅度提高，若采用现有摄像设备组成类似复 眼结构的多相机阵列，虽然可以突破现有技术中对探测元集成数量的数量，但该申请中公 开的方法并不适用。 中国专利CN201310157445. 6公开了一种用于焦平面探测器的微扫描图像重构方 法，但该方法仅适用于对焦平面探测器成像数据的处理，并不适用于采用现有摄像设备组 成类似复眼结构的多相机阵列，且该方法仅能提高图像分辨率，并不能提高视频图像的帧 频。 因此为了降低设备成本，充分利用现有的摄像设备组成类似复眼的多相机阵列 时，现有的数据处理方法存在着无法实现对多相机阵列采集到的图像数据进行重构以得到 高分辨率图像或提高视频图像帧频问题，因此需要提供一种基于多相机阵列的，能够同时 解决提高视频图像分辨率和图像帧频问题的方法
技术实现思路
本专利技术的目的是，提供，充分利用 了多相机构造类复眼成像系统和同场景低分辨率视频图像重建高分辨率图像和提高视频 图像帧频的方法。 为了实现本专利技术的目的，本专利技术提供了一种基于多相机提高图像帧频和分辨率的 方法，包括步骤：a)成像系统光学结构设计 将每个成像器装配一个光学镜头组成相互独立的相机，所述相互独立的相机之间 构成紧密排列的阵列，相机数量η> 3。每个相机的视场角覆盖同一场景，且每个相机的成 像图像间相互还存在亚像元位移； b)成像电路与时序设计 成像系统在接受到外部信号触发进行时成像时，通过成像电路与时序设计，使得 时序控制电路依次控制启动各个相机成像得到低分辨率数字图像序列；c)高分辨率图像帧重构及视频输出 数据处理单元在接受到步骤b)中各个相机采集的低分辨率数字图像序列后，从 中提取特征点并根据相似原则进行特征点匹配，匹配完成后运用RANSAC鲁棒估计方法估 计视频间的时空配准参数，最后使用超分辨率重建方法重构高分辨率图像帧并进行视频输 出。 所述的基于多相机提高图像帧频和分辨率的方法，其特征是所述步骤a)，相机数量η彡7 所述步骤c)中超分辨率重建方法具体如下： 1)将步骤b)得到的低分辨率数字图像序列即k幅低分辨率数字图像&中的第一 幅g。图像作为参考图像，通过配准，估计出低分辨率图像gk与参考图像g。的子像素位移量， 得到第k张图像的几何变换算子Tk。首先对参考图像通过插值法求出高分辨率图像的估计 值作为初始值f(Q)用它来获取一组和观察图像{仏丨。湘对应的低分辨率图像{gf丨。； 其中，h为系统的点扩散函数，丨s为降采样算子； 2)把插值图像也中的每一个值，利用反投影核反投影到的fW的对应部 分，用来进一步改正初始假设值。以获得一幅较优的高分辨率图像f(1)。这个过程将一直被 重复，直到误差函数满足（2)式条件： 其中，丨s为上采样算子，k为参与重建的影像数量； 如果反投影核p满足下（3)式，则（2)式将按指数收敛； (3) 其中，δ为（〇,〇)处的单位脉冲函数； 3)根据图像信息对2)步得到的高分辨率图像f(1)进行唯一化处理，即获得高分辨 率图像帧。本专利技术提供的基于多相机提高图像帧频和分辨率的方法分为步骤a)~c)，首先 是进行成像系统光学结构设计，将所述相互独立的相机之间构成紧密排列的阵列，构成了 类仿生复眼结构。复眼是由许多小眼面组合而成，每个小眼面在光学上相当于一个小透 镜，每个小眼面代表一个小眼，每只小眼紧密排列，并自成一体，是一个独立的视觉功能 单元。把多个相机按照一定的规则组成一个类似复眼结构的光学成像系统，每个相机对同 一场景成像，且每个相机的成像图像间相互还存在亚像元位移；将得到的一系列相互间具 有亚像元位移的图像作为进行超分辨率图像重构的基础。其次是成像电路与时序设计，充 分利用了外部信号触发和电路时序控制，成像系统在接受到外部信号触发时，由时序控制 电路依次控制启动各个相机成像，也就是说相机间成像触发均存在微小的时间偏差，非同 步触发成像。最后，进行高分辨率图像帧重构及视频输出，利用超分辨率重建法对多个相 机依次触发成像得到的多组低分辨率图像序列，进行时空配准重建出图像高频细节信息， 提高输出图像的帧率和分辨率，在图像序列中提取特征点并根据相似性原则进行特征点匹 配，并运用RANSAC鲁棒估计方法估计视频间的时空配准参数。通过特征点匹配后，可以建 立图像帧间映射关系，最后再用超分辨率重建方法重构出高分辨率图像帧，采用本方法，可 以同时提高视频图像的分辨率和帧频，也可以根据实际情况需要，通过简单的参数设定在 使输出图像在侧重提高图像分辨率和侧重提高图像帧频之间变化，适用范围更加广泛。 本专利技术提供的基于多相机提高图像帧频和分辨率的方法具有以下优点： (1)充分利用了类复眼光学成像系统结构，克服了高分辨率成像器制作工艺困难 问题，降低了成本； (2)充分利用了多相机获取同场景的时空信息，增加当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于多相机提高图像帧频和分辨率的方法，其特征是包括步骤：a)成像系统光学结构设计将每个成像器装配一个光学镜头组成相互独立的相机，所述相互独立的相机之间构成紧密排列的阵列，相机数量n≥3，每个相机的视场角覆盖同一场景，且每个相机的成像图像间相互还存在亚像元位移；b)成像电路与时序设计成像系统在接受到外部信号触发进行时成像时，通过成像电路与时序设计，使得时序控制电路依次控制启动各个相机成像得到低分辨率数字图像序列；c)高分辨率图像帧重构及视频输出数据处理单元在接受到步骤b)各个相机采集的低分辨率数字图像序列后，从中提取特征点并根据相似原则进行特征点匹配，匹配完成后运用RANSAC鲁棒估计方法估计视频间的时空配准参数，最后使用超分辨率重建方法重构高分辨率图像帧,并进行视频输出。

【技术特征摘要】

【专利技术属性】
技术研发人员：吕绍杰，张永华，叶旭鸣，
申请(专利权)人：中国航天科工集团第三研究院第八三五七研究所，
类型：发明
国别省市：天津;12