一种基于混合成像系统的实现光场图像超分辨的方法技术方案

本发明专利技术涉及一种基于混合成像系统的实现光场图像超分辨的方法，属于光场成像领域。该方法通过引入一张额外的高分辨普通图像解决了手持式光场相机空间分辨率低下的问题。它首先将场景中的点进行分成两类，第一类点对应的像素出现在光场相机所有的视点中，剩下的点归为另一类。对于第一类点，采用改善的块匹配超分辨，第二类点用字典学习超分辨。最后将两种超分辨的结果整合起来，可以得到一张清晰的高分辨图像。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及，属于光场成像领域。该方法通过引入一张额外的高分辨普通图像解决了手持式光场相机空间分辨率低下的问题。它首先将场景中的点进行分成两类，第一类点对应的像素出现在光场相机所有的视点中，剩下的点归为另一类。对于第一类点，采用改善的块匹配超分辨，第二类点用字典学习超分辨。最后将两种超分辨的结果整合起来，可以得到一张清晰的高分辨图像。【专利说明】
本专利技术涉及光场成像领域，特别涉及一种基于混合成像系统的实现光场图像超分 辨的方法。
技术介绍
光场成像一直就是计算摄像学研究的热点，它不仅能够应用于三维重建，而且在 识别等人工智能领域也有诸多应用。特别是自从Ng提出了一种手持式光场相机之后，更是 把光场成像推上了热浪的漩涡之中。但是光场采集在实际当中仍然存在诸多问题，其中最 基本的问题是在传感器单元数目有限的情况下，如何折衷光场的空间分辨率和角度分辨 率。 如何权衡空间分辨率和角度分辨率，之前有很多工作者从硬件基础入手对此进行 研究，但是始终没有找到合适的解决办法。因此，在目前的工艺水平下，只能求助于算法，来 解决手持式光场相机空间分辨率低下的问题。 目前已知的实现光场图像超分辨的方法主要分为三大类。第一类是基于先验知识 或者模型通过数学分析推导，实现超分辨。Levin等人首先将基于贝叶斯的框架应用到光场 上。与此同时，Bishop也在贝叶斯框架下，利用Lambertian和纹理先验信息建立了一个精确 的图像公式。随后Kaushik Mitra使用高斯混合模型对光场图像的patches建模，通过贝叶 斯推断获得一个高分辨率的光场。虽然说先验知识在超分辨率至关重要，但是它只能给出 定性的概念，无法给出定量的描述。所以在使用过程中可以得到一定的效果，但是如果仅仅 靠先验知识是无法得到显著的效果。第二种方法是目前较为流行的字典学习超分辨。字典 学习方法的主要步骤分为两步:一是训练，二是重构。先用一组训练集按照某个约束训练出 一对字典，然后求出已知低分辨光场图像的低分辨率字典的稀疏表示，利用这个稀疏系数 和高分辨率字典重构出高分辨率光场图像。字典学习超分辨虽然可以实现较好的效果，但 是它的超分辨倍数有限，对于光场中需要超分辨到较大的倍数效果一般。第三种方法是基 于混合成像系统的超分辨方法。对于目前民用的手持式光场相机而言，由于相机本身空间 有限，不能容纳太多的传感器单元，所以要获得角度分辨率就必然以牺牲空间分辨率为代 价。
技术实现思路
本专利技术的目的在于提供，解 决分辨率低的问题。 为此，本专利技术提出的1、，其 特征在于包括如下步骤:S1、分析场景中的点，对场景中的点进行分类:对于那些没有高光 没有遮挡能够出现在光场相机所有视点中的点，将其分到第一类中，对于那些出现遮挡或 者是存在高光的情况的点，将其分到第二类中；S2、对于第一类中的点，利用改善过的块匹 配方法将其超分辨到指定的分辨率;S3、对于第二类中的点，利用字典学习的方法超分辨到 与步骤S2同样的分辨率;S4、结合步骤S2和步骤S3拼接出一张完整的高分辨的光场图像。 本专利技术的优点在于，本方法通过引入一张高分辨率的普通图像，结合块匹配和字 典学习两种不同的手段，实现了光场图像空间分辨率显著提高。【附图说明】 图1是本专利技术实施例在分类过程中计算1^示意图。 图2是本专利技术实施例改善的块匹配操作示意图。【具体实施方式】 本实施例提供了一种基于混合成像系统的提高光场空间分辨率的方法。本方法通 过引入一张高分辨率的普通图像，结合块匹配和字典学习两种不同的手段，实现了光场图 像空间分辨率显著提高。包括以下几个步骤：1)分析场景中的点，对场景中的点进行分类。 对于那些没有高光没有遮挡能够出现在光场相机所有视点中的点，将其分到第一类中，对 于那些出现遮挡或者是存在高光的情况的点，将其分到第二类中。2)对于第一类中的点，利 用改善过的块匹配方法将其超分辨到指定的分辨率。3)对于第二类中的点，利用字典学习 的方法超分辨到与步骤2)同样的分辨率。4)结合步骤2)和步骤3)拼接出一张完整的高分辨 的光场图像。 下面进行具体说明： 1、空间点的分类：光场图像用大写的F表示，F谦示光场中第j个视点的图像(j为正整数），高分辨率 图像用H表示。H的空间分辨率是Fj的N倍。如附图1所示，图中，"光场图像"，在本文指的是用 Iytro光场相机拍摄的数据，可以分解出不同视点的图像，"高分辨图像"是指用单反相机拍 摄的与Iytro相机相同场景的图像，左边的小黑方框是从光场相机获得的数据中某一个视 点下取得小patch，然后计算它的特征值(可以计算它的一阶和二阶梯度，此处我们计算它 的傅里叶变换）；右边大黑方框是从高分辨图像对应位置取得的patch，然后下采样(此处用 13；1；[111：1^11提出了这个算法，所以此处文中使用这个人 名指代这个算法，利用此算法，我们先得到一个初步的结果，也就是左边第二个小黑方框， 和右边匹配上的小黑方框，然后把小黑方框中的矩阵数据拉成向量处理，计算他们的欧式 距离（即2范数）。先从Fj提取η个patches(块），记为{pi,jh=i,2,.. .,η。接着对于每一个pi,j，从高分辨 率图像H中搜索最佳的匹配块，其中，具体步骤如下： 1)计算搜索半径dist。以光场中第j个视点的图像的第i个patch Pi,j为例，先计算 它水平上的一阶梯度、二阶梯度和垂直上的一阶梯度、二阶梯度，然后求这个梯度的平均值 grad，按照先验公式： 此处NN为要搜索最近邻的个数，是自己设定的一个参数，本例中设为9。可以计算 出与patch pi,j对应的搜索半径。 2)先把高分辨率图像H分块，记为{Ph, i }，其中Ph, i的空间分辨率是Pi, j的N倍。然后 将其下采样N倍得到对应的低分辨率的patches，记为{pi,i}。 3)对于pu，按照搜索半径dist从{p1;1}中搜索到最佳的匹配块，记为Λ,.。 根据上述三个步骤可计算出最佳匹配块。按照之前对于第一类的定义可知，第一 类的patches所包含的信息必然可以在高分辨率图像H中可以直接找到，所以pi, j与Λ,之间 的二范数1^非常小；而第二类的patches恰恰相反，其二范数相比较而言，比较大。所以，按 照如下公式将卜^丨^^…^分为两类：其中，CIj是一个系数，反映了一个场景中的遮挡高光等特征。Oj是所有patches对的 二范数的标准差。 2、改善之后的块匹配(对第一类的点）：由于所有patches进行傅里叶变换之后，主要包含的是直流信息，其他频率的信息 所占的比例太少，为了突出其他频率的信息，首先对它们去均值，去均值就是对一个patch 求均值，然后再用这个patch的每个像素值减去这个均值。在第2步中，对第一类点去均值， 且对{pi,U去均值。这一部分主要是对第一类的patches进行超分辨，为了区分，记这些 patches为。、将这些patches与在第一部分求得的对应的最佳匹配块组成patches对。首 先对ii.计算其傅里叶变换，记为，接着对它的最佳匹配块爲L.进行傅里叶变换，记为A & 尽管武,.是的最佳匹配块，但是它们之间匹配的仍然不是特别好。它们的幅度谱近本文档来自技高网...

【技术保护点】
一种基于混合成像系统的实现光场图像超分辨的方法，其特征在于包括如下步骤：S1、分析场景中的点，对场景中的点进行分类：对于那些没有高光没有遮挡能够出现在光场相机所有视点中的点，将其分到第一类中；对于那些出现遮挡或者是存在高光的情况的点，将其分到第二类中；S2、对于第一类中的点，利用块匹配方法将其超分辨到指定的分辨率；S3、对于第二类中的点，利用字典学习的方法超分辨到与步骤S2同样的分辨率；S4、结合步骤S2和步骤S3拼接出一张完整的高分辨的光场图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：王兴政，吴驹东，张永兵，王好谦，李莉华，戴琼海，
申请(专利权)人：深圳市未来媒体技术研究院，清华大学深圳研究生院，
类型：发明
国别省市：广东;44