基于张量稀疏约束的光场填充方法及装置制造方法及图纸

基于张量稀疏约束的光场填充方法及装置，避免向量化、引入超分辨率重建技术使光场内部的相关特性被最大程度地利用，得到客观表现良好的填充光场，给用户更好的视觉体验。方法包括：(I)对丢失部分信息的光场进行滑窗采样、搜索相似块并堆叠，利用基于张量稀疏约束的光场填充模型填充得到的五维张量，再将其中的图像块分别置回光场原始索引处，得到填充的光场；(II)对(I)中得到的光场、与对前者进行超分辨率重建得到的高分辨率光场都进行滑窗采样；将后者得到的图像块投影为前者相同大小的块，相似度排序得到由两者组成的五维张量，对其使用基于张量稀疏约束的光场填充模型填充，将其中原始大小的图像块置回原始索引处，得到填充的光场。

【技术实现步骤摘要】
基于张量稀疏约束的光场填充方法及装置
本专利技术涉及图像处理的
，尤其涉及一种基于张量稀疏约束的光场填充方法，以及基于张量稀疏约束的光场填充装置，主要用于高维图像填充。
技术介绍
光场同时包含空间和角度信息，它可以更精确地表示光场。在探测、识别和计算机图像等问题中，光场都占据着十分重要的地位，它的应用十分广泛，能够应用在边缘检测、材质识别、图像重聚焦、虚拟现实等各项领域中。通过硬件获取的图像数据需要更高的维度才能更精确地表示场景，而想要得高维图像，要与直接对场景拍下一系列二维图像要不同。由于硬件的限制，想要得到高分辨率的光场仍是十分困难的。并且由于传感器的高灵敏度以及人们需要的高处理速度，获取的光场通常是低分辨率的，甚至会出现部分数据的丢失，而这限制了后续处理技术的发展。因此，光场的填充已成为一项重要的研究方向。光场填充最直接的方法是将光场的每个视图(view)视为独立的二维图像，然后对每张图像用矩阵填充模型进行填充，矩阵填充模型主要有矩阵奇异值分解(singularvaluedecomposition,SVD)和矩阵核范数最小化本文档来自技高网...

【技术保护点】
1.基于张量稀疏约束的光场填充方法，其特征在于：该方法包括以下步骤：/n(I)对于一个丢失部分信息的光场，首先对其进行滑窗采样，得到一系列的张量图像块，对此进行相似块的搜索，将搜索到的相似块堆叠至第五维，利用基于张量稀疏约束的光场填充模型对此五维张量进行填充，再将已填充的五维张量中原始大小的图像块分别置回光场原始索引处，得到完成填充的光场图像；/n(II)对步骤(I)得到的、已填充的光场图像进行超分辨率重建，得到高分辨率的光场；对原始分辨率的光场进行滑窗采样，对高分辨率的光场进行滑窗采样；对从原始分辨率的光场中搜索到的相似块，同时对高分辨率光场中相应的整数倍大小的张量块去搜索其相似块，再将后者...

【技术特征摘要】
1.基于张量稀疏约束的光场填充方法，其特征在于：该方法包括以下步骤：
(I)对于一个丢失部分信息的光场，首先对其进行滑窗采样，得到一系列的张量图像块，对此进行相似块的搜索，将搜索到的相似块堆叠至第五维，利用基于张量稀疏约束的光场填充模型对此五维张量进行填充，再将已填充的五维张量中原始大小的图像块分别置回光场原始索引处，得到完成填充的光场图像；
(II)对步骤(I)得到的、已填充的光场图像进行超分辨率重建，得到高分辨率的光场；对原始分辨率的光场进行滑窗采样，对高分辨率的光场进行滑窗采样；对从原始分辨率的光场中搜索到的相似块，同时对高分辨率光场中相应的整数倍大小的张量块去搜索其相似块，再将后者投影回原始大小，对两者进行相似度排序，得到由两组数据组成的五维张量，使用基于张量稀疏约束的光场填充模型填充此五维张量，再将此五维张量中原始大小的图像块分别置回原始索引处，得到一个信息补全的光场；
所述基于张量稀疏约束的光场填充模型为：









上式满足Tucker分解



其中，为所求的、已填充的光场，为信息缺失的光场，为超分辨率重建的高分辨率光场；是相似块堆叠得到的五维张量，为填充后的张量，为中搜索到的相似块堆叠得到的五维张量，是的投影结果；是的核张量，X(j)是沿模j的展开矩阵；Uj是沿模j的因子矩阵；rank(X(j))为X(j)的秩；γ是正则化参数，t是一个折衷参数，a和b是保真度参数，Ω为已知的元素下标。


2.根据权利要求1所述的基于张量稀疏约束的光场填充方法，其特征在于：所述步骤(I)中，将一个四维光场图像表示为其中W和H代表空间分辨率，u和v代表角度分辨率，基于光场的角度维度的联系以及非局部自相似性，对整个光场图像进行滑窗采样，得到一系列的张量图像块,每一个张量块都保存了原光场的位置和角度信息，将每一个张量块作为参考块进行相似块的搜索，将搜索到的所有相似块聚集在一起，在第五维上进行堆叠，得到五维张量块其中w与h为块大小，n为相似块的数量，i为参考块在原始光场的索引。


3.根据权利要求2所述的基于张量稀疏约束的光场填充方法，其特征在于：所述步骤(II)中，对于步骤(I)得到的光场，进行滑窗采样、搜索相似块、堆叠，得到的张量为对步骤(I)中得到的光场进行超分辨率重建，对得到的高分辨率的光场进行滑窗采样、相似块搜索、堆叠，得到的张量为对进行投影，得到与步骤(I)中块大小一致的张量P(·)为投影操作，此时得到的张量为与的集合，对其进行相似度排序，选择前N个最相似的块，最终得到的五维张量是原始分辨率光场与高分辨率光场中搜索到的相似块。


4.根据权利要求3所述的基于张量稀疏约束的光场填充方法，其特征在于：所述基于张量稀疏约束的光场填充模型为：









其中，


5.根据权利要求4所述的基于张量稀疏约束的光场填充方法，其特征在于：当a＝1，b＝0时，所述基于张量稀疏约束的光场填充模型为：











6.基于张量稀疏约束的光场填充方法，其特征在于：该方法包括以下步骤：
(1)输入数据集中的一幅光场图像，随机选取固定采样率的像素作为已知元素，剩下的元素作为未知，输入步骤(2)中；
(2)对于输入的缺失信息的光场，将所有角度维度的视图，以输入的块大小、步长进行滑窗采样，得到一系列的张量块；
(3)对所有张量...

【专利技术属性】
技术研发人员：齐娜，王晨，朱青，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11