一种基于边缘修复的虚拟视点图像频域快速获取方法技术

本发明专利技术涉及立体显示像源获取技术，公开了一种基于边缘修复的虚拟视点图像频域快速获取方法，包括：三维光场重建：根据2D图像和景深图建立三维光场矩阵；边缘修复：对三维矩阵的背景层中的空洞区域进行边缘填充；傅里叶切片：对边缘填充后的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息，然后对该频域信息进行特定角度的二维切片，将二维切片进行傅里叶反变换即得到不同指定角度的单视点图像。本发明专利技术首次提出三维光场重建与傅里叶中心切片定理相结合的方法，从频域角度快速获取用于立体显示的多视点图像，避免了传统方法所使用的像素匹配，大大提高了处理速度，另外基于图像修复理论的空洞边缘填充，也使得获取的虚拟视点更加自然。

【技术实现步骤摘要】

本专利技术涉及立体显示领域，具体涉及一种基于边缘修复的虚拟视点图像频域快速获取方法。
技术介绍
傅里叶切片定理又叫做中心切片定理。它由Bracewell于1956年在对射电天文学进行研究时提出的，它也是医学图像处理的理论基础。该定理的提出为后来在信号处理、图像处理等领域带来了极大的帮助。三维显示系统将场景的三维信息完全地再现出来，显示具有纵深感的图像。观看者可以直接看出场景中各物体的远近，迅速直观地洞察场景中物体的三维空间关系，从而获得完整和准确的信息。正如声音的记录与再现不断向立体、高保真方向发展一样，图像也从二维向三维、高分辨方向发展。下一代高分辨率三维显示技术能够完美呈现三维场景中所有物体的位置、角度、颜色、细节特征等丰富信息，具有连续视角和空间深度感，更符合人眼的观看习惯，但是显示所需的数据量需要比现有系统需提高2～3个数量级。巨大的信息量对于复杂场景的高速表征、实时光波场描述和再现系统的空间带宽积提出了更高的要求。因此必须对海量信息的三维显示的像源处理方法就变得尤为重要。目前行业内所使用的几种方案包括以下几种，其一，采用3DMAX模拟仿真获取，优点是它可以模拟任意拍摄环境，但是它只能处理虚拟场景。其二，采用相机阵列，优点是它可以它可以拍出立体效果很好的像源，但是其制作成本较高，且操作复杂。还有就是飞利浦采用的像素匹配方案，但是对于高分辨率像源，它的最大问题就是处理时间很长。另外，对于空洞填充，文献RegionFillingandObjectRemovalbyExemplar-BasedImageInpainting有提到Criminisi算法，但它面对的是整个空洞区域填充，非常耗时。
技术实现思路
专利技术目的：解决高分辨率三维显示中高清像源快速获取的问题，本专利技术公开了一种基于傅里叶中心切片定理和边缘修复的虚拟视点图像快速获取方法。技术方案：为实现上述专利技术目的，本专利技术采用如下技术方案：一种基于边缘修复的虚拟视点图像频域快速获取方法，该方法包括如下步骤：(1)三维光场重建：根据2D图像和景深图建立三维光场矩阵P(x,y,z)；(2)边缘修复：对步骤(1)中得到的三维矩阵的背景层中的空洞区域进行边缘填充；(3)傅里叶切片：对步骤(2)中边缘填充后的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，其中m,n,w轴分别与x,y,z轴对应，然后对该频域信息进行特定角度的二维切片，将所述二维切片进行傅里叶反变换即得到不同指定角度的单视点图像。所述步骤(1)中根据2D图像和景深图建立三维光场矩阵的方法为：首先建立一个具有N层的三维矩阵P(x,y,z)，其中x-y面为2D图像面，z为层数；然后根据景深图，将2D图中对应的像素填充到在三维矩阵的不同层；其中，x-y面大小与2D图像大小一致，z与N之间满足公式：其中depth为景深值。所述步骤(2)中采用改进Criminisi算法对三维矩阵的背景层中的空洞区域进行边缘填充，具体为：当满足条件时，将匹配窗口像素灰度值填充到待填充区域，λ加1，重复该操作，直到不满足条件λ≤num(z)；其中，ψq表示待填充区域，ψp表示匹配窗口，num(z)为每一层单个空洞区单行域需要填充的像素个数，λ为该行已经填充的像素个数，SSD为图像相关性算法函数。所述步骤(3)中的二维切片M(a,b)的大小与2D图像一致，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，或者沿着m轴，并与w轴的夹角为θ向n-w面的切片，θ为指定的角度。若M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，a＝m*cosθ,b＝m*sinθ；若M(a,b)为沿着频域信息Q(m,n,w)的m轴，并与w轴的夹角为θ向n-w面的切片，a＝n*cosθ,b＝n*sinθ。当b不为整数时，设频域信息Q(m,n,w)中每个点(m,n,w)的信息为I(m,n,w)，b的整数部分为b1，小数部分为b2，那么实际填充到切片M(a,b)中的信息为I(m,n,w)*(1-b2)+i(m,n,w+1)*b2。有益效果：本专利技术采用了三维光场重建与傅里叶中心切片定理相结合的方法，从频域角度快速获取用于立体显示的多视点图像，避免了传统方法所使用的像素匹配，大大提高了处理速度，并且虚拟视点的空洞填充边缘更加自然和连续，对未来超高清立体显示提供了技术支持。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。图1为本专利技术实施例的流程图；图2为本专利技术实施例中三维光场坐标转换示意图；图3为本专利技术实施例的原理示意图；图4为本专利技术实施例的仿真结果图。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。传统方法合成多视点，常采用的办法如下。其一，采用3DMAX模拟仿真获取，优点是它可以模拟任意拍摄环境，但是它只能处理虚拟场景。其二，采用相机阵列，优点是它可以它可以拍出立体效果很好的像源，但是其制作成本较高，且操作复杂。还有就是飞利浦采用的像素匹配方案，但是对于高分辨率像源，它的最大问题就是处理时间很长。本专利技术采用了三维光场重建与傅里叶中心切片定理相结合的方法，从频域角度快速获取用于立体显示的多视点图像，避免了传统方法所使用的像素匹配，大大提高了处理速度，对未来超高清立体显示提供了技术支持。如图1所示，本专利技术实施例公开的一种基于边缘修复的虚拟视点图像快速获取方法，主要包括如下步骤：S1、三维光场重建。建立一个具有N层的三维矩阵P(x,y,z)，其中x-y面为2D图像面，z为层数。根据景深图，将2D图中对应的像素填充到在三维矩阵的不同层，还原图像真实的相对位置关系。S2、边缘修复。S1中三维矩阵的背景层中的空洞区域，该区域是由于前景信息被移走，而在背景上留下的空洞。采用改进Criminisi算法进行边缘填充，边缘填充条件为：num(z)为每一层单个空洞区单行域需要填充的像素个数，为该行已经填充的像素个数。当判定条件λ≤num(z)不满足时，该空洞区域填充结束。S3、傅里叶切片。对S2中边缘填充完的三维矩阵进行快速傅里叶变换(NFFT)，获得三维光场的频域信息Q(m,n,w)，然后对该频域信息进行特定角度的二维切片M(a,b)，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，或者沿着m轴，并与w轴的夹角为θ本文档来自技高网...

【技术保护点】
一种基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，该方法包括如下步骤：(1)三维光场重建：根据2D图像和景深图建立三维光场矩阵P(x,y,z)；(2)边缘修复：对步骤(1)中得到的三维矩阵的背景层中的空洞区域进行边缘填充；(3)傅里叶切片：对步骤(2)中边缘填充后的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，其中m,n,w轴分别与x,y,z轴对应，然后对该频域信息进行特定角度的二维切片，将所述二维切片进行傅里叶反变换即得到不同指定角度的单视点图像。

【技术特征摘要】
1.一种基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，该方法包括如下
步骤：
(1)三维光场重建：根据2D图像和景深图建立三维光场矩阵P(x,y,z)；
(2)边缘修复：对步骤(1)中得到的三维矩阵的背景层中的空洞区域进行边缘填充；
(3)傅里叶切片：对步骤(2)中边缘填充后的三维矩阵进行快速傅里叶变换，获得三
维光场的频域信息Q(m,n,w)，其中m,n,w轴分别与x,y,z轴对应，然后对该频域信息进行特定
角度的二维切片，将所述二维切片进行傅里叶反变换即得到不同指定角度的单视点图像。
2.根据权利要求1所述的基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，
所述步骤(1)中根据2D图像和景深图建立三维光场矩阵的方法为：首先建立一个具有N层
的三维矩阵P(x,y,z)，其中x-y面为2D图像面，z为层数；然后根据景深图，将2D图中对应的
像素填充到在三维矩阵的不同层；其中，x-y面大小与2D图像大小一致，z与N之间满足公
式：其中depth为景深值。
3.根据权利要求1所述的基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，
所述步骤(2)中采用改进Criminisi算法对三维矩阵的背景层中的空洞区域进行边缘填充，具
体为：当满足条件时，将匹配窗口像素灰度值填充到待
填充区域，λ加1，重复该...

【专利技术属性】
技术研发人员：赵健，夏军，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32