用于全视差压缩光场3D成像系统的方法技术方案

描述一种压缩光场成像系统。分析光场3D数据以确定待渲染（获得）的光场采样的最优子集，同时使用基于多个参考深度图像的渲染生成剩余采样。编码光场并发送到显示器。3D显示器直接重建光场，并且避免通常发生在常规成像系统中的数据扩展。本发明专利技术使得能够实现全视差3D压缩成像系统，全视差3D压缩成像系统实现高压缩性能，同时最小化存储器和计算需求。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求2014年1月10日提交的编号61/926069的美国临时专利申请的权益。
本专利技术一般涉及图像和视频压缩，更具体地涉及用作用于光场3D成像系统的输入的光场图像数据的压缩。术语“光场”描述包括方向、幅度和频率的光的传输和调制，因此封装利用诸如全息、积分成像、立体视法、多视图成像、自由视点TV（FTV）等等之类的技术的成像系统。现有技术引用的参考文献[1] 2009年4月2日、Quantum Photonic Imagers and Methods of Fabrication Thereof、公开号US2009/0086170A1的美国专利申请[2] 2010年9月9日、Multi-Pixel Addressing Method for Video Display Drivers、公开号US2010/0225679A1的美国专利申请[3] Method and apparatus for block-based compression of light-field images、编号8401316B2的美国专利[4] Systems and methods for encoding light field image files、公开号US2013/0077880的美国专利申请[5] Systems and methods for decoding light field image files、公开号US2013/0077882的美国专利申请[6] Methods and apparatuses for encoding，decoding，and displaying a stereoscopic 3D image、公开号US2011/0134227A1的美国专利申请[7] Three-dimensional image synthesis using view interpolation、编号US5613048的美国专利[8] Method and system for acquiring，encoding，decoding and displaying 3D light fields、公开号US2008/0043095的美国专利申请[9] Method and system for digital plenoptic imaging、编号US6009188的美国专利[10] Minimum sampling rate and minimum sampling curve for image-based rendering、编号US6738533B1的美国专利[11] Rendering multiview content in a 3D video system、编号US8284237B2的美国专利[12] Method and Apparatus for Compressive Imaging Device、公开号US2012/0213270A1的美国专利申请[13] Method and system for light field rendering、编号US6097394的美国专利[14] 3d disparity maps、公开号US2013/0010057的美国专利申请[15] Rendering 3D Data to Hogel Data、公开号US2010/0156894的美国专利申请[16] Systems and Methods for Processing Graphics Primitives、公开号US2010/0231585的美国专利申请[17] Rendering methods for full parallax autostereoscopic displays、编号US6963431的美国专利[18] A. Vetro，T. Wiegand，G. Sullivan，“Overview of the stereo and multiview video coding extensions of the H.264/MPEG-4 AVC standard”，Proceedings of the IEEE，第99卷，第4期，2011年4月[19] ISO/IEC JTC1/SC29/WG11，Call for Proposals on 3D Video Coding Technology，瑞士日内瓦，2011年3月[20] Levoy和Hanrahan，Light Field Rendering，Computer Graphics，SIGGRAPH 96 Proceedings，第31-42页，1996年[21] Magnor和Girod，Data Compression for Light-Field Rendering，IEEE Transaction on Circuits and Systems for Video Technology，第10卷，第3期，2000年4月，第338-343页[22] Candès，E.，Romberg，J.，Tao，T.，“Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information”，IEEE Trans. Inform. Theory 52 (2006) 489-509[23] David Donoho，“Compressed sensing”，IEEE Transactions on Information Theory，第52卷，第4期，2006年4月，第1289-1306页[24] Candès，E.，Tao，T.，“Near optimal signal recovery from random projections and universal encoding strategies”，(2004)[25] Gordon Wetzstein，G.，Lanman，D.，Hirsch，M.，Heidrich，W.，和 Raskar，R.，“Compressive Light Field Displays”，第32卷，第5期，第6-11页，2012年[26] Heide，F.，Wetzstein，G.，Raskar，R. 和 Heidrich，W.，“Adaptive Image Synthesis for Compressive Displays”，Proc. of SIGGRAPH 2013 (ACM Transactions on Graphics 32，4)，2013年[27] Hoffman，D.; Girshick，A.; Akeley，K. & Banks，M. (2008)，“Vergence-accommodation conflicts hinder visual performance and cause visual fatigue”，Journal of Visio本文档来自技高网...

【技术保护点】
一种用于光场成像系统的方法，包括：来自光场的光场数据的压缩捕获以提供压缩光场数据；以及在光场显示系统处从压缩光场数据重建和显示光场。

【技术特征摘要】
【国外来华专利技术】2014.01.10 US 61/9260691.一种用于光场成像系统的方法，包括：来自光场的光场数据的压缩捕获以提供压缩光场数据；以及在光场显示系统处从压缩光场数据重建和显示光场。2.根据权利要求1所述的方法，其中：光场数据的压缩捕获包括光场数据的压缩渲染，以及匹配光场显示系统的能力的压缩渲染光场数据的显示匹配的编码；以及直接在光场显示系统处光场的重建，而无需在向光场显示系统发送光场之前首先解压缩压缩光场数据。3.根据权利要求1所述的方法，进一步包括：渲染计算机生成的图像，以获得选择的场景视图的纹理和/或深度。4.根据权利要求1所述的方法，其中光场数据使用多个捕获方法或相机来捕获，以获得选择的场景视图的纹理和/或深度。5.根据权利要求1所述的方法，其中计算机生成的图像连同一个或多个真实世界捕获的光场一起用在增强现实应用中。6.根据权利要求1所述的方法，进一步包括：以比特流格式向显示器发送压缩光场数据，该显示器能够显示用于观察3D图像的光场。7.根据权利要求1所述的方法，进一步包括：以比特流格式向显示器发送压缩光场数据，该显示器能够显示光场以呈现3D图像，该3D图像可在不使用眼镜的情况下观看。8.根据权利要求1所述的方法，进一步包括：以比特流格式向显示器发送压缩光场数据，该显示器能够显示光场而无需进一步处理。9.根据权利要求1所述的方法，进一步包括：在重建和显示光场之前，以比特流格式在存储介质中存储压缩光场数据。10.根据权利要求1所述的方法，其中压缩捕获进一步包括3D场景数据的分析，以选择表示3D场景的参考微元。11.根据权利要求10所述的方法，其中压缩捕获进一步包括：从参考微元纹理和差异图创建用于参考微元的差异图和目标微元的合成。12.根据权利要求11所述的方法，其中目标微元使用基于多个参考深度图像的渲染来合成。13.根据权利要求12所述的方法，进一步包括：选择多个参考微元。14.根据权利要求13所述的方法，进一步包括选择的参考微元的差异图的向前翘曲。15.根据权利要求14所述的方法，进一步包括向前翘曲的差异图的滤波。16.根据权利要求15所述的方法，进一步包括：将向前翘曲的差异图合并到单个差异图中。17.根据权利要求16所述的方法，进一步包括：根据合并的差异图的纹理的向后翘曲。18.根据权利要求17所述的方法，其中分数像素移位用在纹理的向后翘曲中。19.根据权利要求17所述的方法，进一步包括：在压缩捕获中使用比光场显示系统的分辨率高的分辨率来捕获和使用参考微元。20.根据权利要求17所述的方法，进一步包括：在向后翘曲之后孔填充。21.根据权利要求10所述的方法，其中压缩捕获包括压缩渲染和显示匹配的压缩以形成压缩光场数据，并且其中3D场景数据的分析以选择表示3D场景的参考微元包括可见度测试以选择将在压缩渲染中渲染的参考微元。22.根据权利要求21所述的方法，进一步包括：从较大的一组参考微元选择参考微元的子集。23.根据权利要求21所述的方法，进一步包括：选择初始的一组参考微元，并且添加更多参考微元以由初始的该组参考微元的立体角更佳地表示3D场景的对象。24.根据权利要求21所述的方法，进一步包括：在可见度测试之前预处理3D场景数据，以从3D场景数据为可见度测试提取信息。25.根据权利要求24所述的方法，其中预处理利用由计算机图形学方法捕获的计算机生成的场景。26.根据权利要求24所述的方法，进一步包括：利用由一个或多个相机或相机类型捕获的真实世界或现场场景来预处理。27.根据权利要求10所述的方法，包括参考微元的渲染。28.根据权利要求27所述的方法，进一步包括渲染参考微元的低通滤波，以避免非可分辨的特征。29.根据权利要求27所述的方法，进一步包括获得参考微元的每像素深度。30.根据权利要求29所述的方法，进一步包括：将每像素深度转换成差异，并且在参考微元渲染之后、在深度到差异转换期间量化差异信息。31.根据权利要求1所述的方法，进一步包括：由编码器格式化压缩光场数据以生成用于向用于解码的光场显示系统传输的比特流，以及光场的显示。32.根据权利要求31所述的方法，其中将比特流匹配到光场显示系统。33.根据权利要求32所述的方法，进一步包括：将光场划分成N×N块微元，每个用于在压缩捕获期间的独立编码并用于在光场显示系统处的独立解码。34.根据权利要求33所述的方法，进一步包括：为编码选择用于N×N块微元的每一个的一个或多个种子微元，并且相对于种子微元编码残留微元。35.根据权利要求34所述的方法，其中编码包括种子和残留微元的纹理编码。36.根据权利要求35所述的方法，进一步包括：使用多个种子微元的纹理和差异图，为残留微元合成预测。37.根据权利要求34所述的方法，其中编码包括种子和残留微元的差异编码。38.根据权利要求34所述的方法...

【专利技术属性】
技术研发人员：DB格拉齐奥西，ZY阿尔帕斯兰，HS埃尔古劳里，
申请(专利权)人：奥斯坦多科技公司，
类型：发明
国别省市：美国;US