一种多通道空时编码孔径的动态光场成像方法和成像系统技术方案

本发明专利技术公开了一种多通道空时编码孔径的动态光场成像方法和成像系统，建立空时编码孔径的5维动态光场成像模型，在4维光场的基础上将曝光时间作为时间维度引入编码孔径，实现光圈孔径模式的空时联合编码，实现基于多路复用的正交空时编码孔径；运动场估计和消除运动模糊，实现基于曝光时间编码的运动模糊图像的复原；多通道深度超分辨率重建；实现运动场和深度场的解耦，并恢复全焦点图像。多路复用可提高图像信噪比，减弱快门噪声影响，提高光场成像质量；曝光时间编码的频率响应特性和运动模糊图像复原能够提高复原后图像的清晰度，深度超分辨率重建提高了深度分辨率，并修正了低分辨率深度图中的估计误差。

【技术实现步骤摘要】

本专利技术涉及立体视像中的光场成像技术，特别是指一种多通道空时编码孔径的动态光场成像方法和成像系统。
技术介绍
立体视像作为全球下一代数字影视和数字娱乐行业的核心支柱，逐渐形成了以三维影像/立体视频为基础的新产业增长点和新产业链。三维实景捕获为三维模型绘制和立体显示提供三维内容支撑，是整个产业链中必不可少的前端和基础环节。近年发展起来的光场成像技术可获取传统成像模型无法捕获的场景几何等额外信息。这一特性有效扩展了成像应用的能力，通过结合成像几何模型，避免了传统视觉计算模型中的病态性逆问题求解。为三维信息采集和处理开辟了新的理论框架和途径。但是， 目前这方面的技术还处于理论探索和实验室原型的初期阶段，面临着诸多挑战。长期以来，以Marr视觉理论为核心的视觉计算理论体系一直是以传统的光学积分成像模型作为信息获取的唯一方式，取得了大量令人瞩目的研究成果。然而传统成像模型只是简单地将三维场景投影到二维图像，在光积分期间不可避免地丢失场景几何和深度等重要信息，使得传统的视觉研究往往面临着从二维图像恢复三维信息的病态逆问题求解，难以有效解决其一般性、鲁棒性和实时性等问题。随着计算摄影学在近年来取得的突破性进展，光场成像作为一种广义光学信息采集的新技术，通过捕获额外的光场信息，可获得传统成像模型无法捕获的场景几何等额外信息，为视觉信息采集和处理开辟了革新性的理论框架和途径。光场捕获的最直接方法是采用像机阵列或单像机运动。美国斯坦福大学M. Levoy 在1996年构建了由128个像机组成的4维光场采集平台。美国南加州大学P. Debevec 在2000年首次实现了用于人脸采集的4维静态变光照采集系统，但该系统只能进行固定视角的静态采集。2005年A. Wenger和P. Debevec针对前系统的缺点，采用156个LED 灯和一台12bit的CMOS高速像机，将高速变化的动态光场和高速像机相结合，实现变光照条件下动态人脸采集。2006年P. Einarsson和P. Debevec采用像机阵列代替高速像机，实现了普通像机阵列在变光照条件下的动态人体采集。该系统将14维的反射场函数降维到7维函数处理。此外,美国麻省理工W. Matusik,英国莎里大学J. Starck 等也都提出了多像机光场采集系统。然而这类方法的主要局限在于系统体积庞大，有效采集范围有限；此外需要完成复杂的颜色和几何标定，以及多像机间的严格同步等步骤；同时还面临着海量数据压缩和有限带宽传输等方面的挑战。为克服像机阵列或单像机运动方法的局限性，美国麻省理工E. H. Adelson首次提出了全光像机的概念，并在2005年由美国斯坦福大学R. Ng进一步完善。该方法在传统像机的成像平面处插入微透镜阵列，用以记录入射光的辐射角分布，并通过一个额外的中继透镜传递到光电传感器上实现4维光场成像。其核心思想在于以微透镜阵列取代像机阵列，以牺牲成像空间分辨率换取辐射角分辨率，因而不可避免地存在空间分辨率低的缺陷，且微透镜间微小的基线长度及衍射导致深度分辨率降低。近期T. Georgiev等人采用超分辨率重建技术实现具有较高空间分辨率的Plenoptic 2. O全光像机。J. P. Luke又在T. Georgiev等人的基础上，提出一种基于多视点深度估计的超分辨率焦点栈变换技术，在提高最终图像的空间分辨率的同时，可获得超分辨率深度图和全焦距图像。 虽然全光像机在近年来取得了显著进展，但空间和深度分辨率仍然较低，难以达到百万级像素的分辨率，并且全光像机无法实现传统二维图像拍摄。近期A. Levin和A. Veeraraghavan等人提出了基于编码孔径的光场捕获技术，它在传统像机的镜头光圈处插入模式遮光片，利用透镜模型推导出目标到焦平面的距离与散焦模糊间的关系，并结合概率模型恢复深度信息和全焦点图像。与全光像机相比，编码孔径技术可获得与光电传感器相同的像素分辨率，无需额外的光学设备，只需对传统像机略加改动，且可以很容易地实现与传统二维像机间的功能转换。但该方法需要较长的曝光时间且图像信噪比较低。C. Liang等人结合编码孔径和多次曝光技术提出一种可直接捕获4维光场和估计深度图的可编程孔径技术，并采用光照复用技术提高图像信噪比。虽然A. Levin等人已证明了编码孔径方法的可行性，但现有原型系统都隐含着许多理想化的假设，以简化系统复杂度，并未考虑实际摄影过程中Bayer模式滤波器、快门噪声、运动模糊等诸多因素的影响。我国在光场成像和计算摄影学研究中起步较晚，但也取得了较大的进展。清华大学戴琼海教授冲破了发达国家对动态光场相关技术的研究垄断，搭建了国内首个直径6 米，包含40台像机和310个LED光源的变光照动态光场穹隆采集系统，以及8X8的光场像机阵列。上海大学安平教授建立了基于光线空间的自由视点实验平台。中科院长春光机所搭建了基于微透镜阵列的三维成像实验平台并验证其有效性。中科院上海光机所设计并实现一种适于远距离大尺度三维物体成像的编码孔径方法。北京航空航天大学袁艳教授建立了光场成像与数字对焦的数理模型。此外北京大学、哈尔滨工业大学、浙江大学、西安电子科技大学、中国科技大学、合肥工业大学、宁波大学等院校也在光场成像等方面展开了卓有成效的探索和研究。综上所述，目前国际上对光场成像的研究已初具规模，提出并成功研制了多种光场采集方法及相应的硬件原型。但从总体而言仍处于起步阶段，主要表现在1)光场采集及表示理论尚未成熟和完善。基于像机阵列或单像机运动的相关研究往往局限于静态或周期性运动的单目标捕获。全光相机或编码孔径方法仅初步实现理论和实验原型论证，恢复出的深度图和全焦点图像较为粗略。2)现有硬件原型尚处于实验室阶段，受限于理论上的缺陷，在空间和深度分辨率、实时性、便携性、以及与传统像机的兼容性等方面都存在不足， 与像机阵列或全光像机等其他光场成像技术相比，编码孔径方法在空间/深度分辨率、实时性、便携性、以及与传统像机的兼容性等方面的均衡中更具优势。近两年编码孔径方法在理论研究和原型实践上都取得了重大进展。例如中国专利文献(公开日2008年7月23日，公开号CN101228460A)公开了一种编码孔径成像设备和方法。在一个方面，编码孔径成像器具有至少一个检测器阵列和可重新配置的编码孔径掩模装置。可重新配置的编码孔径掩模装置可以显示多个编码孔径掩模，以便跨越不同的视场和/或以不同的分辨率提供成像，而无需任何移动部件或庞大的光学组件。可以使用多于一个检测器阵列来提供大面积成像而无需无缝拼接，并且这代表本专利技术的另一方面。上述专利技术还涉及到在可见波段、紫外波段或红外波段内使用编码孔径成像。教导了使用编码孔径成像来通过弯曲的光学元件进行成像，因为图像解码可以自动去除由该弯曲元件引入的任何像差。但仍存在许多关键问题有待进一步探索。主要表现为1)现有理论和原型系统局限于4维静态光场采集。2)需较长的曝光时间且图像信噪比低。3)长曝光时间引起的运动模糊对光场后处理算法有较大影响。4)缺乏对图像传感器Bayer输出模式、快门噪声等实际因素的考虑。因此，有必要结合计算机摄影学和光场理论的最新研究成果，提出一种在Bayer 输出模式和动态环境下基于编码孔径的深度超分辨率重建本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：林丽莉，王秀萍，周文晖，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：