面向视觉计算的光场成像装置和方法制造方法及图纸

本发明专利技术公开了一种面向视觉计算的光场成像装置及方法，该装置包括：一光学成像系统、一集成一体化近红外光源、一数据传输模块、一大容量高速缓存单元、一人机交互设备、一逻辑控制单元和一处理单元。本发明专利技术提出基于“计算+成像”互动双赢模式的光场成像装置，以光场成像为主导，以深度感知、高动态范围成像为辅，实现视觉感知智能化和视觉认知精准化，获取具有“大景深、宽动态、真三维、高分辨、会采编”特点的新型视觉信息，通过视觉感知源头的数据创新提高视觉计算任务的精确性和鲁棒性，在物联网、安全监控、生物识别、智能交通、航空遥感、数字医疗、动画传媒等领域有广泛应用。

【技术实现步骤摘要】

本专利技术涉及计算机视觉、光学工程、计算机图形学、模式识别、人工智能等
，尤其是一种，能够实现大景深、宽动态、真三维、高分辨、会米编的光场成像。
技术介绍
视觉是人类感知世界的最重要的信息来源，视觉计算试图赋予机器从图像和视频数据中自动获取物理场景高层语义知识的能力，在智能信息科学领域具有战略性学术意义，同时对国家公共安全和经济社会发展具有重要的实用价值。解决现实场景中复杂环境下的行为和事件分析，是当前视觉计算领域面临的重要挑战。传统成像装置遵循成像镜头加感光胶片直接获取二维图像信息的成像原理，现有视觉计算研究大多建立在该二维平面 视觉信号基础之上，在成像景深等方面存在信息盲区。计算成像采用非成像光学器件取代部分传统成像光学器件，在光学系统和计算单元的共同作用下生成结果图像，提供了传统图像传感单元所无法提供的新信息，为视觉计算领域的发展注入新的活力。计算成像在光学领域也被称为集成计算成像系统，衍生自机器视觉、图像处理、计算机图形学和应用光学。计算成像与数字成像相异之处在于成像装置的某些部分成像任务转移到计算单元，从而能够显著拓宽图像捕获的数据种类。近20年间，计算成像不断得到扩展和定义，目前的计算成像主要基于2005年MIT计算和人工智能实验室Fredo Durand和微软实验室Richard Szeliski提出的相关技术,应用于立体建模、遥感、动画、计算机视觉和应用光学等领域。计算成像从编码方式上大致可分为六大类物面编码、光瞳编码、传感器编码、光照编码、相机阵列、非传统编码，主要应用于光场成像、高动态成像、高分辨率成像、大景深成像、深度估计、宽视场、图像增强等。物面编码(object side coding)通过相机外接光学器件进行空间调制，是目前最直接方便的计算成像实施方式。光瞳编码(pupil planecoding)通过在主透镜光瞳面增设光学器件来调制系统点扩散函数，分为光圈编码和波前编码两类，其中光圈编码主要针对光强调制，波前编码主要针对相位调制。传感器编码(sensor plane coding)与物面编码效果相似,但具有结构紧凑、不引入相差的优点，具有传感器前(front of the sensor plane)、传感器上(on the sensor plane)和传感器移动三种方式。光照编码(illumination coding)主要应用在3D重建领域,具有代表性的即是利用结构光进行空间光照编码，结构光技术利用光条纹间的不同特征(强度、颜色、模式等)简化立体视觉匹配算法。相机阵列(camera clusters or arrays)方式利用多个相机可实现立体视觉和全景成像。非传统编码(unconventional coding)方式的显著特点就是光学成像结构相对简单，在扩大景深、高分辨率成像和处理运动模糊领域均有应用。光场是空间中同时包含位置和方向信息的光辐射场，相比只记录二维数据的传统成像方式，光场成像能够获得更加丰富的图像信息。因此，光场数据的获取为计算成像提供了许多新的发展方向。1939年Gershun首次提出光场的概念，将其定义为光辐射在空间各个位置各个方向的传播。1992年Adelson将光场理论应用于计算机视觉，并提出全光场相机的概念，随后，Levoy在1996年提出光场渲染理论，首次对四维光场进行参数化表示并设计获取4D光场的装置，对光场理论完善具有重要意义。光场相机尚处于新型研究领域，近年来国内外代表性专利有近30项，相关的专利技术人和研究机构包括美国的Levoy、Yi-Ren Ng、麻省理工大学、斯坦福大学、哥伦比亚大学、Adobe公司、美国三菱电机实验室、韩国三星公司等。美国在光场相机专利领域基本处于垄断地位，我国和韩国在相关领域的研究起步较晚。目前获取光场数据的光场成像装置主要有三种形式微透镜阵列、相机阵列、掩膜及其他。其中微透镜阵列是最常用的光场获取方式，具有代表性的有两种一种是Adelson(US5076687)提出的全光场相机和在此基础上Ng(US201002685)提出的便携式光场相机；另一种是Georgeiv提出的基于集成成像的光场相机。Ng的设计理念来源于Adelson,但比Adelson的设计缩短了光程，提高了便携性，此外，二者在应用方面也有所不同，Ng侧重重聚焦，Adelson则侧重深度信息提取。Georgiev提出的光场相机采用透镜-棱镜组合排列的形式，可外接在普通相机镜头上，可移植性更强，不过Georgiev的相机模型由于镜头外接，会带来新的像差问题。此外，专利US20080266655, US7872796、US20090102956、US2009018580U US7949252、US2010027146 7等都是基于微透镜阵列形式展开，可应用于深度估计、增大景深和显微成像等领域。相机阵列方式是通过多个相机在空间的一定分布来同时抓取一系列视角略有差别的图像，从而重建出光场数据。该方式在空间分辨率、动态范围等方面具有优势，主要应用在3D重建领域，相关专利有 US8027531、US20080309754、US7609906、US8044994、US20080043095 等。掩膜形式对相机的光圈做相应处理来重构光场数据，如专利US7965936、US20110069324 ;此外以Levoy为代表，专利US6097394、US6342917和US20080297593利用相机移动方式获取光场数据实现图像物体的立体视觉；专利US20110174998提出一种新型角度敏感传感器的设计制作方法，无需额外光学器件即可感知光场信息；专利US20110249341和US20110273609利用相互匹配的透镜阵列获取光场数据。与此同时，专利US8055101、US20110026910、US7949252、US20100091133、CN201010215416等从提高光场图像空间分辨率、光度失真校准、增大景深、感兴趣区域深度增强等角度提出相应的解决方案。光场成像技术在增大图像景深方面具有较大优势，在图像前景与后景重对焦方面的效果令人满意，但直接应用于视觉感知场景还存在一些问题，首先由于空间分辨率与角度分辨率的矛盾关系，现有光场成像装置普遍存在图像空间分辨率低的问题；其次，仅依赖现有光场获取形式的成像装置在深度估计和三维成像方面还存在一定的局限；同时，目前光场成像技术也尚未考虑先进视觉感知环境下的图像宽动态需求；此外，对感兴趣区域的采编目前尚基于相机几何位置建模，准确度和灵活性尚存在不足，而且在提高景深的过程中重对焦点需人工指定，不能满足先进视觉认知任务的实际需求。综合以上考虑，为自动以感兴趣区域为重对焦点进行光场数据处理，还需结合图像宽动态处理、深度估计、高分辨率成像、视觉选择性注意机制等计算成像技术以实现光场成像装置在先进视觉计算领域的应用。
技术实现思路
本专利技术的目的在于提供一种大景深、宽动态、真三维、高分辨、会采编的光场成像装置和方法，采取“计算+成像”的双向互动机制，提高视觉感知场景的成像质量和自动化感知性能。为了实现上述目的，本专利技术提供了一种光场成像装置，其特征在于，该装置包括一光学成像系统101，一集成一体化近红外光源102，本文档来自技高网...

【技术保护点】
一种光场成像装置，其特征在于，该装置包括：一光学成像系统(101)，一集成一体化近红外光源(102)，一数据传输模块(103)，一大容量高速缓存单元(104)，一逻辑控制单元(106)和一处理单元(107)，其中：所述逻辑控制单元(106)通过数据传输模块(103)驱动集成一体化近红外光源(102)发射近红外面光源，并在处理单元(107)判断视觉图像数据满足结构光发射条件时，通过数据传输模块(103)控制集成一体化近红外光源(102)发射近红外编码结构光；所述光学成像系统(101)用于进行光场成像、视觉/深度成像和高动态范围成像，并将采集到的视觉图像数据通过数据传输模块(103)由逻辑控制单元(106)传输至处理单元(107)进行视觉场景先验分析；将采集到的有近红外编码结构光的深度图像数据通过数据传输模块(103)在大容量高速缓存单元(104)中进行缓存；将在近红外编码结构光发射光源切换为发射近红外面光源时，采集到的光场图像数据经数据传输模块(103)在大容量高速缓存单元(104)中进行缓冲；将采集到的曝光不同图像数据通过数据传输模块(103)在大容量高速缓存单元(104)中进行缓冲；所述逻辑控制单元(106)还用于对所述光学成像系统(101)采集到的光场图像数据进行图像拼接处理，对所述光学成像系统(101)采集到的曝光不同图像数据进行图像校准处理；并将拼接后的光场图像数据和校准后的曝光不同图像数据发送给所述处理单元(107)；所述处理单元(107)用于根据所述深度图像数据、校准后的曝光不同图像数据和拼接后的光场图像数据进行深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编算法处理。...

【技术特征摘要】
1.一种光场成像装置，其特征在于，该装置包括一光学成像系统(101)，一集成一体化近红外光源(102)，一数据传输模块(103)，一大容量高速缓存单元(104)，一逻辑控制单元(106)和一处理单元(107)，其中 所述逻辑控制单元(106)通过数据传输模块(103)驱动集成一体化近红外光源(102)发射近红外面光源，并在处理单元(107)判断视觉图像数据满足结构光发射条件时，通过数据传输模块(103)控制集成一体化近红外光源(102)发射近红外编码结构光； 所述光学成像系统(101)用于进行光场成像、视觉/深度成像和高动态范围成像，并将采集到的视觉图像数据通过数据传输模块(103)由逻辑控制单元(106)传输至处理单元(107)进行视觉场景先验分析；将采集到的有近红外编码结构光的深度图像数据通过数据传输模块(103)在大容量高速缓存单元(104)中进行缓存；将在近红外编码结构光发射光源切换为发射近红外面光源时，采集到的光场图像数据经数据传输模块(103)在大容量高速缓存单元(104)中进行缓冲；将采集到的曝光不同图像数据通过数据传输模块(103)在大容量高速缓存单元(104)中进行缓冲； 所述逻辑控制单元(106)还用于对所述光学成像系统(101)采集到的光场图像数据进行图像拼接处理，对所述光学成像系统(101)采集到的曝光不同图像数据进行图像校准处理；并将拼接后的光场图像数据和校准后的曝光不同图像数据发送给所述处理单元(107)； 所述处理单元(107)用于根据所述深度图像数据、校准后的曝光不同图像数据和拼接后的光场图像数据进行深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编算法处理。2.根据权利要求I所述的装置，其特征在于，所述大容量高速缓存单元(104)还用于对经过所述图像拼接处理后的数据和经过所述校准后的曝光不同图像数据进行数据缓冲。3.根据权利要求I所述的装置，其特征在于，所述装置还包括一人机交互设备(105)，用于支持人机交互。4.根据权利要求I所述的装置，其特征在于，所述集成一体化近红外光源(102)包括主透镜、液晶面板及其驱动器、匀光透镜、大功率近红外LED阵列及其驱动器，其中 大功率近红外LED阵列为背光源； 匀光透镜用于将背光源发射的非均匀光束均匀化； 液晶面板用于在进行视觉成像、光场成像和高动态范围成像时发射面光源，在进行深度成像时发射编码结构光； 主透镜用于会聚出射光束。5.根据权利要求I所述的装置，其特征在于，所述光学成像系统(101)包括3个半反半透棱镜(201)、视觉/深度成像镜头(202)、视觉/深度成像传感器(203)、光场成像镜头(204)、像方远心光路(205)、平板阵列(206)、微透镜阵列组(207)、光场成像传感器阵列(208)、2个高动态成像镜头(209)、高动态成像传感器(210)和(211)，其中 视觉/深度成像传感器(203)可对无结构光发射的场景和有结构光发射的场景进行成像； 微透镜阵列组(207)由多个平凸微透镜阵列单元构成，用于提取光场信息； 光场成像传感器阵列(208)由多个高分辨率CMOS传感器单元组成；平板阵列(206)、微透镜阵列组(207)和光场成像传感器阵列(208)中的平板玻璃单元、微透镜阵列单元和传感器单元数量、位置分别一一对应。6.根据权利要求5所述的装置，其特征在于，所述逻辑控制单元(106)还对所述光场成像传感器阵列(208)中的所有传感器单元进行精确控制，同步图像采集，实现高分辨率光场成像。7.根据权利要求6所述的装置，其特征在于，所述光学成像系统(101)中，入射光束经半反半透棱镜(201)分为透射光束和反射光束，第一个半反半透棱镜(201)将透射光束投射给光场成像镜头(204)，经过光场成像镜头(204)的会聚后光束经像方远心光路(205)来减小微透镜阵列成像的渐晕影响，随后光束经平板阵列(206)完成光束的平移和视场分害I]，使每块平板玻璃单元出射光束入射到对应的微透镜阵列单元，微透镜阵列单元组成微透镜阵列组(207)紧置于光场成像传感器阵列(208)前，光束经微透镜阵列组(207)投射到光场成像传感器阵列(208)生成光场图像，完成光场图像的采集； 第一个半反半透棱镜(201)将反射光束投射给第二个半反半透棱镜(201)，第二个半反半透棱镜(201)的透射光束投射到视觉/深度成像镜头(202)，经成像镜头的会聚后光束投射到视觉/深度成像传感器(203)生成视觉图像或深度图像，完成视觉图像或深度图像的米集； 第二个半反半透棱镜(201)的反射光束投射给第三个半反半透棱镜(201)； 第三个半反半透棱镜(201)的透射光束和反射光束分别投射到2个高动态成像镜头(209)，经成像镜头的会聚后分别投射到具有不同曝光系数的高动态成像传感器(210)和(211)生成曝光不同图像，完成高动态范围图像的采集。8.根据权利要求I所述的装置，其特征在于，所述逻辑控制单元(106)采用FPGA或ARM逻辑控制芯片。9.一...

【专利技术属性】
技术研发人员：谭铁牛，孙哲南，侯广琦，秦娅楠，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：