信号处理装置和成像装置制造方法及图纸

本公开涉及：能够提高不使用成像透镜的成像装置的画质的信号处理装置；以及成像装置。所述信号处理装置设置有：复原单元，其使用由成像元件在相对于被摄体的位置和/或取向不同的多个状态下获得的多个检测信号集来复原一个复原图像。所述成像元件设置有多个像素输出单位，其接收不通过成像透镜或针孔入射的来自所述被摄体的入射光，并且分别输出指示由所述入射光的入射角调制的输出像素值的一个检测信号。此外，所述成像元件输出包括从所述多个像素输出单位输出的多个检测信号的检测信号集。本发明专利技术可应用于使用多个成像装置执行成像的成像系统。

Signal processing device and imaging device

【技术实现步骤摘要】
【国外来华专利技术】信号处理装置和成像装置
本公开涉及信号处理装置和成像装置，并且特别地涉及能够提高不使用成像透镜的成像装置的画质的信号处理装置和成像装置。
技术介绍
以往，提出了一种成像装置，其不使用成像透镜，而通过覆盖成像元件的受光面的格子状的光学滤光器或包含衍射光栅的光学滤光器，对来自被摄体的光进行调制的同时进行成像，并且通过预定的运算处理，复原作为被摄体的像而形成的复原图像(例如，参照非专利文献1和2)。引文列表非专利文献非专利文献1：M.SalmanAsif和其他四人，“Flatcam：用掩模和计算代替透镜”，“2015IEEE国际计算机视觉研讨会(ICCVW)”，2015，第663-666页(M.SalmanAsifandfourothers,“Flatcam:Replacinglenseswithmasksandcomputation”,“2015IEEEInternationalConferenceonComputerVisionWorkshop(ICCVW)”,2015,pages663-666)专利文献专利文献1：日本未审查专利公开号2016-510910专利文献2：国际公开号2016/123529
技术实现思路
本专利技术要解决的技术问题顺便提及，期望改进如非专利文献1以及专利文献1和2中公开的不使用成像透镜的成像装置的画质。鉴于这种情况实现了本公开，并且本公开的目的是提高不使用成像透镜的成像装置的画质。问题的解决方案>根据本公开的第一方面的信号处理装置包括复原单元，其通过使用由成像元件在相对于被摄体的位置和取向中的至少一个不同的多个状态下获得的多个检测信号集来复原一个复原图像，所述成像元件包括多个像素输出单位并且输出包括从所述多个像素输出单位输出的多个检测信号的检测信号集，所述多个像素输出单位接收不经由成像透镜或针孔入射的来自所述被摄体的入射光，并且分别输出指示由入射光的入射角调制的输出像素值的一个检测信号。根据本公开的第二方面的成像装置包括一个或多个成像元件，其包括多个像素输出单位并且输出包括从所述多个像素输出单位输出的多个检测信号的检测信号集，所述多个像素输出单位接收不经由成像透镜或针孔入射的来自被摄体的入射光，并且分别输出指示由入射光的入射角调制的输出像素值的一个检测信号；以及关联单元，其将所述检测信号集与用于使用所述检测信号集对复原图像进行复原的元数据相关联。在本公开的第一方面中，通过使用由成像元件在相对于被摄体的位置和取向中的至少一个不同的多个状态下获得的多个检测信号集来复原一个复原图像，所述成像元件包括多个像素输出单位并且输出包括从所述多个像素输出单位输出的多个检测信号的检测信号集，所述多个像素输出单位接收不经由成像透镜或针孔入射的来自所述被摄体的入射光，并且分别输出指示由所述入射光的入射角调制的输出像素值的一个检测信号。在本公开的第二方面中，检测信号集和用于使用所述检测信号集对复原图像进行复原的元数据彼此相关联。专利技术的效果根据本公开的第一方面或第二方面，提高了不使用成像透镜的成像装置的画质。注意，效果不一定限于本文所述的效果，并且可包括本公开中所述的任何效果。附图说明图1是用于示出在应用了本公开的技术的成像装置中的成像原理的图。图2是示出应用了本公开的技术的成像装置的基本配置示例的框图。图3是示出图2中的成像元件的像素阵列单元的配置示例的图。图4是示出图2中的成像元件的第一配置示例的图。图5是示出图2中的成像元件的第二配置示例的图。图6是用于示出入射角指向性产生原理的图。图7是用于示出使用片上透镜的入射角指向性的变化的图。图8是示出遮光膜的类型的示例的图。图9是用于示出入射角指向性的设计的图。图10是用于示出片上透镜与成像透镜之间的差异的图。图11是用于示出片上透镜与成像透镜之间的差异的图。图12是用于示出片上透镜与成像透镜之间的差异的图。图13是用于示出被摄体距离与指示入射角指向性的系数之间的关系的图。图14是用于示出窄视角像素与广视角像素之间的关系的图。图15是用于示出窄视角像素与广视角像素之间的关系的图。图16是用于示出窄视角像素与广视角像素之间的关系的图。图17是用于示出窄视角像素和广视角像素之间的画质的差异的图。图18是用于示出窄视角像素和广视角像素之间的画质的差异的图。图19是用于示出组合多个视角的像素的示例的图。图20是示出图2中的成像装置进行的成像处理的流程图。图21是用于示出减少处理负荷的方法的图。图22是用于示出减少处理负荷的方法的图。图23是用于示出减少处理负荷的方法的图。图24是用于示出减少处理负荷的方法的图。图25是用于示出减少处理负荷的方法的图。图26是示出应用了本公开的技术的成像系统的配置示例的框图。图27是示出图26中的成像装置的配置示例的图。图28是示出图26中的每个成像装置的成像元件的像素阵列单元的配置示例的图。图29是示出图26中的信号处理装置的配置示例的图。图30是用于示出无限远的定义的示例的图。图31是示出来自无限远处存在的点光源的入射光的入射角的示例的图。图32是示出来自比无限远更近的距离处存在的点光源的入射光的入射角的示例的图。图33是示出在成像元件的取向改变的情况下入射光的入射角的示例的图。图34是用于示出图26的信号处理装置执行的处理的流程图。图35是用于示出由图26中的成像装置执行的处理的流程图。图36是示出图26中的每个成像装置的成像元件的像素阵列单元的变化的视图。图37是示出应用了本公开的技术的成像系统的第一变型例的框图。图38是示出应用了本公开的技术的成像系统的第二变型例的框图。图39是示出应用了本公开的技术的成像装置的变型例的框图。图40是示出图5中的成像元件的变型例的图。图41是用于示出像素输出单位的变型例的图。图42是示出成像元件的变型例的图。图43是示出成像元件的变型例的图。图44是示出成像元件的变型例的图。图45是示出成像元件的变型例的图。图46是示出成像元件的变型例的图。具体实施方式以下，参照附图对本专利技术的优选实施方式进行详细说明。注意，在本说明书和附图中，具有基本相同功能配置的组件被分配以相同的附图标记，并且其描述适当地不被重复。此外，以如下顺序给出描述。1.本公开的成像装置的概述2.本公开的成像装置的基本配置示例3.实施例4.变型例5.其他<<1.本公开的成像装置的概述>>首先，描述本公开的成像装置的概述。在本公开的本文档来自技高网...

【技术保护点】
1.一种信号处理装置，包括：/n复原单元，其通过使用由成像元件在相对于被摄体的位置和取向中的至少一个不同的多个状态下获得的多个检测信号集来复原一个复原图像，所述成像元件包括多个像素输出单位并且输出包括从所述多个像素输出单位输出的多个检测信号的检测信号集，所述多个像素输出单位接收不经由成像透镜或针孔入射的来自所述被摄体的入射光，并且分别输出指示由所述入射光的入射角调制的输出像素值的一个检测信号。/n

【技术特征摘要】
【国外来华专利技术】20171019 JP 2017-2027701.一种信号处理装置，包括：
复原单元，其通过使用由成像元件在相对于被摄体的位置和取向中的至少一个不同的多个状态下获得的多个检测信号集来复原一个复原图像，所述成像元件包括多个像素输出单位并且输出包括从所述多个像素输出单位输出的多个检测信号的检测信号集，所述多个像素输出单位接收不经由成像透镜或针孔入射的来自所述被摄体的入射光，并且分别输出指示由所述入射光的入射角调制的输出像素值的一个检测信号。


2.根据权利要求1所述的信号处理装置，
其中，所述多个检测信号集由多个成像元件获得。


3.根据权利要求2所述的信号处理装置，
其中，所述复原单元通过使用所述多个检测信号集和基于所述多个成像元件中的每个成像元件与所述被摄体之间的距离而选择的系数集组来复原所述一个复原图像。


4.根据权利要求3所述的信号处理装置，
其中，在所述每个成像元件与所述被摄体之间的距离短于预定距离的情况下，所述复原单元通过使用基于所述距离和所述每个成像元件相对于所述被摄体的位置而选择的系数集组以及所述多个检测信号集来复原所述一个复原图像。


5.根据权利要求3所述的信号处理装置，
其中，所述复原单元通过使用基于所述距离、所述位置和所述每个成像元件相对于所述被摄体的取向而选择的系数集组以及所述多个检测信号集来复原所述一个复原图像。


6.根据权利要求3所述的信号处理装置，
其中，所述复原单元通过使用一个联立方程来复原所述一个复原图像，所述联立方程使用所述多个检测信号集和所述系数集组。


7.根据权利要求2所述的信号处理装置，还包括：
所述多个成像元件中的至少部分成像元件。


8.根据权利要求7所述的信号处理装置，
其中，所述复原单元通过使用由所述信号处理装置中包括的所述成像元件中的至少部分成像元件获得的检测信号集以及由与所述信号处理装置中包括的成像元件不同的成像元件获得的检测信号集来复原所述一个复原图像。


9.根据权利要求7所述的信号处理装置，
其中，至少部分所述成像元件的至少部分所述像素输出单位具有入射角指向性，所述入射角指向性指示相对于来自所述被摄体的入射光的入射角的指向性。


10.根据权利要求9所述的信号处理装置，
其中，所述多个成像元件中的两个或更多个成像元件的入射角指向性彼此不同。


11.根据权利要求9所述的信号处理装置，
其中，所述多个...

【专利技术属性】
技术研发人员：宫谷佳孝，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP