成像器件、图像处理装置、图像处理方法和程序制造方法及图纸

本发明专利技术涉及：能够提高成像元件的多功能性的成像元件；图像处理装置；图像处理方法；以及程序。该成像元件设置有：半导体基板；多个指向性像素输出单位，其形成在半导体基板上，并且设置有用于接收不通过成像透镜或针孔入射的来自被摄体的入射光的配置，所述配置能够独立地设置指示入射光的入射角的指向性的入射角指向性；以及多个非指向性像素输出单位，其形成在半导体基板上，并且不设置有用于施加入射角指向性的配置。本发明专利技术可以例如应用于成像装置。

Imaging device, image processing device, image processing method and program

【技术实现步骤摘要】
【国外来华专利技术】成像器件、图像处理装置、图像处理方法和程序
本公开涉及成像器件、图像处理装置、图像处理方法和程序，并且具体地涉及提高成像器件的多功能性的成像器件、图像处理装置、图像处理方法和程序。
技术介绍
传统上，提出了一种成像装置，其中，在不使用成像透镜的情况下，通过包括覆盖成像器件的受光面的格子光学滤光器或衍射光栅的光学滤光器来调制来自被摄体的光并使其成像，并且通过预定计算处理来复原形成被摄体的像(例如，参考NPL1、PTL1和PTL2)。引用列表非专利文献非专利文献1：SalmanAsif和其他四人，“Flatcam：用掩模和计算替换透镜”，“2015IEEE计算机视觉国际研讨会(ICCVW)”，2015，第663-666页(M.SalmanAsifandfourothers,"Flatcam:Replacinglenseswithmasksandcomputation,""2015IEEEInternationalConferenceonComputerVisionWorkshop(ICCVW),"2015,pp.663-666)专利文献专利文献1：JP-T-2016-510910专利文献2：PCT专利公开号WO2016/123529
技术实现思路
技术问题但是，非专利文献1、专利文献1和专利文献2中公开的成像器件不能应用于使用成像透镜的传统成像装置。鉴于如上所述的情况做出了本公开，并且本公开考虑了提高成像器件的多功能性。问题的解决方案本公开的第一方面的成像器件包括：半导体基板；多个指向性像素输出单位，形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置；以及多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。在图像生成处理中选择性地使用从多个指向性像素输出单位输出的检测信号和从所述多个非指向性像素输出单位输出的检测信号。本公开的第二方面的成像处理装置包括：图像生成控制部，被配置为控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理。所述成像器件包括半导体基板；所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置；以及所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。本公开的第二方面的图像处理方法包括：图像生成控制步骤，控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理。所述成像器件包括半导体基板；所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置；以及所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。本公开的第二方面的程序使计算机执行处理，所述处理包括：图像生成控制步骤，控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理。所述成像器件包括半导体基板；所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置；以及所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。在本公开的第一方面中，通过所述多个指向性像素输出单位和所述多个非指向性像素输出单位接收来自被摄体的入射光，所述多个指向性像素输出单位形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置，并且所述多个非指向性像素输出单位形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。在本公开的第二方面中，控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理。所述成像器件包括半导体基板；所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置；以及所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。本专利技术的有益效果根据本公开的第一方面和第二方面，可以提高成像器件的多功能性。要注意的是，这里描述的有益效果不一定是限制性的，并且本公开中描述的其他有益效果可以是适用的。附图说明图1是示出通过应用了本公开的技术的成像装置进行成像的原理的图。图2是示出应用了本公开的技术的成像装置的基本配置的示例的框图。图3是示出图2的成像器件的像素阵列部的配置的示例的图。图4是示出图2的成像器件的配置的第一示例的图。图5是示出图2的成像器件的配置的第二示例的图。图6是示出入射角指向性的产生原理的图。图7是示出利用片上透镜的入射角指向性的变化的图。图8是表示一种类型的遮光膜的示例的图。图9是示出入射角指向性的设计的图。图10是示出片上透镜和成像透镜之间的差异的图。图11是示出片上透镜和成像透镜之间的另一差异的图。图12是示出片上透镜和成像透镜之间的又一差异的图。图13是示出被摄体距离和指示入射角指向性的系数之间的关系的图。图14是示出窄视角像素和广视角像素之间的关系的图。图15是示出窄视角像素和广视角像素之间的另一关系的图。图16是示出窄视角像素和广视角像素之间的又一关系的图。图17是示出窄视角像素和广视角像素之间的画质的差异的图。图18是示出窄视角像素和广视角像素之间的画质的另一差异的图。图19是示出其中组合了不同视角的多个像素的示例的图。图20是示出由图2的成像装置进行的成像处理的流程图。图21是示出处理负荷的减少方法的图。图22是示出处理负荷的另一减少方法的图。图23是示出处理负荷的进一步减少方法的图。图24是示出处理负荷的又一减少方法的图。图25是示出处理负荷的又一减少方法的图。图26是描绘根据本公开实施例的成像装置的配置的示例的框图。图27是描绘图26的成像器件中的像素的布置的示例的图。图28是描绘图26的控制部的功能配置的示例的框图。图29是示出由图26的成像装置执行的成像处理的流程图。图30是描绘图5的成像装置的变型例的图。图31是示出像素输出单位的变型例的视图。<本文档来自技高网...

【技术保护点】
1.一种成像器件，包括：/n半导体基板；/n多个指向性像素输出单位，形成在所述半导体基板上，并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；以及/n多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。/n

【技术特征摘要】
【国外来华专利技术】20171019 JP 2017-2027721.一种成像器件，包括：
半导体基板；
多个指向性像素输出单位，形成在所述半导体基板上，并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；以及
多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。


2.根据权利要求1所述的成像器件，其中
根据从各个指向性像素输出单位输出的检测信号生成没有形成被摄体的像的检测图像，并且根据从各个非指向性像素输出单位输出的检测信号生成形成有被摄体的像的捕获图像。


3.根据权利要求2所述的成像器件，其中
用于生成检测图像的指向性像素输出单位的数量和用于生成捕获图像的非指向性像素输出单位的数量彼此一致，以及
使用检测图像复原的复原图像的视角与捕获图像的视角彼此一致。


4.根据权利要求1所述的成像器件，其中
所述非指向性像素输出单位被配置于矩形区域中。


5.根据权利要求4所述的成像器件，其中
所述指向性像素输出单位被配置于所述矩形区域的周围。


6.根据权利要求1所述的成像器件，其中
每个所述指向性像素输出单位包括
一个光电二极管，以及
遮光膜，被配置为遮蔽所述入射光的部分入射到所述光电二极管。


7.根据权利要求1所述的成像器件，其中
每个所述指向性像素输出单位包括多个光电二极管，并且输出所述多个光电二极管中的部分光电二极管所作出贡献的一个检测信号。


8.根据权利要求1所述的成像器件，其中
所述成像器件具有用于使所述多个指向性像素输出单位中的至少两个指向性像素输出单位的输出像素值具有相对于来自所述被摄体的入射光的彼此不同的入射角指向性的配置。


9.一种图像处理装置，包括：
图像生成控制部，被配置为控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理，
所述成像器件包括
半导体基板；
所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；以及
所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。


10.根据权利要求9所述的图像处理装置，还包括：
所述成像器件。


11.根据权利要求10所述的图像处理装置，其...

【专利技术属性】
技术研发人员：宫谷佳孝，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP