图像处理装置、摄像系统、图像处理方法及记录介质制造方法及图纸

本发明专利技术的目的在于提供一种不使用透镜便可得到宽视场角且清晰的图像的图像处理装置、摄像系统、图像处理方法及记录介质。本发明专利技术的一方式所涉及的图像处理装置具备：投影像输入部，输入来自被摄体的光入射到菲涅尔波带片而形成的投影像；复图像生成部，将第1菲涅尔区图案和第2菲涅尔区图案分别与投影像相乘而生成由实部的图像和虚部的图像构成的复图像，其中，第2菲涅尔区图案的各区域中的局部空间频率与第1菲涅尔区图案相同且第2菲涅尔区图案的局部空间频率的相位与第1菲涅尔区图案不同；及傅里叶变换部，通过对复图像进行二维复傅里叶变换而重构空间区域的图像。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、摄像系统、图像处理方法及记录介质
本专利技术涉及一种图像处理装置、摄像系统、图像处理方法及记录介质，尤其涉及一种在无透镜的状态下获取被摄体的图像的技术。
技术介绍
作为获取被摄体的图像的技术，一般是使用透镜使被摄体的光学像成像的类型，但近年来已开发出在无透镜的状态下获取被摄体的图像的技术。例如，在下述非专利文献1中，靠近摄像元件而配置菲涅尔波带片，通过对将利用来自被摄体的光而形成于摄像元件上的投影像和与菲涅尔波带片相对应的投影图案重合而产生的莫尔条纹进行傅里叶变换，能够在无透镜的状态下获取被摄体的像，可期待装置的小型化等效果。另外，关于非专利文献1的技术，通过非专利文献2进行了技术报告。并且，已知有与非专利文献1、2相同地将菲涅尔波带片用于掩模图案的无透镜成像技术(参考专利文献1)。在专利文献1中，通过对来自被摄体的光入射到对置配置的2个格子图案(菲涅尔波带片)而形成的莫尔条纹进行傅里叶变换而重构被摄体的像。以往技术文献非专利文献非专利文献1：“开发在动画摄影之后能够容易进行焦点调整的无透镜相机技术”、[online]、2016年11月15日、Hitachi，Ltd.、[2017年5月8日检索]、因特网(http：//www.hitachi.co.jp/New/cnews/month/2016/11/1115.html)非专利文献2：“LenslessLight-fieldImagingwithFresnelZonePlate”、影像信息媒体学会技术报告、vol.40，no.40，IST2016-51，pp.7-8，2016年11月专利文献专利文献1：WO2016/203573号公报
技术实现思路
专利技术要解决的技术课题如上述以往技术，在重构图像时，对摄影中所使用的菲涅尔波带片相乘1个菲涅尔区图案而获取投影像的方法中，通过傅里叶变换而得到的解为2个(关于中心对称)，无法确定哪个解为真解，即无法确定被摄体存在于哪个方向上。以下对这点进行说明。图17是表示存在于无限远方的点光源的光从倾斜方向入射到菲涅尔波带片时的图像的重构的情况的图。在该情况下形成的投影像成为如图17的(a)部分所示，若对该投影像相乘(b)部分所示的菲涅尔区图案，则如(c)部分所示，乘法运算后的图像成为纵向的莫尔条纹与同心圆状的噪声成分重叠的状态。为了简化而一维地考虑，则在(c)部分所示的图像中，X方向的信号强度例如成为如(d)部分。若对其进行傅里叶变换，则如(e)部分所示，在相对于中心对称的位置上得到2个解，无法确定哪个解为真解。图18是表示通过对摄影中所使用的菲涅尔波带片相乘1个菲涅尔区图案而获取投影像的方法进行重构的图像的模拟结果的图。(a)部分表示被摄体，若如上所述对该被摄体进行重构，则得到(b)部分所示的图像。如图18(b)所示，通过重构而得到的图像成为2个被摄体像重叠的不清晰的图像。针对该问题，若通过如(c)部分所示隐藏(不让其投影)被摄体的右半部分而避免被摄体像重叠，则重构结果成为如(d)部分所示，摄影范围变窄。在专利文献1中，也通过将重构的图像切成一半进行显示来避免像的重叠，但由于切出重构图像的一部分而视场角(摄影范围)变窄，重构图像的画质有可能降低。另外，在专利文献1中，由于保持与2个图案相对应的板(基板)，因此存在装置的大型化、制作成本的增加、由特性的偏差(包括制造时的偏差、经时变化、温度变化)而引起的画质的劣化等问题。如此，以往的技术在无透镜的状态下获取图像时无法得到宽视场角且清晰的图像。本专利技术是鉴于这种情况而完成的，其目的在于提供一种不使用透镜便可得到宽视场角且清晰的图像的图像处理装置、摄像系统、图像处理方法及记录介质。用于解决技术课题的手段为了实现上述目的，本专利技术的第1方式所涉及的图像处理装置具备：投影像输入部，输入来自被摄体的光入射到菲涅尔波带片而形成的投影像；复图像生成部，将第1菲涅尔区图案和第2菲涅尔区图案分别与投影像相乘而生成由实部的图像和虚部的图像构成的复图像，其中，第2菲涅尔区图案的各区域中的局部空间频率与第1菲涅尔区图案相同且第2菲涅尔区图案的局部空间频率的相位与第1菲涅尔区图案不同；及傅里叶变换部，通过对复图像进行二维复傅里叶变换而重构空间区域的图像。在第1方式中，通过对由实部的图像和虚部的图像构成的复图像进行二维复傅里叶变换而重构空间区域的图像，该复图像是将局部空间频率的相位不同的第1菲涅尔区图案及第2菲涅尔区图案分别与投影像相乘而得到的。由此，能够去除噪声成分并根据莫尔条纹的信号成分确定被摄体的位置，能够在无透镜的状态下得到不存在被摄体像的重叠的清晰的图像。并且，无需隐藏被摄体的一部分，因此能够在宽视场角下得到图像。另外，第1、第2菲涅尔区图案保持为电子数据即可，因此也不存在如上述专利文献1，由保持与2个图案相对应的板(基板)而引起的装置的大型化等问题。另外，在第1方式及以下的各方式中，“菲涅尔波带片”包含被摄体光的透射率根据距中心的距离而连续地变化的波带片及设定入射波带片的被摄体光的透射率的阈值且透射率不连续地(透射或不透射)变化的波带片。并且，图像的重构中所使用的投影像可以由具有菲涅尔波带片及图像传感器的摄像部获取，也可以经由记录介质、网络获取另外记录的投影像。根据第1方式，在第2方式所涉及的图像处理装置中，第1菲涅尔区图案和第2菲涅尔区图案的局部空间频率的相位在70°以上且110°以下的范围内向正或向负偏离。第2方式规定能够重构清晰的图像的相位的偏离范围。根据第1或第2方式，在第3方式所涉及的图像处理装置中，第1菲涅尔区图案的局部空间频率的相位或第2菲涅尔区图案的局部空间频率的相位与菲涅尔波带片的局部空间频率的相位相同。根据第1至第3方式中的任一项，在第4方式所涉及的图像处理装置中，复图像生成部将第1菲涅尔区图案与投影像相乘而生成实部的图像，并将第2菲涅尔区图案与投影像相乘而生成虚部的图像。根据第1至第4方式中的任一项，在第5方式所涉及的图像处理装置中，复图像生成部使用放大率根据对焦的被摄体距离而不同的第1菲涅尔区图案及第2菲涅尔区图案来生成复图像。由菲涅尔波带片形成的投影像根据被摄体的距离而成为不同的大小，因此优选乘法运算的菲涅尔区图案的放大率也根据被摄体的距离而而不同。根据第5方式，通过使用放大率根据对焦的被摄体距离而不同的第1菲涅尔区图案及第2菲涅尔区图案来生成复图像，能够得到模糊少的清晰的图像。根据第1至第5方式中的任一项，第6方式所涉及的图像处理装置还具备：信息输入部，输入菲涅尔波带片的局部空间频率的信息，复图像生成部将具有基于所输入的信息的局部空间频率的第1菲涅尔区图案及第2菲涅尔区图案分别与投影像相乘。通过如第6方式重合基于摄影中所使用的菲涅尔波带片的信息的菲涅尔区图案，能够高速且容易进行图像的重构。另外，“局部空间频率的信息”中包含菲涅尔波带片的间距的信息。例如，能够使用具有与所输入的菲涅尔波带片的间距相同的检距的第1菲涅尔区图案及第本文档来自技高网...

【技术保护点】
1.一种图像处理装置，其具备：/n投影像输入部，输入来自被摄体的光入射到菲涅尔波带片而形成的投影像；/n复图像生成部，将第1菲涅尔区图案和第2菲涅尔区图案分别与所述投影像相乘而生成由实部的图像和虚部的图像构成的复图像，其中，所述第2菲涅尔区图案的各区域中的局部空间频率与所述第1菲涅尔区图案相同且所述第2菲涅尔区图案的所述局部空间频率的相位与所述第1菲涅尔区图案不同；及/n傅里叶变换部，通过对所述复图像进行二维复傅里叶变换而重构空间区域的图像。/n

【技术特征摘要】
【国外来华专利技术】20170601 JP 2017-1092691.一种图像处理装置，其具备：
投影像输入部，输入来自被摄体的光入射到菲涅尔波带片而形成的投影像；
复图像生成部，将第1菲涅尔区图案和第2菲涅尔区图案分别与所述投影像相乘而生成由实部的图像和虚部的图像构成的复图像，其中，所述第2菲涅尔区图案的各区域中的局部空间频率与所述第1菲涅尔区图案相同且所述第2菲涅尔区图案的所述局部空间频率的相位与所述第1菲涅尔区图案不同；及
傅里叶变换部，通过对所述复图像进行二维复傅里叶变换而重构空间区域的图像。


2.根据权利要求1所述的图像处理装置，其中，
所述第1菲涅尔区图案和所述第2菲涅尔区图案的所述局部空间频率的相位在70°以上且110°以下的范围内向正或向负偏离。


3.根据权利要求1或2所述的图像处理装置，其中，
所述第1菲涅尔区图案的所述局部空间频率的相位或所述第2菲涅尔区图案的所述局部空间频率的相位与所述菲涅尔波带片的局部空间频率的相位相同。


4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述复图像生成部将所述第1菲涅尔区图案与所述投影像相乘而生成所述实部的图像，并将所述第2菲涅尔区图案与所述投影像相乘而生成所述虚部的图像。


5.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述复图像生成部使用放大率根据对焦的被摄体距离而不同的所述第1菲涅尔区图案及所述第2菲涅尔区图案来生成所述复图像。


6.根据权利要求1至5中任一项所述的图像处理装置，其中，
还具备：
信息输入部，输入所述菲涅尔波带片的局部空间频率的信息，
所述复图像生成部将具有基于所述输入的信息的局部空间频率的所述第1菲涅尔区图案及所述第2菲涅尔区图案分别与所述投影像相乘。


7.一种摄像系统，其具备：
摄像部，具有使来自所述被摄体的光入射的所述菲涅尔波带片和由透射了所述菲涅尔波带片的所述光来形成所述投影像的图像传感器，并且从所述图像传感器获取所述投影像；及
权利要求1至6中任一项所述的图像处理装置，
所述投影像输入部输入所述摄像部所获取的所述投影像。


8.一种图像处理方法，其具备：
输入来自被摄体的光入射到菲涅尔波带片而形成的投影像的步骤；
将第1菲涅尔区图案和第2菲涅尔区图案分别与所述投影像相乘而生成由实部的图像和虚部的图像构成的复...

【专利技术属性】
技术研发人员：岸根庆延，成濑洋介，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本;JP