一种深度扩展装置，具备：摄像光学系统(2)和摄像元件(3)，其使焦点位置不同的图像A、B成像来进行拍摄；以及深度扩展图像生成部(5)，其基于图像A、B来生成维持物点至摄像光学系统的距离与亮度变化的关系的深度扩展图像，其中，在将图像A的像侧NA设为NA’、将由摄像光学系统和摄像元件决定的分辨率设为R、将图像A的成像面和图像B的成像面的光路间隔设为d、将图像A、B中的摄影距离近的图像的NA设为NAn、将摄影距离远的图像的NA设为NAf时，摄像光学系统和摄像元件满足条件式(1)和(2)。R×NA’/2≤d…(1)0.05≤(NAf/NAn)2≤0.9…(2)。
【技术实现步骤摘要】
【国外来华专利技术】深度扩展装置
本专利技术涉及一种将焦点位置不同的多个图像进行合成来扩展焦深的深度扩展装置。
技术介绍
以往，为了加深观察系统的景深，一般以缩小亮度光圈(将F值变大)的方式来进行应对。但是，这种情况下成像出的图像变暗。并且，近年来的摄像元件为了实现小型化、多像素化而使像素间距变小。对于这种摄像元件，当缩小光圈时有时出现衍射的影响，因此不能使F值过大。另外，还提出了如下方案:以具备聚焦功能的方式来构成观察光学系统，使得能够在广阔的景深范围内进行对焦。但是在该情况下，需要使透镜在观察光学系统内进行移动的空间，还需要驱动透镜的机构，因此观察光学系统大型化。因而，具备聚焦功能的观察光学系统未必适用于为了确保高插入性而谋求小型化、细径化的内窥镜。与此相对地，关于将焦点位置不同的多个图像进行合成来扩展焦深的技术，提出了各种技术。例如，在日本特开平11-32251号公报中记载了如下一种技术:通过包括双折射晶体的双焦点光学系统来获取焦点位置不同的多个图像，对这些不同焦点位置的图像的各像素的亮度进行比较选择并重新合成图像，来获得焦深深的图像。在此，该公报所记载的深度扩展图像的合成技术是对亮度进行比较并基于比较结果来选择多个图像中的某一个像素值的技术。另外，在日本特开2001-344599号公报中记载了如下一种技术:在对焦点位置不同的多个图像进行合成之前，使各图像的亮度水平一致，来削减噪声。并且，在日本特开2004-350070号公报中记载了如下一种图像处理装置，具有对通过单个摄影光学系统成像出的图像进行拍摄的多个摄像元件，来获得将由上述多个摄像元件拍摄到的多个图像数据进行合成而得到的图像，在该图像处理装置中具有控制单元，该控制单元根据摄影光学系统的工作条件来控制上述各摄像元件的位置，使得满足上述各摄像元件所形成的景深范围相邻或者略微重叠的条件。此外,在日本特开平8-241396号公报中记载了如下一种技术:基于一边使对焦面在光轴方向上移动一边被累积地相加输入的图像成为将点像分布函数(PSF ；Point SpreadFunction)投影到光轴方向而得到的响应函数与物体像的平行投影像的卷积这个原理，一边使对焦面在光轴方向上移动一边获取多个图像，基于对应于不同的对焦面的多个图像，沿着平行于光轴的断层面内在规定的角度方向上生成平行投影像。另外，在日本特开2005-49646号公报、日本特开2006-208407号公报中记载了 DFD式(Depth_Fused3D)装置的改良型的立体显示技术。作为将如上所述的焦点位置不同的多个图像进行合成来生成深度扩展图像的方法，一般是剪切并合成深度内的图像的技术。然而，在剪切并合成深度内的图像的技术中，无法再现与被摄体距离相应的自然的对比度变化。对此，参照图1?图3进行说明。图1是用于说明与被摄体距离相应的成像位置的差异的图，图2是表示根据被摄体距离剪切并合成焦点位置不同的两张图像时的与被摄体距离相应的亮度变化的情形的线图，图3是表示与将距离DO设为对焦位置时的被摄体距离的变化相应的点光源的亮度变化的情形的线图。在处于远距离的被摄体OBJf和处于近距离的被摄体OBJn的情况下，即使使用同一个摄像光学系统LS，也能够在不同位置成像出远距离像IMGf和近距离像IMGn。在远距离像MGf中，远距离被摄体OBJf是对焦的像，但近距离被摄体OBJn为失焦的像。相反地，在近距离像MGn中，远距离被摄体OBJf是失焦的像，但近距离被摄体OBJn是对焦的像。因此，通过分别取出在远距离像MGf中进行了对焦的远距离被摄体OBJf和在近距离像MGn中进行了对焦的近距离被摄体OBJn来合成一张图像，能够获得对远距离被摄体OBJf和近距离被摄体OBJn两者进行了对焦的深度扩展图像。具体地说，如图2所示，当设为近距离像MGn的对焦被摄体距离为D1、远距离像IMGf的对焦被摄体距离为D2(D2>D1)时，以处于Dl与D2的中间的被摄体距离D3为边界，与D3相比处于近距离的被摄体的近距离像MGn接近对焦，与D3相比处于远距离的被摄体的远距离像MGf接近对焦。因而，针对图像中的距离比距离D3近的被摄体，从近距离像MGn提取图像部分，针对图像中的距离比距离D3远的被摄体，从远距离像MGf提取图像部分，并将它们进行合成，由此能够整体上获得更为聚焦的图像。另外，在为了易于理解而考虑使点光源成像的情况时，如图3所示，在点光源处于距离DO的对焦位置的情况下能够获得最高的亮度值，随着远离对焦位置(近距离侧、远距离侧中的某一个)而失焦的程度扩大，因此在同一像素位置处获得的亮度值降低。如该图3所示的亮度变化是与被摄体距离相应的自然的亮度变化。与此相对地，在深度扩展图像的情况下，如图2所示，在距离Dl与距离D2之间亮度降低，因此不能获得与被摄体距离相应的亮度变化，难以理解被摄体之间的前后关系，成为不自然的图像。例如，存在从分辨率极限起点光源的像的大小在距离Dl与距离D2之间大致相同的情况，但该相同大小的像的亮度随着被摄体距离的变化而连续不断地取极大、极小、极大的值是不自然的。这样，在剪切并合成深度内的图像的现有技术中，不能可靠地再现与被摄体距离相应的对比度变化。并且，为了根据图像内的各部分的被摄体距离来决定使用远距离图像和近距离图像中的哪个数据，需要画面整体的被摄体距离信息，并且合成处理也变得复杂。本专利技术是鉴于上述情况而完成的，其目的在于提供一种能够以简单的处理再现与被摄体距离相应的自然的对比度变化的深度扩展装置。
技术实现思路
用于解决问题的方案为了达成上述目的，本专利技术的一个方式的深度扩展装置能够基于焦点位置不同的多个图像生成或者显示焦深被扩展的图像，具备:摄像光学系统和摄像元件，其使图像A和图像B成像来进行拍摄，其中，该图像A是基准图像，该图像B是焦点位置与上述图像A的焦点位置不同的图像；以及深度扩展图像构成部，其基于上述图像A和上述图像B中的对应的每个像素的亮度变化，来生成或者显示维持物点至上述摄像光学系统的距离与亮度变化的关系的深度扩展图像，其中，在将上述图像A的像侧NA设为NA’、将由上述摄像光学系统决定的分辨率和由上述摄像元件决定的分辨率中的低的一方设为R、将图像A的成像面与图像B的成像面之间的光路间隔设为d、将上述图像A与上述图像B中的摄影距离近的图像的NA设为NAn、将上述图像A与上述图像B中的摄影距离远的图像的NA设为NAf时，上述摄像光学系统和上述摄像元件构成为满足下述的条件式(I)和(2)。 0.05 ( (NAf/NAn)2 ( 0.9...(2)【附图说明】图1是用于说明与被摄体距离相应的成像位置的差异的图。图2是表示根据被摄体距离剪切并合成焦点位置不同的两张图像时的与被摄体距离相应的亮度变化的情形的线图。图3是表示与将距离DO设为对焦位置时的被摄体距离的变化相应的点光源的亮度变化的情形的线图。图4是表示本专利技术的实施方式I中的深度扩展装置的结构的框图。图5是表示上述实施方式I中的深度扩展装置的摄像光学系统和摄像元件的结构的一例的图。图6是将在上述实施方式I中近距离、中距离、远距离被摄体的像的与距摄像光学系统的像侧距离相应的亮度变化的情形与图像A、B的成像位置一起表示的线图。图7是表示在上述实施方本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】2011.12.16 JP 2011-2763691.一种深度扩展装置，能够基于焦点位置不同的多个图像生成或者显示焦深被扩展的图像，其特征在于，具备: 摄像光学系统和摄像元件，其使图像A和图像B成像来进行拍摄，其中，该图像A是基准图像，该图像B是焦点位置与上述图像A的焦点位置不同的图像；以及 深度扩展图像构成部，其基于上述图像A和上述图像B中的对应的每个像素的亮度变化，来生成或者显示维持物点至上述摄像光学系统的距离与亮度变化的关系的深度扩展图像， 其中，在将上述图像A的像侧数值孔径设为NA’、将由上述摄像光学系统决定的分辨率和由上述摄像元件决定的分辨率中的低的一方设为R、将图像A的成像面与图像B的成像面之间的光路间隔设为d、将上述图像A与上述图像B中的摄影距离近的图像的数值孔径设为NAn、将上述图像A与上述图像B中的摄影距离远的图像的数值孔径设为NAf时，上述摄像光学系统和上述摄像元件构成为满足下述的条件式(I)和(2)，RXNA’ /2 ( d...(I)2.根据权利要求1所述的深度扩展装置，其特征在于， 上述深度扩展图像构成部具有深度扩展图像生成部，该深度扩展图像生成部计算从上述图像A减去上述图像B而得到的差图像，将该差图像的各像素的像素值与用于使该差图像的最大亮度值为像素值所能取到的最大值的相加值相加之后除以上述最大值，由此制作标准化图像C，并且通过将图像A的各像素的像素值除以标准化图像C中对应的像素的像素值来生成深度扩展图像。`3.根据权利要求2所述的深度扩展装置，其特征在于， 上述摄像光学系统设置于内窥镜，上述图像A是近点图像，上述图像B是远点图像。4.根据权利要求3所述的深度扩展装置，其特征在于， 上述摄像元件具备距上述摄像光学系统的光路长度不同的两个像素组，利用其中一个像素组拍摄上述图像A，利用另一个像素组拍摄上述图像B。5.根据权利要求3所述的深度扩展装置，其特征在于， 上述摄像元件包括第一摄像元件和第二摄像元件， 上述摄像光学系统包括分割光学元件，该分割光学元件将入射的光分割而向上述第一摄像元件和上述第二摄像元件射出， 上述分割光学元件以无反射的方式向上述第一摄像元件...
【专利技术属性】
技术研发人员：榛泽丰治，高杉芳治，富冈诚，
申请(专利权)人：奥林巴斯医疗株式会社，
类型：
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。