一种具有高动态范围的双目内窥镜、系统及成像方法技术方案

本发明专利技术提出一种具有高动态范围的双目内窥镜、系统及成像方法，其中双目内窥镜包括镜体管，在镜体管的头部左右对称的设有两个镜头，在其中一个镜头中设有用于降低图像亮度的光学机构，镜体管内还设有两个CMOS图像传感器，两个CMOS图像传感器与两个镜头一一对应，CMOS图像传感器用于与图像处理器相连接；镜体管内还设有用于照明的导光光纤。上述具有高动态范围的双目内窥镜、系统及成像方法，通过在一目的镜头中加入降低图像亮度的光学机构，单次曝光，即可获取同一拍摄时刻高低曝光的两幅原始图像，两幅原始图像不存在拍摄时间延迟，通过图像融合方法合成双目镜头获得的两幅原始图像，得到亮度适中、符合人眼观测需求的目标图像。标图像。标图像。

【技术实现步骤摘要】
一种具有高动态范围的双目内窥镜、系统及成像方法


[0001]本专利技术涉及内窥镜
，尤其涉及一种具有高动态范围的双目内窥镜、系统及成像方法。

技术介绍

[0002]图像的动态范围(dynamic range，DR)是指一幅图像中可见区域最大亮度与最小亮度的比值。场景中最大光度与最小光度的比值被称为场景的动态范围。高动态范围(high dynamic range，HDR)图像表示记录动态范围跨度很大的真实场景的图像。对于记录图像的传感器元器件CCD/CMOS，也有表征图像传感器性能的动态范围指标，图像传感器的动态范围指的是芯片像素上满陷容量(full well capacity)与读出噪声的比值。图像传感器的动态范围越高，能记录场景的动态范围也就越高。当图像传感器的动态范围低于场景动态范围时，传感器只能记录部分亮度区间的图像，其他亮度的图像信息则无法被记录，在图像中表现为局部过亮或者过暗。
[0003]内窥镜需要观测大视场角、大景深的体内图像，场景的动态范围比较高，意味着内窥镜需要记录的整幅图像的动态范围比较高，这就对图像传感器CMOS芯片的动态范围提出了巨大的要求；由于场景的动态范围非常大，要大于CMOS的动态范围，导致单次曝光下，CMOS无法记录场景下图像亮度的全部信息，出现内窥镜图像局部过曝或者过暗的情况。
[0004]目前，提升内窥镜动态范围的手段主要有2种方式，算法实现和硬件实现的2种方式。其中算法的实现方式是使用HDR算法，即通过记录先后两帧或者多帧高低曝光得到的亮度不同的图像，对不同亮度图像进行HDR算法合成或者图像融合，得到高质量亮度适中的图像的算法实现方式。这种HDR算法，对处理静止的图像有一定的效果。但在内窥镜平台上应用的效果往往不佳，原因在于内窥镜需要实时观测，这就对HDR算法处理的速度提出了巨大的要求。首先，HDR算法需要获取先后至少两帧图像来合成一幅图像，意味着，合成后的图像的帧率至少减半；同时，内窥镜在使用过程中，拍摄的镜头相对于拍摄物体，有可能会发生位置移动，先后两帧或者多帧的原始图像会出现像素错位等情况，由于原始图像的错位情况是未知的，需要做复杂的配准算法来对偏离的像素做修正，进一步增加了应用的难度。
[0005]硬件的实现方式主要是通过增加硬件(如旋转滤光片)来使用高动态的单色CCD传感器来记录高动态范围场景，需要将高动态范围的单色CCD记录的单色图像合成高动态的彩色RGB图像，这种方式需要增加额外的光学硬件以及配套的同步、控制的硬件和电路。

技术实现思路

[0006]为了解决现有技术中存在的问题，本申请提出了一种具有高动态范围的双目内窥镜、系统及成像方法，使用双目内窥镜，通过在一目的镜头中加入降低图像亮度的光学机构，单次曝光，即可获取同一拍摄时刻高低曝光的两幅原始图像。不同于常规的HDR方法，本申请中原始图像始终是在同一时刻拍摄得到，不存在常规HDR方法需要处理单目镜头拍摄的相邻帧图像，导致待HDR融合的原始图像由于内窥镜运动产生的图像错位问题。本申请涉
及的HDR方法实现方式简单，通过图像融合方法合成双目获得的两幅原始图像，得到目标图像，经过处理得到的目标图像亮度适中，符合人眼的观测需求。
[0007]为了实现上述目的，本申请的一方面提出了一种具有高动态范围的双目内窥镜，包括镜体管，在所述镜体管的头部左右对称的设有两个镜头，分别记作左目镜头和右目镜头，所述左目镜头或右目镜头中设有用于降低图像亮度的光学机构，在所述镜体管内还设有两个CMOS图像传感器，两个CMOS图像传感器与两个镜头一一对应，所述CMOS图像传感器用于与图像处理器相连接；在所述镜体管内还设有用于照明的导光光纤。
[0008]在一些实施例中，设有所述光学机构的镜头获得的图像的亮度是未设置所述光学机构的镜头获得的图像的亮度的30％～60％。
[0009]在一些实施例中，所述左目镜头和右目镜头中的镜片组的结构一致，所述镜片组从物面到像面依次包括第一透镜、第二透镜、第三透镜以及胶合透镜，在所述第二透镜和第三透镜之间设有光阑。
[0010]在一些实施例中，设置在所述左目镜头或右目镜头中的用于降低图像亮度的光学机构是中性滤光片，所述中性滤光片设置在所述胶合透镜与CMOS图像传感器上的保护玻璃之间的位置处，所述中性滤光片的物侧面和像侧面均为平面。
[0011]在一些实施例中，设置在所述左目镜头或右目镜头中的用于降低图像亮度的光学机构是膜层结构，这种情况下，设有膜层结构的镜头的胶合透镜的像侧面为平面，在该平面上镀膜形成膜层结构。
[0012]在一些实施例中，所述左目镜头满足以下条件式：3.5mm≤TTL≤7mm，其中TTL为所述双目内窥镜左目镜头的光学总长；0.6mm≤f≤1.2mm，其中f表示所述双目内窥镜左目镜头的有效焦距；80
°
≤FOV≤100
°
，其中FOV表示左目镜头的入瞳视场角；BFL≥1mm，其中BFL表示左目镜头的光学后焦距；左目镜头的景深不小于20mm～100mm；所述右目镜头满足的条件式与左目镜头一致。
[0013]本申请的另一方面提出了一种具有高动态范围的双目内窥镜系统，包括所述双目内窥镜、通过数据传输线与所述双目内窥镜相连接的图像处理器、以及通过视频信号传输线与所述图像处理器相连接的显示器。
[0014]本申请还提出了一种基于上述具有高动态范围的双目内窥镜系统的成像方法，包括以下步骤：
[0015]步骤1、获取双目内窥镜拍摄的两幅图像，作为待处理的原始图像；
[0016]步骤2、对两幅原始图像进行预处理，使预处理后的两幅图像信噪比得到改善；步骤3、对每幅图像的RGB分量计算拉普拉斯金字塔，得到对应的拉普拉斯金字塔图像；
[0017]步骤4、对两幅拉普拉斯金字塔图像的相对应层次的子图像进行融合，得到融合的拉普拉斯金字塔图像；
[0018]步骤5、通过融合的拉普拉斯金字塔图像恢复出对应的高斯金字塔图像，高斯金字塔图像的第零层子图像即为最终的目标图像。
[0019]在一些实施例中，在所述步骤2中，预处理包括：对两幅原始图像分别进行去噪处理，提升图像质量。
[0020]在一些实施例中，在所述步骤5中，对于金字塔层数为n的拉普拉斯金字塔图像与高斯金字塔图像，二者有如下的递推关系式：
[0021][0022]其中，L
n
代指具有n层的拉普拉斯金字塔图像的最高层子图像，其为已知量，L
k
代指拉普拉斯金字塔图像的第k层子图像，其为已知量，G
n
代指高斯金字塔图像的最高层子图像，G
*k+1
指的是高斯金字塔图像的第(k+1)层子图像通过内插的方式，即将该子图像的分辨率在水平和竖直方向上各增大两倍后得到的图像。
[0023]本申请的该方案的有益效果在于上述具有高动态范围的双目内窥镜、系统及成像方法，使用双目内窥镜，通过在一目的镜头中加入降低图像亮度的光学机构，单次曝光，即可获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有高动态范围的双目内窥镜，其特征在于：包括镜体管，在所述镜体管的头部左右对称的设有两个镜头，分别记作左目镜头和右目镜头，所述左目镜头或右目镜头中设有用于降低图像亮度的光学机构，在所述镜体管内还设有两个CMOS图像传感器，两个CMOS图像传感器与两个镜头一一对应，所述CMOS图像传感器用于与图像处理器相连接；在所述镜体管内还设有用于照明的导光光纤。2.根据权利要求1所述的具有高动态范围的双目内窥镜，其特征在于：设有所述光学机构的镜头获得的图像的亮度是未设置所述光学机构的镜头获得的图像的亮度的30％～60％。3.根据权利要求1所述的具有高动态范围的双目内窥镜，其特征在于：所述左目镜头和右目镜头中的镜片组的结构一致，所述镜片组从物面到像面依次包括第一透镜、第二透镜、第三透镜以及胶合透镜，在所述第二透镜和第三透镜之间设有光阑。4.根据权利要求3所述的具有高动态范围的双目内窥镜，其特征在于：设置在所述左目镜头或右目镜头中的用于降低图像亮度的光学机构是中性滤光片，所述中性滤光片设置在所述胶合透镜与CMOS图像传感器上的保护玻璃之间的位置处，所述中性滤光片的物侧面和像侧面均为平面。5.根据权利要求3所述的具有高动态范围的双目内窥镜，其特征在于：设置在所述左目镜头或右目镜头中的用于降低图像亮度的光学机构是膜层结构，这种情况下，设有膜层结构的镜头的胶合透镜的像侧面为平面，在该平面上镀膜形成膜层结构。6.根据权利要求3所述的具有高动态范围的双目内窥镜，其特征在于：所述左目镜头满足以下条件式：3.5mm≤TTL≤7mm，其中TTL为所述双目内窥镜左目镜头的光学总长；0.6mm≤f≤1.2mm，其中f表示所述双目内窥镜左目镜头的有效焦距；80
°
≤FOV≤100
°
，其中FOV表示左目镜头的入...

【专利技术属性】
技术研发人员：王炳强，游庆虎，徐栋，詹世涛，
申请(专利权)人：山东威高手术机器人有限公司，
类型：发明
国别省市：