内窥镜成像方法、内窥镜成像系统和软件程序产品技术方案

技术编号:31563540 阅读:26 留言:0更新日期:2021-12-25 10:48
本发明专利技术涉及内窥镜成像方法、内窥镜成像系统和软件程序产品,该系统包括具有至少一个CMOS图像传感器的视频内窥镜、光源单元、图像评估单元、控制单元和显示装置。在白光照明下借助视频内窥镜捕获白光图像并由图像评估单元实时评估以检查具有至少一个预定义特征的至少一个结构的存在。当图像评估单元检测到在白光图像中存在具有至少一个预定义特征的至少一个结构时,借助光源单元使用至少一种特殊光生成特殊光照明,并在特殊光照明下捕获视频流的图像并在特殊光处理模式下对其进行图像处理,包括识别白光图像中包含具有在白光图像中检测到的预定义特征的结构的子区域并仅读出图像传感器的该子区域,从子区域读出的图像数据被进一步处理为特殊光图像。数据被进一步处理为特殊光图像。数据被进一步处理为特殊光图像。

【技术实现步骤摘要】
内窥镜成像方法、内窥镜成像系统和软件程序产品


[0001]本专利技术涉及用于内窥镜成像的方法、内窥镜成像系统和软件程序产品。

技术介绍

[0002]除了具有包括整个RGB光谱的白光照明的白光模式外,现代内窥镜成像系统还提供各种特殊光成像模式,该白光模式对可见光谱(VIS)至关重要。这种特殊光成像(SLI)模式包括例如窄带成像(NBI)、近红外荧光成像(NIRF)和红色二色成像(RDI)。RDI是Olympus Technology的专有方法,在美国专利US 10,034,600 B2和US 9,775,497 B2中有所描述。此列表并非穷举。
[0003]近红外荧光成像(NIRF)可用于分析和评估血管灌注、确认肝胆系统的解剖结构、发现淋巴结或者在使用诸如ICG(吲哚菁绿)、CY5.5、ZW800或ZW

1之类的外源性造影剂后使输尿管可视化。红色二色成像(RDI)可用于识别动脉出血的来源。窄带成像(NBI)可以帮助区分良性增生和癌组织或癌前体,例如区分NICE

1和NICE

2型肠息肉,以决定是否需要切除息肉。
[0004]典型的检查和手术由医生使用用于视觉成像(VIS)的白光照明进行。如果医生在白光图像中发现需要在特殊光成像模式下更仔细检查的异常情况,那么医生会基于他们的训练和经验选择适当的特殊光成像模式。

技术实现思路

[0005]在此背景下,本专利技术的目的是在检查或手术期间以改善的形式的内窥镜成像来辅助医生。
[0006]该目的通过一种利用内窥镜成像系统进行内窥镜成像的方法来实现,所述内窥镜成像系统包括具有至少一个CMOS图像传感器的视频内窥镜、被设计成生成白光和至少一种特殊光的光源单元、图像评估单元、控制单元和显示装置,并且所述内窥镜成像系统进一步开发为,在白光照明下借助于视频内窥镜来捕获白光图像,并且由图像评估单元实时评估所述白光图像以检查具有至少一个预定义特征的至少一个结构的存在,其中,当所述图像评估单元在至少一个白光图像中检测到具有至少一个预定义特征的至少一个结构的存在时,设置特殊光成像模式,在该特殊光成像模式下所述光源单元使用所述至少一种特殊光来生成特殊光照明,并且在所述特殊光照明下捕获视频流的一个或更多个图像,并且在特殊光处理模式下对视频流的一个或更多个图像进行图像处理,该图像处理包括:识别白光图像中包含具有在所述白光图像中检测到的所述预定义特征的所述结构的子区域,以及仅读出所述图像传感器的该子区域,其中,从所述子区域读出的图像数据被进一步处理为特殊光图像。
[0007]根据本专利技术的方法基于以下事实:大多数内窥镜视频系统(即视频内窥镜或用于内窥镜的摄像头)都配备有CMOS图像传感器而不是CCD图像传感器。与CCD图像传感器不同,许多CMOS图像传感器能仅在子区域(所谓的“关注区域”(ROI))中读出,这显著提高了读取
率。子区域通常是矩形区域,在本专利技术的背景下,其尺寸被确定为使得它完全包含所述结构,如果适用的话,其边界占据例如矩形长边的范围的2%至20%。例如,肠息肉通常在图像中占据图像面积的大约10%至20%。在许多临床情况下,这类ROI在完整图像中的等效面积上延伸。在这种情况下,例如具有1980x1080像素的HD分辨率的CMOS图像传感器可以在包含息肉的对应子区域中(例如,在对角点的坐标例如为600/200和1061/662矩形区域中)专门且非常快速地读出。由此产生的包含肠息肉的ROI将具有461x462像素(约213,000像素)的大小,因此将仅为完整HD图像大小的大约十分之一。
[0008]借助于根据本专利技术的方法,因此即使在已经激活特殊光成像模式时也可以获得高图像刷新率,因为与在白光成像模式下读出CMOS图像传感器的整个图像数据相比,CMOS图像传感器的子区域被更快地读出和处理。在不选择子区域的情况下,白光图像和特殊光图像交替序列的情况下的图像刷新率将减半,例如从50Hz到25Hz,其中白光图像序列将处于25Hz,而特殊光图像序列也将处于25Hz。在快速移动的情况下,这可能导致运动伪影。
[0009]许多特殊光成像模式也很微弱。所需的高感光度或增益系数会导致显著的图像噪声。可以通过增加曝光时间或组合连续帧来减少噪声。这些措施在没有子区域选择的正常时序成像中受到严重限制,而根据本专利技术在特殊光条件下可能的更高图像刷新率可用于经由特殊光图像的更紧密的连续性来增加特殊光图像的有效曝光时间。
[0010]根据本专利技术的方法还使得可以通过对白光图像进行图像识别来辅助主治医师,其中自动检测到具有预定义特征的结构。例如,这种结构可能是灌注的血管、淋巴结、动脉出血或肠息肉,然而该列表并非穷举。这些结构的预定义特征是众所周知的,并且基于大量图像材料进行了详细记录,并且可以借助于自动化图像评估进行识别。根据本专利技术,在这种情况下,设置合适的特殊光成像,借助于该特殊光成像更详细且更精确地示出所识别的结构。医生不用做出设置特殊光成像模式的决定,他们无需做任何事情就可以看到特殊光成像。
[0011]正在进行的检查通常被处理为视频流。根据本专利技术的方法可以应用于正在进行的视频流,但如果医生需要,也可以应用于借助快照功能从视频流中分离出来的单个图像,以用于更仔细的检查和记录。
[0012]子区域是在图像评估单元中选择的,并且关于读出CMOS图像传感器的哪个子区域的指令由图像评估单元直接发出或者经由控制单元发出。图像评估单元也可以作为软件集成在控制单元中作为功能单元,例如作为程序或者程序的子例程。
[0013]各种检查的正常情况是看不到相关结构的。在这些情况下,如果图像评估单元在白光图像中没有检测到具有至少一个预定义特征的结构,则有利地借助于显示装置显示白光图像。
[0014]在实施方式中,特殊光图像借助于显示装置单独显示,或者作为叠加在白光图像上的合成图像显示。单独显示特殊光图像具有不受干扰的显示的优点,这对于训练有素的医生的眼睛来说很容易解释。显示合成图像(其中特殊光图像在所述结构的位置处一致叠加在白光图像上)提供了将特殊光图像嵌入到周围结构中的优势。这类融合图像或合成图像可以称为增强现实图像(ARI)。对于合成图像,可以将特殊光图像以一定透明度(例如在5%到50%之间)叠加在白光图像上,使得仍然可以看到在特殊光图像中不可见的白光图像的底层结构,或者可以将特殊光图像以不透明的方式(透明度为0%到5%)叠加在白光图像上。
[0015]在具有在视频流中显示的合成图像序列的实施方式中,在图像评估单元检测到在白光图像中存在具有至少一个预定义特征的至少一个结构的情况下,与视频图像序列同步化生成交替的白光和特殊光照明,其中在每种情况下,由白光图像和特殊光图像组成的一对图像被处理并组合成合成图像。可以使用快照功能捕获来自该合成图像视频流的单个帧,并用于更仔细的检查和记录。因此,在本专利申请和本专利技术的范围内,术语“特殊光成像模式”还包括这样的情况:白光图像和特殊光图像在交替序列中被捕获、进一步处理并组合本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种利用内窥镜成像系统(10)进行内窥镜成像的方法,所述内窥镜成像系统(10)包括具有至少一个CMOS图像传感器(26)的视频内窥镜(20)、被设计成生成白光和至少一种特殊光的光源单元(30)、图像评估单元(40)、控制单元(50)和显示装置(60),其特征在于,在白光照明下借助于所述视频内窥镜(20)来捕获白光图像(42),并且由所述图像评估单元(40)实时评估所述白光图像(42)以检查具有至少一个预定义特征的至少一个结构(6)的存在,其中,当所述图像评估单元(40)在至少一个白光图像(42)中检测到具有至少一个预定义特征的至少一个结构(6)的存在时,设置特殊光成像模式,在该特殊光成像模式下,所述光源单元(30)使用所述至少一种特殊光生成特殊光照明,并且在所述特殊光照明下捕获视频流的一个或更多个图像,并且在特殊光处理模式下对所述视频流的所述一个或更多个图像进行图像处理,该图像处理包括:识别所述白光图像(42)中包含具有在所述白光图像中检测到的所述预定义特征的所述结构(6)的子区域(44),以及仅读出所述图像传感器(26)的该子区域(44),其中,从所述子区域(44)读出的图像数据被进一步处理为特殊光图像(46)。2.根据权利要求1所述的方法,其特征在于,如果所述图像评估单元(40)在所述白光图像(42)中没有检测到具有至少一个预定义特征的结构,则借助于所述显示装置(60)显示所述白光图像(42)。3.根据权利要求1所述的方法,其特征在于,所述特殊光图像(46)借助于所述显示装置(60)被单独显示或者被显示为叠加在白光图像(42)上的合成图像(48)。4.根据权利要求1所述的方法,其特征在于,在所述图像评估单元(40)在所述白光图像(42)中检测到具有至少一个预定义特征的至少一个结构(6)的存在的情况下,与视频图像序列同步化生成交替的白光照明和特殊光照明,其中,在每种情况下对由白光图像(42)和特殊光图像(46)组成的一对图像进行处理并将其组合成合成图像(48)。5.根据权利要求4所述的方法,其特征在于,所述视频图像序列和所同步化的交替的白光照明和特殊光照明按一时间节律发生,在该时间节律中,所述特殊光照明和特殊光图像捕获的持续时间短于所述白光照明和白光图像捕获的持续时间。6.根据权利要求1所述的方法,其特征在于,所述光源单元(30)被设计成生成以下中的一种或更多种作为特殊光:用于窄带成像(NBI)的照明、用于近红外荧光成像(NIRF)的照明和用于红色二色成像(RDI)的照明。7.根据权利要求6所述的方法,其特征在于,在检测...

【专利技术属性】
技术研发人员:T
申请(专利权)人:奥林匹斯冬季和IBE有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1