用于对场景成像的成像方法和系统技术方案

本申请涉及用于对场景成像的成像方法和系统，并且公开了用于在图像传感器(114)的视场(112)相对于场景(110)变化期间对场景(110)成像的方法(10、10

【技术实现步骤摘要】
用于对场景成像的成像方法和系统


[0001]本专利技术涉及用于在图像传感器的视场相对于场景变化期间对场景成像的成像方法。本专利技术还涉及用于在图像传感器的视场相对于场景变化期间对场景成像的系统。

技术介绍

[0002]从下面的解释可以明显看出，本专利技术在应用中提供优势，其中来自两个不同光谱范围的图像信息应该被处理。对于下面的解释，这些光谱范围应该是白光范围和近红外范围。然而，本专利技术不限于这些光谱范围。此外，内窥镜检查中获得的图像应以示例性的方式进行讨论。然而，本专利技术不限于此类型图像。
[0003]例如在借助近红外荧光成像的范围内，来自两个不同光谱范围的图像信息产生；例如，请参见https://www.karlstorz.com/ro/en/nir
‑
icg
‑
near
‑
infrared
‑
fluo rescence.htm。以前的荧光成像产品需要在白光范围内的非常强大光源，且特别是对于近红外(NIR)荧光。
[0004]这是由于若干因素，例如荧光系统的吞吐量限制。在白光和荧光交替操作的情况下，在白光图像和荧光图像的相应流中获得较少帧。此外，为了获得特定帧重复率，可需要更短曝光时间。最后，当使用滚动快门时，需要等待时间，以避免例如将呈现白光和荧光的部分重叠的错误帧。
[0005]因此，荧光记录具有较低对比度或看起来被冲淡。在此情况下，相对弱的荧光效应以较低的准确度可识别。所得NIR图像呈现绿色闪光并且相比于白光图像具有显著较低的对比度和较少的细节。然而，NIR图像包含起重要作用(尤其是在医学领域)并且在白光图像中是不可识别的信息。
[0006]在高功率氙灯中发现用于产生NIR光的常规和常用解决方案。然而，这些具有许多缺点，例如，使用寿命相对较短，退化早以及由于原则上需要强大的通风而导致的显著噪音。这是因为仅使用宽带氙灯的NIR光分量来提供荧光。附加产生的强大白光分量通过滤光被移除且必须作为热量消散。此外，氙灯本身已经产生相关的废热。
[0007]因此，如今LED的使用越来越多，它提供的废热更少，通风机噪音更低且灯的使用寿命更长。然而，LED的有限IR发光强度需要例如通过自动增益控制(AGC)将图像信号进行相对较大的放大。然而，放大具有放大噪声的缺点，且因此荧光通道中具有一定的不清晰度和可能降低的对比度，以便通过平均来消除该噪声。此影响可以通过长时间曝光来抵消。然而，这导致在轻微抖动的情况下图像质量受限。
[0008]最后，还使用基于激光的解决方案。然而，由于在此情况下需要激光防护护目镜，所以通常仅当所有其他选项都无法提供所需结果时才使用激光。

技术实现思路

[0009]为了在图像表示中获得良好的结果，需要提高细节水平、减少图像噪声和提高对比度。非常具体地，此类良好图像表示可以促进医生解释内窥镜图像表示，例如与局部灌注
不足区域相关的图像表示。因此，可以可靠地区分灌注良好的区域和与血液供应不充分连接的组织部分，特别是在能够在良好动态范围下可靠地识别的尖锐边界的情况下。这同样适用于癌症组织区域与健康组织相比的明显可识别性。
[0010]本专利技术的一个目的是强调用于在图像传感器的视场相对于场景变化期间对场景成像的经改进的成像方法和对应的系统。
[0011]根据一个方面，该目标通过用于在图像传感器的视场相对于场景的变化期间对场景成像的成像方法来实现，该方法包括以下步骤：
[0012]a)在第一时间用场景的第一照明获取场景中的第一图像，其中第一图像主要包含可见光范围内的来自场景的第一图像信息，
[0013]b)在步骤a)之后，用场景的第二照明获取场景中的多个第二图像，其中第二图像的每个第二图像主要包含不可见光范围内的来自场景的第二图像信息，
[0014]c)在步骤b)之后，在第三时间用场景的第一照明获取场景中的第三图像，其中第三图像主要包含可见光范围内的来自场景的第三图像信息，
[0015]d)确定场景中的至少一个参考特征，该参考特征在第一图像和第三图像中被成像，
[0016]e)基于至少一个参考特征确定视场的第一变化，
[0017]f)在考虑作为第一变化的第一比例产生的至少一个第二变化时配准第二图像，其中第一比例是待配准的两个第二图像的第二时间之间的第一时间差与第三时间和第一时间之间的第二时间差的比率，
[0018]g)处理经配准的第二图像以获得结果图像，以及
[0019]h)输出结果图像。
[0020]在本专利技术的上下文中，专利技术人已经认识到，改进第二图像(该第二图像主要包含不可见光范围内的来自场景的第二图像信息)的图像质量的常规方法已延伸到其极限。例如，用于记录第二图像的更灵敏的图像芯片导致显著更高成本。由于图像传感器的视场的变化，延长第二图像的曝光时间导致轮廓模糊。增加发光强度仅具有有限效果，尤其是在荧光成像领域，因为感测的不是反射光而是由光触发的荧光响应。这里的术语“可见”和“不可见”与人类视觉有关，其中“可见”描述人眼敏感的光谱，并且“不可见”描述人眼不敏感的光谱。
[0021]在本专利技术的上下文下，专利技术人还认识到，直接覆盖多个第二图像也不产生令人满意的解决方案，因为这类似于由于图像传感器视场的变化而导致的结果模糊。在此过程中，专利技术人还考虑第二图像的直接配准(https://de.wikip edia.org/wiki/Bildregistrierung或https://en.wikipedia.org/wiki/Image_registratio n)，但这并不在所有情况下都可行，尤其是如果第二图像由于例如低对比度而不支持配准或仅支持不准确的配准。
[0022]突出的解决方案的特点是，基于来自主要包含可见光范围内的图像信息的图像中的图像信息，确定图像传感器的视场变化。实际上，此图像信息具有足够清晰可识别的特征，借助于该特征，可以确定变化。在此上下文中，可以通过具有可见光范围内的图像信息的两个紧接着的图像确定变化，或者通过在时间上彼此跟随而不是紧接着的图像确定变化。
[0023]现在，例如由于成像装置的控制或使用的成像技术，主要包含不可见图像范围内的图像信息的图像的记录时间也已知。如果现在假设在主要包含可见光范围内的图像信息的图像之间的图像传感器的视场变化至少基本均匀，则可以计算在记录主要包含不可见光范围内的图像信息的图像时变化的进展程度。特别地，这里变化可以包括组平移、旋转、倾斜、光学焦距的变化或数字放大率的变化中的一个或多个元素。
[0024]例如，如果假设在记录第一图像的第一时间t1和记录第三图像的第三时间t3之间的变化A为T＝t3
–
t1，并且在时间t2＝0.5T记录第二图像，则第一图像和第二图像之间的变化是0.5A并且第二图像和第三图像之间的变化也是0.5A。
[0025]在另一个示例中，在时间t2＝0.4T和t2
′
＝0.6T记录两个第二图像。现在，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在图像传感器(114)的视场(112)相对于场景(110)变化期间对所述场景(110)成像的成像方法(10)，所述方法(10)包括以下步骤：a)在第一时间(t1)用所述场景(110)的第一照明(50)获取(12)所述场景(110)中的第一图像(41)，其中所述第一图像(40)主要包含可见光范围内的来自所述场景(110)的第一图像信息，b)在步骤a)之后，在相应第二时间(t2、t2
′
)用所述场景(110)的第二照明(52)获取(14)所述场景(110)中的多个第二图像(42、42
′
)，其中所述第二图像(42、42
′
)主要包含不可见光范围内的来自所述场景(110)的第二图像信息，c)在步骤b)之后，在第三时间(t3)用所述场景(110)的所述第一照明(50)获取(16)所述场景(110)中的第三图像(43)，其中所述第三图像主要包含所述可见光范围内的来自所述场景(110)的第三图像信息，d)确定(18)所述场景(110)中的至少一个参考特征(54)，所述参考特征在所述第一图像(41)和所述第三图像(43)中被成像，e)基于所述至少一个参考特征(54)确定(20)所述视场的第一变化(A)，f)在考虑作为所述第一变化(A)的第一比例产生的至少一个第二变化(B)时配准(22)所述第二图像，其中所述第一比例是待配准的两个第二图像(42、42
′
)的所述第二时间(t2、t2
′
)之间的第一时间差与所述第三时间(t3)和所述第一时间(t1)之间的第二时间差的比率，g)处理经配准的第二图像以便获得结果图像，以及h)输出所述结果图像，[第二时间：并非所有都需要不同]，[用于所述处理的第二图像也可以是所有第二图像的子集]。2.根据权利要求1所述的方法(10
′
)，其中，所述方法还包括以下步骤：i)在步骤b)之后且在步骤c)之前，在第四时间用所述场景(110)的第一照明获取(32)所述场景(110)中的第四图像，其中所述第四图像主要包含所述可见光范围内的来自所述场景(110)的第四图像信息，j)在步骤i)之后且在步骤c)之前，在相应第五时间用所述场景(110)的所述第二照明获取(34)所述场景(110)中的多个第五图像，其中所述第五图像主要包含在所述不可见光范围内的来自所述场景(110)的第五图像信息，k)在步骤e)之后和步骤g)之前，在考虑作为所述第一变化的第二比例产生的至少一个第三变化时配准(36)所述第五图像，其中所述第二比例是待配准的两个第五图像的所述第五时间之间的第三时间差与所述第三时间和所述第一时间之间的所述第二时间差的比率，并且其中，在步骤g)中处理经配准的第二图像和经配准的第五图像以获得结果图像。3.根据权利要求2所述的方法(10
″
)，其中步骤d)改为如下进行：确定(18
...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：卡尔史托斯公司，
类型：发明
国别省市：