荧光内窥镜系统、控制方法和存储介质技术方案

本发明专利技术提供了一种荧光内窥镜系统、控制方法和存储介质。荧光内窥镜系统的工作模式包括第一模式和第二模式，包括内窥镜、照明模块、内窥镜驱动模块和场景融合模块；内窥镜包括可见光图像传感器和近红外光图像传感器；在第二模式下，照明模块用于提供可见光和近红外光，可见光图像传感器获取可见光场景图像，并以第一视频流的形式输出，近红外光图像传感器获取近红外光场景图像，并以第二视频流的形式输出；场景融合模块用于当第一视频流和/或第二视频流的当前亮度在目标亮度范围内时，将第一视频流的当前帧图像和第二视频流的当前帧图像进行图像融合。本发明专利技术可以有效提高信噪比，获取更多的图像细节信息。更多的图像细节信息。更多的图像细节信息。

【技术实现步骤摘要】
荧光内窥镜系统、控制方法和存储介质


[0001]本专利技术涉及医疗器械
，特别涉及一种荧光内窥镜系统、控制方法和存储介质。

技术介绍

[0002]随着医疗技术的不断发展，内窥镜作为集中传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，应用范围越来越广。内窥镜可以进入待检测者的体内(例如食道)，以获取待检测部位的图像，进而确定待检测部位是否存在病变。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案。
[0003]具体地，内窥镜系统一般具有能够插入到生物体内部的部件，通过将该部件经口腔或其他天然孔道、或者经手术做的小切口等伸入到生物体内部后，这部分部件在获取到生物体内部的图像信息，再传输出来并被显示于显示器。
[0004]通常地，内窥镜系统能够进行普通光(可见光)成像。顾名思议，普通光成像即是对普通光或者说白光照射下的生物体内部进行成像，例如内窥镜系统向生物体内部的目标组织依次应用三种颜色的光束R、G和B，并且通过获取从这些光束的反射光产生的图像形成普通光图像。医生等通过普通光图像可以进行诊断，但是普通光图像也有一定的局限性，例如一些诸如鳞状细胞癌等病变在视觉上很难被识别，即在普通光图像上很难被识别；又例如，在子宫内膜癌手术中，前哨淋巴结在普通光图像上也难以被识别。
[0005]因此内窥镜系统的特殊光(例如荧光)成像技术被发展起来，该技术能够提供给观察者普通光成像不能够辨别的信息，这给诊断和治疗提供了更丰富的参考依据。例如应用特殊光成像技术对子宫内膜癌相关目标组织进行成像时，在所得到的特殊光图像中前哨淋巴结与周围正常目标组织对比强烈(例如一者被处理显示为近似白色，另一者被处理显示为近似黑色)，因此可以被较容易地区分，但是也正是因为在特殊光图像中癌变目标组织与正常目标组织对比强烈(例如上述所述的一者被处理显示为基本为白色，另一者被处理显示为基本为黑色)，所以使得特殊光图像也缺乏目标组织本身的结构和形态方面的细节。因此一般都会通过荧光内窥镜系统获取普通光图像和特殊光图像，并将这两者并列或叠加显示。
[0006]当术中发生出血，因血红蛋白吸光特性，会使得腔体内亮度下降，这造成成像细节不清晰。传统方法通过提高内窥镜的曝光时间和增益，但是，此方法会引起拖影和加重成像噪声。

技术实现思路

[0007]本专利技术的目的在于提供一种荧光内窥镜系统、控制方法和存储介质，在实现通过荧光对特定组织成像以获得可见光无法获取的信息的同时，还可以解决当术中发生出血等导致可见光环境下成像细节不清晰时，传统的前后帧图像融合方法引起拖影和加重成像噪
声的问题。
[0008]为达到上述目的，本专利技术提供一种荧光内窥镜系统，包括内窥镜、照明模块、内窥镜驱动模块和场景融合模块；
[0009]所述荧光内窥镜系统的工作模式包括第一模式和第二模式；
[0010]所述内窥镜包括可见光图像传感器和近红外光图像传感器；
[0011]在第一模式下，所述照明模块用于提供可见光，以照明目标组织，并用于提供激励光，以激励目标组织产生荧光，所述可见光图像传感器用于获取所述目标组织的可见光场景图像，并以第一视频流的形式输出，所述近红外光图像传感器用于获取所述目标组织的荧光场景图像，并以第二视频流的形式输出；
[0012]在第二模式下，所述照明模块用于提供可见光和近红外光，以照明目标组织，所述可见光图像传感器用于获取所述目标组织的可见光场景图像，并以第一视频流的形式输出，所述近红外光图像传感器用于获取所述目标组织的近红外光场景图像，并以第二视频流的形式输出；
[0013]所述内窥镜驱动模块包括第一驱动单元和第二驱动单元，所述第一驱动单元用于在第二模式下根据第一曝光时间和第一增益驱动所述可见光图像传感器获取所述可见光场景图像，所述第二驱动单元用于在第二模式下根据第二曝光时间和第二增益驱动所述近红外光图像传感器获取所述近红外光场景图像；
[0014]所述场景融合模块用于当所述第一视频流的当前亮度在预设的第一目标亮度范围内和/或所述第二视频流的当前亮度在预设的第二目标亮度范围内时，基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，得到亮度融合图像，并基于所述第一视频流的当前帧图像的色度信息，将所述亮度融合图像与所述第一视频流的当前帧图像进行融合，获得场景融合图像。
[0015]可选的，所述荧光内窥镜系统还包括内窥镜控制模块，所述内窥镜控制模块包括第一控制单元和/或第二控制单元，所述第一控制单元用于在第二模式下使所述第一视频流的当前亮度在预设的第一目标亮度范围内；所述第二控制单元用于在第二模式下使所述第二视频流的当前亮度在预设的第二目标亮度范围内。
[0016]可选的，所述第一控制单元包括：
[0017]第一亮度获取部，用于获取所述第一视频流的当前亮度；以及
[0018]第一曝光控制部，用于判断所述第一视频流的当前亮度是否在所述第一目标亮度范围内，如果所述第一视频流的当前亮度不在所述第一目标亮度范围内，则调整所述可见光图像传感器的第一曝光量，以使所述第一视频流的当前亮度在所述第一目标亮度范围内；
[0019]所述第二控制单元包括：
[0020]第二亮度获取部，用于获取所述第二视频流的当前亮度；以及
[0021]第二曝光控制部，用于判断所述第二视频流的当前亮度是否在所述第二目标亮度范围内，如果所述第二视频流的当前亮度不在所述第二目标亮度范围内，则调整所述近红外光图像传感器的第二曝光量，以使所述第二视频流的当前亮度在所述第二目标亮度范围内。
[0022]可选的，当所述第一视频流的当前亮度低于所述第一目标亮度范围的下限值时，所述第一曝光控制部通过增大所述可见光图像传感器的第一曝光量以调节所述第一视频流的当前亮度；
[0023]当所述第二视频流的当前亮度低于所述第二目标亮度范围的下限值时，所述第二曝光控制部通过增大所述近红外光图像传感器的第二曝光量以调节所述第二视频流的当前亮度。
[0024]可选的，所述第一曝光控制部被配置为判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
[0025]如果满足需求，则以最小第一增益为基础，调整所述第一曝光时间以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
[0026]如果不满足需求，则判断最大第一曝光时间和最大第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
[0027]如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
[0028]所述第二曝光控制部被配置为判断最大第二曝光时间和最小第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
[0029]如果满足需求本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种荧光内窥镜系统，其特征在于，包括内窥镜、照明模块、内窥镜驱动模块和场景融合模块；所述荧光内窥镜系统的工作模式包括第一模式和第二模式；所述内窥镜包括可见光图像传感器和近红外光图像传感器；在第一模式下，所述照明模块用于提供可见光，以照明目标组织，并用于提供激励光，以激励目标组织产生荧光，所述可见光图像传感器用于获取所述目标组织的可见光场景图像，并以第一视频流的形式输出，所述近红外光图像传感器用于获取所述目标组织的荧光场景图像，并以第二视频流的形式输出；在第二模式下，所述照明模块用于提供可见光和近红外光，以照明目标组织，所述可见光图像传感器用于获取所述目标组织的可见光场景图像，并以第一视频流的形式输出，所述近红外光图像传感器用于获取所述目标组织的近红外光场景图像，并以第二视频流的形式输出；所述内窥镜驱动模块包括第一驱动单元和第二驱动单元，所述第一驱动单元用于在第二模式下根据第一曝光时间和第一增益驱动所述可见光图像传感器获取所述可见光场景图像，所述第二驱动单元用于在第二模式下根据第二曝光时间和第二增益驱动所述近红外光图像传感器获取所述近红外光场景图像；所述场景融合模块用于当所述第一视频流的当前亮度在预设的第一目标亮度范围内和/或所述第二视频流的当前亮度在预设的第二目标亮度范围内时，基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，得到亮度融合图像，并基于所述第一视频流的当前帧图像的色度信息，将所述亮度融合图像与所述第一视频流的当前帧图像进行融合，获得场景融合图像。2.根据权利要求1所述的荧光内窥镜系统，其特征在于，所述荧光内窥镜系统还包括内窥镜控制模块，所述内窥镜控制模块包括第一控制单元和/或第二控制单元，所述第一控制单元用于在第二模式下使所述第一视频流的当前亮度在预设的第一目标亮度范围内；所述第二控制单元用于在第二模式下使所述第二视频流的当前亮度在预设的第二目标亮度范围内。3.根据权利要求2所述的荧光内窥镜系统，其特征在于，所述第一控制单元包括：第一亮度获取部，用于获取所述第一视频流的当前亮度；以及第一曝光控制部，用于判断所述第一视频流的当前亮度是否在所述第一目标亮度范围内，如果所述第一视频流的当前亮度不在所述第一目标亮度范围内，则调整所述可见光图像传感器的第一曝光量，以使所述第一视频流的当前亮度在所述第一目标亮度范围内；所述第二控制单元包括：第二亮度获取部，用于获取所述第二视频流的当前亮度；以及第二曝光控制部，用于判断所述第二视频流的当前亮度是否在所述第二目标亮度范围内，如果所述第二视频流的当前亮度不在所述第二目标亮度范围内，则调整所述近红外光图像传感器的第二曝光量，以使所述第二视频流的当前亮度在所述第二目标亮度范围内。4.根据权利要求3所述的荧光内窥镜系统，其特征在于，当所述第一视频流的当前亮度
低于所述第一目标亮度范围的下限值时，所述第一曝光控制部通过增大所述可见光图像传感器的第一曝光量以调节所述第一视频流的当前亮度；当所述第二视频流的当前亮度低于所述第二目标亮度范围的下限值时，所述第二曝光控制部通过增大所述近红外光图像传感器的第二曝光量以调节所述第二视频流的当前亮度。5.根据权利要求4所述的荧光内窥镜系统，其特征在于，所述第一曝光控制部被配置为判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；如果满足需求，则以最小第一增益为基础，调整所述第一曝光时间以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；如果不满足需求，则判断最大第一曝光时间和最大第一增益是否能够满足所述第一目标亮度范围内曝光量需求；如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；所述第二曝光控制部被配置为判断最大第二曝光时间和最小第二增益是否能够满足所述第二目标亮度范围内曝光量需求；如果满足需求，则以所述最小第二增益为基础，调整所述第二曝光时间以使所述第二视频流的当前亮度处于所述第二目标亮度范围内；如果不满足需求，则判断最大第二曝光时间和最大第二增益是否能够满足所述第二目标亮度范围内曝光量需求；如果满足，则以所述最大第二曝光时间为基础，调整所述第二增益，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内。6.根据权利要求3所述的荧光内窥镜系统，其特征在于，当所述第一视频流的当前亮度高于所述第一目标亮度范围的上限值时，所述第一曝光控制部通过减小所述可见光图像传感器的第一曝光量以调节所述第一视频流的当前亮度；当所述第二视频流的当前亮度高于所述第二目标亮度范围的上限值时，所述第二曝光控制部通过减小所述近红外光图像传感器的第二曝光量以调节所述第二视频流的当前亮度。7.根据权利要求6所述的荧光内窥镜系统，其特征在于，所述第一曝光控制部被配置为判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；如果不满足，则判断最小第一曝光时间和最小第一增益是否满足所述第一目标亮度范围内曝光量需求；如果满足，则以所述最小第一增益为基础，调整所述第一曝光时间，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；所述第二曝光控制部被配置为判断最大第二曝光时间和最小第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最大第二曝光时间为基础，调整所述第二增益，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内；如果不满足，则判断最小第二曝光时间和最小第二增益是否满足所述第二目标亮度范围内曝光量需求；如果满足，则以所述最小第二增益为基础，调整所述第二曝光时间，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内。8.根据权利要求3所述的荧光内窥镜系统，其特征在于，所述照明模块包括用于提供所述可见光的第一光源模组和用于提供近红外光的第三光源模组；所述第一控制单元还包括第一照明调节部，所述第一照明调节部用于当通过调整所述第一增益和所述第一曝光时间不能使所述第一视频流的当前亮度在所述第一目标亮度范围内时，控制所述照明模块调整所述第一光源模组的输出功率，以使所述第一视频流的当前亮度在所述第一目标亮度范围内；所述第二控制单元还包括第二照明调节部，所述第二照明调节部用于当通过调整所述第二增益和所述第二曝光时间不能使所述第二视频流的当前亮度在所述第二目标亮度范围内时，控制所述照明模块调整所述第三光源模组的输出功率，以使所述第二视频流的当前亮度在所述第二目标亮度范围内。9.根据权利要求3所述的荧光内窥镜系统，其特征在于，若所述第一视频流为YUV编码或YC
b
C
r
编码，所述第一亮度获取部用于取所述第一视频流当前帧图像的每个或者部分像素点的Y值的均值或者加权值作为当前亮度；若所述第一视频流为RAW编码或RGB编码，所述第一亮度获取部用于根据第一视频流当前帧图像的像素点的RGB值获取像素点的亮度，然后取第一视频流当前帧图像的每个或者部分像素点的亮度的均值或者加权值作为当前亮度。10.根据权利要求1所述的荧光内窥镜系统，其特征在于，所述内窥镜还包括分光棱镜组，所述分光棱镜组用于在第二模式下，将照射至目标组织的可见光的反射光和近红外光的反射光进行分离，在第一模式下将照射至目标组织的可见光的反射光和受激励产生的荧光进行分离，以使得所述可见光的反射光能被所述可见光图像传感器的感光面所捕获，所述近红外光的反射光或所述荧光能被所述近红外光图像传感器的感光面所捕获。11.根据权利要求10所述的荧光内窥镜系统，其特征在于，所述分光棱镜组包括第一分光棱镜、第二分光棱镜、可见光带通滤光片和近红外带通滤光片，所述可见光带通滤光片用于允许可见光通过，并截止其他波长的光，所述近红外带通滤光片用于允许近红外光通过并截止其他波长的光，所述近红外带通滤光片设置在所述第一分光棱镜和第二分光棱镜之间，所述第一分光棱镜与第二分光棱镜相邻接的面设有半透半反膜，以使入射的光一部分被反射一部分被透射，所述可见光图像传感器的感光面邻近于所述第一分光棱镜的出射面，所述可见光带通滤光片设置在所述第一分光棱镜的出射面与所述可见光图像传感器的感光面之间，所述近红外光图像传感器的感光面邻近于所述第二分光棱镜的出射面。12.根据权利要求1所述的荧光内窥镜系统，其特征在于，所述场景融合模块包括：图像融合单元，用于基于所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，以获得亮度融合图像，并基于所述第一视频流
的当前帧图像的色度信息，将所述亮度融合图像和所述第一视频流的当前帧图像进行图像融合，以获得场景融合图像。13.根据权利要求12所述的荧光内窥镜系统，其特征在于，所述图像融合单元用于根据预设的关于亮度值与权重的正态分布、所述第一视频流的当前帧图像的像素点的亮度以及对应的所述第二视频流的当前帧图像的像素点的亮度，分别获取所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像的像素点的亮度的权重；根据获取的所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。14.根据权利要求11所述的荧光内窥镜系统，其特征在于，所述场景融合模块还包括图像模式转换单元，所述图像模式转换单元用于当所述第一视频流的输出格式为RAW格式或者RGB格式时，将所述第一视频流的当前帧图像的像素点转换至YUV空间或者YC
b
C
r
空间内，取所述第一视频流的当前帧图像的像素点的Y值作为所述像素点的亮度，并取所述第一视频流的当前帧图像的像素点的U值、V值或者C
b
值、C
r
值作为所述第一视频流的当前帧图像的像素点的色度。15.根据权利要求1所述的荧光内窥镜系统，其特征在于，所述内窥镜为三维内窥镜；所述可见光图像传感器包括第一可见光图像传感器和第二可见光图像传感器；所述近红外光图像传感器包括第一近红外光图像传感器和第二近红外光图像传感器；所述第一视频流包括第一可见光视频流和第二可见光视频流；所述第二视频流包括第一近红外光视频流和第二近红外光视频流；在第二模式下，所述第一可见光图像传感器用于获取所述目标组织的第一可见光场景图像，并以第一可见光视频流的形式输出，所述第二可见光图像传感器用于获取所述目标组织的第二可见光场景图像，并以第二可见光视频流的形式输出，所述第一近红外光图像传感器用于获取所述目标组织的第一近红外光场景图像，并以第一近红外光视频流的形式输出，所述第二近红外光图像传感器用于获取所述目标组织的第二近红外光场景图像，并以第二近红外光视频流的形式输出；所述场景融合模块用于基于所述第一可见光视频流的当前帧图像的亮度信息与所述第一近红外光视频流的当前帧图像的亮度信息，将所述第一可见光视频流的当前帧图像与所述第一近红外光视频流的当前帧图像进行融合，得到第一亮度融合图像，并基于所述第一可见光视频流的当前帧图像的色度信息，将所述第一亮度融合图像与所述第一可见...

【专利技术属性】
技术研发人员：梁向南，毛昊阳，曹伦，何裕源，何超，
申请(专利权)人：上海微创医疗机器人集团股份有限公司，
类型：发明
国别省市：