控制超光谱、荧光和激光标测成像系统中的激光脉冲的积分能量技术方案

本发明专利技术公开了控制超光谱、荧光和激光标测成像系统中的光脉冲的积分能量。本发明专利技术公开了一种系统，该系统包括用于发射电磁辐射脉冲的发射器和包括用于感测所反射的电磁辐射的像素阵列的图像传感器。该系统包括用于感测由发射器发射的能量的电磁传感器。该系统包括控制器，该控制器被配置为同步发射器和图像传感器的定时。该系统使得由该发射器发射的该电磁辐射脉冲的至少一部分包括超光谱发射、荧光发射或激光标测图案中的一者或多者。或激光标测图案中的一者或多者。或激光标测图案中的一者或多者。

【技术实现步骤摘要】
【国外来华专利技术】控制超光谱、荧光和激光标测成像系统中的激光脉冲的积分能量


[0001]本公开涉及数字成像，并且具体地涉及缺光环境中的超光谱成像、荧光成像和/或激光标测成像。

技术介绍

[0002]科技的进步已提供了医用成像能力的进步。内窥镜可用于观察身体内部并检查身体的器官或腔体的内部。内窥镜用于调查患者的症状、确认诊断或提供医学治疗。医学内窥镜可用于观察多种身体系统和部分，诸如胃肠道、呼吸道、尿道、腹腔等。内窥镜还可用于外科规程，诸如整形外科规程、在关节或骨上进行的规程、在神经系统上进行的规程、在腹腔内进行的规程，等等。
[0003]在内窥镜成像的一些情况下，以彩色方式查看空间可能是有益的或必要的。数字彩色图像包括累积形成具有一定范围的色调的图像的至少三个层或“颜色通道”。颜色通道中的每个测量光谱带的光的强度和色度。通常，数字彩色图像包括红色、绿色和蓝色光谱带的颜色通道(这可称为红绿蓝或RGB图像)。红色、绿色和蓝色颜色通道中的每个包括红色、绿色或蓝色光谱带的亮度信息。将单独的红色、绿色和蓝色层的亮度信息组合以产生彩色图像。因为彩色图像由单独的层构成，所以常规的数字相机图像传感器包括颜色滤光器阵列，该颜色滤光器阵列允许红色、绿色和蓝色可见光波长击中所选择的像素传感器。每个单独的像素传感器元件对红色、绿色或蓝色波长敏感，并且将仅返回该波长的图像数据。将来自像素传感器的总阵列的图像数据组合以生成RGB图像。至少三种不同类型的像素传感器占据大量的物理空间，使得完整的像素阵列无法适配在内窥镜的小远侧端部中。
[0004]因为传统的图像传感器无法适配在内窥镜的远侧端部中，所以图像传感器传统上位于内窥镜的手持件单元中，该手持件单元由内窥镜操作者保持并且不放置在体腔内。在此类内窥镜中，光沿着内窥镜的长度从手持件单元传输到内窥镜的远侧端部。该配置具有显著限制。具有该配置的内窥镜是精密的，并且当其在常规使用期间发生碰撞或冲击时可容易地不对准或损坏。这可显著降低图像的质量，并且内窥镜需要频繁修理或更换。
[0005]具有放置在手持件单元中的图像传感器的传统内窥镜进一步限于仅捕获彩色图像。然而，在一些具体实施中，除了彩色图像数据之外，还可能期望利用荧光数据、超光谱数据和/或激光标测数据来捕获图像。荧光成像捕获已吸收电磁辐射并在其发射弛豫波长时“发光”的物质发射的光。超光谱成像可用于通过发射不同的电磁辐射分区并评估材料的光谱响应来识别不同的材料、生物过程和化学过程。激光标测成像可捕获对象和全景的表面形状并测量场景内对象之间的距离。激光标测成像可进一步涵盖工具跟踪，其中场景内的工具的距离和/或尺寸可相对于彼此、相对于成像装置和/或相对于场景内的结构来进行跟踪。在一些具体实施中，可能有利的是结合观察场景使用荧光成像、超光谱成像和/或激光标测成像中的一者或多者。
[0006]然而，本领域已知的荧光技术、超光谱技术和激光标测技术的应用通常需要高度
专业化的设备，该设备对于多个应用可能是不可用的。此外，此类技术提供了有限的环境视图，并且通常必须与多个单独系统和多个单独图像传感器结合使用，该多个单独系统和该多个单独图像传感器被制成对特定电磁辐射频带敏感。因此，期望开发一种成像系统，该成像系统可用于空间受限的环境中以生成荧光成像数据、超光谱成像数据和/或激光标测成像数据。
[0007]鉴于上述情况，本文描述了用于在缺光环境中进行荧光成像、超光谱成像和激光标测成像的系统、方法和装置。此类系统、方法和装置可提供多个数据集，用于识别身体内的关键结构并提供关于体腔的精确且有价值的信息。
附图说明
[0008]参考以下附图描述了本公开的非限制性和非完全性的具体实施，其中除非另外指明，否则在各个视图中类似的附图标号指示类似的部分。参照以下说明和附图将更好地理解本公开的优点，其中：
[0009]图1是具有成对的发射器和像素阵列的用于在缺光环境中进行数字成像的系统的示意图；
[0010]图2为用于向缺光环境提供照明以用于内窥镜成像的系统；
[0011]图2A为互补系统硬件的示意图；
[0012]图3A至图3D为用于构建曝光帧的传感器的操作循环的图示；
[0013]图4A为电磁发射器的实施方案的操作的图示；
[0014]图4B为改变所发射电磁脉冲的持续时间和量值以提供曝光控制的图示；
[0015]图5为将图3A至图4B的传感器的操作循环、电磁发射器和所发射电磁脉冲组合的本公开的实施方案的图示，其示出了操作期间的成像系统；
[0016]图6A为用于在t(0)至t(1)的时间段内记录具有全光谱光的视频的方法的示意图；
[0017]图6B为用于通过在t(0)至t(1)的时间段内脉冲分段的光谱光来记录视频的过程的示意图；
[0018]图7A至图7E示出了在一定的时间间隔内用于记录全光谱光和分区光谱光两者的视频帧的方法的示意图；
[0019]图8示出了与脉冲成像系统结合使用的照明系统，其中该照明系统包括用于测量由激光器模块发射的能量的光电二极管；
[0020]图9示出了包括与运算放大器通信以用于测量由激光单元发射的能量的电磁传感器的激光器束；
[0021]图10示出了包括多个激光器束的发射器的实施方案，每个激光器束包括用于测量由激光单元发射的能量的电磁传感器；
[0022]图11示出了包括内窥镜装置的数字成像系统的实施方案；
[0023]图12为用于通过脉冲光的分区光谱来生成其上叠加有特殊数据(诸如超光谱、荧光和/或激光标测数据)的RGB图像的图案重建过程的示意图；
[0024]图13A至图13C示出了具有多个发射器的光源；
[0025]图14示出了在输出处经由漫射器输出以照明缺光环境中的场景的单根光纤；
[0026]图15示出了根据本公开的原理和教导内容的被分成可由光源的发射器发射的多
个不同子光谱的电磁光谱的一部分；
[0027]图16是示出了用于生成图像帧的发射和读出的时序的示意图，该图像帧包括由脉冲光的不同分区产生的多个曝光帧；
[0028]图17示出了包括用于过滤多个波长的电磁辐射的单个截止滤光器的成像系统；
[0029]图18示出了包括用于过滤多个波长的电磁辐射的多个截止滤光器的成像系统；
[0030]图19示出了可由成像系统脉冲的示例性激光标测图案；
[0031]图20A和图20B示出了根据本公开的原理和教导内容的具有用于产生三维图像的多个像素阵列的具体实施；
[0032]图21A和21B分别示出了构建在多个基板上的成像传感器的具体实施的透视图和侧视图，其中形成像素阵列的多个像素列位于第一基板上，并且多个电路列位于第二基板上，图中显示了一列像素与其相关的或对应的电路列之间的电气连接和通信；并且
[0033]图22A和图22B分别示出了具有用于产生三维图像的多个像素阵列的成像传感器的具体实施的透视图和侧视图，其中多个像素阵列和图像传感器构建在多本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：发射器，所述发射器用于发射电磁辐射脉冲；电磁传感器，所述电磁传感器用于感测由所述发射器发射的能量；图像传感器，所述图像传感器包括用于感测所反射的电磁辐射的像素阵列；控制器，所述控制器与所述发射器、所述电磁传感器和所述图像传感器电子通信，其中所述控制器被配置为同步所述发射器和所述图像传感器的定时；其中由所述发射器发射的所述电磁辐射脉冲的至少一部分包括以下一者或多者：具有从约513nm至约545nm的波长的电磁辐射；具有从约565nm至约585nm的波长的电磁辐射；具有从约900nm至约1000nm的波长的电磁辐射；致使试剂发荧光的荧光激发波长的电磁辐射；或者激光标测图案。2.根据权利要求1所述的系统，其中，所述发射器包括用于发射电磁波谱的波长的分区的激光器束，并且所述激光器束包括多个分立激光单元，每个分立激光单元能够发射电磁辐射。3.根据权利要求2所述的系统，其中，所述电磁传感器嵌入在所述发射器内，并且其中，所述电磁传感器通过感测由所述激光器束内的所述多个分立激光单元中的至少一个、但少于全部的分立激光单元发射的能量来感测由所述发射器发射的能量。4.根据权利要求1所述的系统，其中：所述电磁传感器向所述控制器提供由所述发射器发射的能量的值；并且所述控制器基于预先确定的已知输出和由所述发射器发射的能量的值来控制所述发射器的占空比，使得所述发射器以由所述图像传感器捕获的图像的期望的曝光来照明场景。5.根据权利要求1所述的系统，其中：所述发射器包括多个激光器束，并且所述多个激光器束中的每个激光器束包括多个激光单元；所述系统包括用于所述多个激光器束中的每个激光器束的专用电磁传感器，使得由所述多个激光器束中的每个激光器束发射的能量由不同的专用电磁传感器感测；并且所述专用电磁传感器被配置为感测由为其分配的激光器束的所述多个激光单元中的至少一个、但少于全部的激光单元发射的能量。6.根据权利要求1所述的系统，其中，所述控制器包括能够被配置用于执行存储在非暂态计算机可读存储介质中的指令的一个或多个处理器，所述指令包括：从所述电磁传感器接收由所述发射器发射的能量的值；将由所述发射器发射的能量的值与所述发射器的期望的光输出进行比较；确定由所述发射器发射的能量的值是否在相对于所述发射器的所述期望的光输出的公差阈值内；以及响应于由所述发射器发射的能量的值不在所述公差阈值内，调节所述电磁辐射脉冲中的至少一个脉冲的波长和/或持续时间，以使由所述发射器发射的能量的值在所述公差阈值内。
7.根据权利要求1所述的系统，其中，所述控制器包括能够被配置用于执行存储在非暂态计算机可读存储介质中的指令的一个或多个处理器，所述指令包括：基于所述图像传感器的曝光水平来确定所述像素阵列中的像素的平均像素值；基于所述平均像素值计算所述图像传感器的所测量的曝光水平；基于所测量的曝光水平和期望的曝光水平来计算误差测量值；确定所述误差测量值是否在公差阈值内；以及响应于所述误差测量值不在所述公差阈值内，调节所述电磁辐射脉冲中的至少一个脉冲的波长和/或持续时间以使所述误差测量值在所述公差阈值内。8.根据权利要求1所述的系统，其中，所述发射器包括多个激光器束，并且所述多个激光器束中的每个激光器束包括多个激光单元，其中所述多个激光器束包括：红色激光器束，所述红色激光器束用于发射红色波长的电磁辐射；绿色激光器束，所述绿色激光器束用于发射绿色波长的电磁辐射；蓝色激光器束，所述蓝色激光器束用于发射蓝色波长的电磁辐射；超光谱激光器束，所述超光谱激光器束用于发射用于激发光谱响应的超光谱波长的电磁辐射；荧光激光器束，所述荧光激光器束用于发射用于使试剂发荧光的荧光激发波长；和激光标测器束，所述激光标测器束用于发射所述激光标测图案。9.根据权利要求8所述的系统，其中所述超光谱激光器束包括以下一者或多者：第一超光谱器束，所述第一超光谱器束用于发射具有从约513nm至约545nm的波长的电磁辐射；第二超光谱器束，所述第二超光谱器束用于发射具有从约565nm至约585nm的波长的电磁辐射；或者第三超光谱器束，所述第三超光谱器束用于发射具有从约900nm至约1000nm的波长的电磁辐射。10.根据权利要求8所述的系统，其中，用于发射所述荧光激发波长的电磁辐射的所述荧光器束包括以下一者或多者：第一荧光器束，所述第一荧光器束用于发射具有从约770nm至约790nm的波长的电磁辐射；或者第二荧光器束，所述第二荧光器束用于发射具有从约795nm至约815nm的波长的电磁辐射。11.根据权利要求8所述的系统，其中，所述激光标测器束被配置为发射所述激光标测图案，使得距离、尺寸或三维形貌图中的一者或多者能够基于由所述图像传感器响应于所述激光标测图案的发射而感测的反射的电磁辐射来计算。12.根据权利要求1所述的系统，还包括与所述电磁传感器电子通信的运算放大器电路。13.根据权利要求1所述的系统，其中，所述图像传感器被配置为生成多个曝光帧，其中所述多个曝光帧中的每个曝光帧对应于由所述发射器发射的电磁辐射脉冲。14.根据权利要求11所述的系统，其中，所述图像传感器的所述像素阵列在所述像素阵列的读出周期期间感测所反射的电磁辐射以生成所述多个曝光帧，其中所述读出周期是当
读取所述像素阵列中的有源像素...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：西拉格国际有限公司，
类型：发明
国别省市：