【技术实现步骤摘要】
【国外来华专利技术】用于减轻医学成像中的伪像的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求
2020
年
12
月
30
日提交的美国临时申请号
63/132,444
的权益，其全部内容通过引用结合于此
。
[0003]本公开总体上涉及医学成像，并且更具体地，涉及用于减少或消除医学成像中由光事件引起的伪像的技术
。
技术介绍
[0004]医学系统
、
器械或工具在手术前
、
手术期间或手术后用于各种目的
。
这些医学工具中的一些可以用于通常所称的内窥镜过程
。
例如，医学领域中的内窥镜检查允许在不使用传统的完全侵入式手术的情况下观察患者身体的内部特征
。
内窥镜成像系统包括内窥镜以使外科医生能够观察手术部位，并且内窥镜工具使得能够实现在该部位的非侵入式手术
。
内窥镜可以与摄像机系统一起使用，用于处理由内窥镜接收的图像
。
内窥镜摄像机系统通常包括连接到摄像机控制单元
(CCU)
的摄像头，该摄像机控制单元处理从摄像机的图像传感器接收的输入图像数据，并输出图像数据用于显示
。CCU
可以控制生成提供给被成像的场景的照明光的照明器
。
[0005]各种成像器传感器可用于内窥镜成像系统，包括电荷耦合器件
(CCD)
传感器和互补金属氧化物半导体>(CMOS)
传感器
。CCD
的构造通常比
CMOS
传感器的构造更复杂，并且
CMOS
传感器可以构建在用于诸如微处理器和芯片组的相关技术的大量晶片制造设施中
。
因此，对于类似的性能，
CMOS
传感器通常比
CCD
成本更低
。
除了较低的成本之外，用于产生
CMOS
成像器的常用制造过程准许
CMOS
像素阵列与其它电子器件集成在单个电路上，所述其它电子器件诸如时钟驱动器
、
数字逻辑
、
模拟
/
数字转换器和其它合适的电子装置
。CMOS
成像器可能的紧凑结构也可以减少空间需求和降低功耗
。CMOS
成像器还可以具有更高的灵敏度，并提供更高的视频帧速率
。
[0006]基于
CMOS
的成像器可以利用电子滚动快门来曝光传感器阵列中的像素
。
使用电子滚动快门，像素行被依次清除
(
或重置
)、
曝光和读出
。
在积分期间，一行像素暴露于光能，并且每个像素建立对应于照射到像素上的光的量和波长的电荷
。
因为行是依次被激活和读出的，所以在第一行积分和最后一行积分之间有逝去的时间
。
由于在第一行开始积分和随后的行开始积分之间逝去的时间，具有电子滚动快门的
CMOS
成像器可能捕获具有模糊或其他滚动快门效应的视频图像
。
基于
CMOS
的成像器也可以利用全局快门来曝光传感器阵列中的像素
。
利用全局快门，所有像素行同时曝光
(
即，相同的曝光开始和结束
)
，但是读出可以是
(
并且通常是
)
顺序的
。
[0007]在成像期间，可能会发生非意图的和
/
或不期望的光事件，并导致图像中的伪像
。
例如，钬激光器是一种可用于在泌尿外科过程中移除结石的激光手术工具，其当它与组织相互作用时可以产生短持续时间并且强烈的光发射
(
例如，可见光或红外波长
)。
光事件可
以在得到的内窥镜图像中产生伪像，诸如本文所述的图
4B。
诸如绿光激光器和
RF
探测器之类的其他组织消融设备可能导致类似的伪像
。
光事件的持续时间
、
重复率和振幅可以取决于能量设备
。
[0008]非意图
/
不期望的光事件可能影响具有全局快门的传感器
(
例如，
CCD
传感器
)
和具有滚动快门的传感器
(
例如，
CMOS
传感器
)
二者的成像，但是对于本文所述的滚动快门可能更明显
。
此外，非意图
/
不期望的光事件可能影响各种类型的帧，包括白光帧和荧光图像帧
。
技术实现思路
[0009]本文描述了用于医学成像的示例性设备
、
装置
、
系统
、
方法和非暂时性存储介质
。
更一般地，描述了用于减少或消除由非意图
/
不期望的光事件引起的伪像的示例性设备
、
系统和方法
。
该系统
、
设备和方法可以用于对对象的组织进行成像，诸如在内窥镜成像过程中
。
成像可以在手术前
、
手术中
、
手术后以及在诊断成像会话和过程期间执行
。
成像方法本身可以排除将内窥镜成像器插入体内的管腔中
。
内窥镜成像器可以在成像方法之前插入到管腔中
。
成像方法本身可以排除任何侵入式的手术步骤
。
[0010]虽然针对特定类型的成像器
(
例如，滚动快门成像器
、
全局快门成像器
)
描述了一些技术，但是应当理解，所述技术可以应用于任何类型的成像器
。
此外，该技术可以应用于非手术或非医学用途
。
[0011]示例性系统可以具有“同步帧重置”功能
。
在滚动快门成像器中，成像器传感器中的所有像素行可以使用同步帧重置功能同时地或者在短时间段内重置
(
例如，短于滚动快门的逐行偏移时段
)。
然后，像素行可以在照明时段内被照明，该照明时段小于同步帧重置和第一行的读取之间的时间，以在相同的时间量内同时在像素行累积电荷，从而实现全局快门效应
。
然后，从第一行到最后一行顺序读取累积的电荷，以生成图像帧
。
然后可以将图像帧添加到视频流
。
同步帧重置功能可以显著降低光事件的影响，因为它将光在传感器上累积的时段缩短到小于帧时段
。
在同步帧重置之前发生的非意图
/
不期望的光事件将不会影响图像帧
。
在一些示例中，同步本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.
一种使用滚动快门成像器对对象的组织成像以提供视频流的方法，所述方法包括：在比滚动快门成像器的逐行偏移时段短的时间段内重置滚动快门成像器的多个像素行；在重置多个像素行之后，在照明时段内用照明光照明对象的组织，以在多个像素行处累积电荷；从第一行到最后一行顺序地读取多个像素行处的累积电荷；和从在多个像素行处顺序读取的累积电荷生成图像帧；和将图像帧添加到视频流
。2.
根据权利要求1所述的方法，其中重置滚动快门成像器的多个像素行包括触发所述滚动快门成像器的同步帧重置功能
。3.
根据权利要求2所述的方法，其中所述同步帧重置功能包括可配置的恒定参数，其指示触发之后多个像素行曝光的最小时间量，以及其中照明时段被配置为比恒定参数短
。4.
根据权利要求3所述的方法，其中所述恒定参数可以针对不同的图像帧而动态调整
。5.
根据权利要求1‑4中任一项所述的方法，进一步包括：确定图像帧是否满足一个或多个准则；根据图像帧不满足一个或多个准则的确定，将图像帧添加到视频流；和根据图像帧满足一个或多个准则的确定，放弃图像帧
。6.
根据权利要求5所述的方法，其中放弃图像帧包括：从视频流中排除图像帧；和向视频流添加替换图像帧
。7.
根据权利要求5‑6中任一项所述的方法，进一步包括：根据所述图像帧不满足一个或多个准则的确定，使用自动增益控制
(AGC)
算法的第一配置来处理所述图像帧；和根据图像帧满足一个或多个准则的确定，使用
AGC
算法的第二配置来处理图像帧，或者使用
AGC
算法来提前处理图像帧
。8.
根据权利要求5‑7中任一项所述的方法，其中确定图像帧是否满足一个或多个准则包括：识别图像帧中的一个或多个伪像
。9.
根据权利要求8所述的方法，其中一个或多个伪像被实时地识别
。10.
根据权利要求8‑9中任一项所述的方法，其中识别图像帧中的一个或多个伪像包括：识别图像帧中的线
。11.
根据权利要求
10
所述的方法，还包括将索贝尔滤波器应用于图像帧
。12.
根据权利要求8‑
11
中任一项所述的方法，其中识别图像帧中的一个或多个伪像包括：计算从一个或多个先前图像帧的平均值到图像帧的平均值的增长率
。13.
根据权利要求
12
所述的方法，其中，相对于图像帧中的感兴趣区域来计算增长率
。14.
根据权利要求8‑
13
中任一项所述的方法，其中识别图像帧中的一个或多个伪像包括：计算从先前图像帧中的饱和像素的数量到图像帧中的饱和像素的数量的增加
。15.
根据权利要求
14
所述的方法，其中，所述增加是相对于图像帧中的感兴趣区域计算
的
。16.
根据权利要求8‑
15
中任一项所述的方法，其中识别图像帧中的一个或多个伪像包括：评估图像帧的红色通道
、
蓝色通道和绿色通道中的至少两个之间的差异
。17.
根据权利要求8‑
16
中任一项所述的方法，其中识别图像帧中的一个或多个伪像包括：使用经训练的机器学习算法处理图像帧
。18.
根据权利要求
17
所述的方法，其中，所述经训练的机器学习算法是神经网络
。19.
根据权利要求8‑
18
中任一项所述的方法，其中识别图像帧中的一个或多个伪像包括：检测图像帧的场停止区域中的光的增加量
。20.
根据权利要求1‑
19
中任一项所述的方法，还包括：将图像帧放置到预定义大小的缓冲器中；比较放置在缓冲器中的所有帧；和基于该比较，从视频流中排除缓冲器中的一个或多个帧
。21.
根据权利要求
20
所述的方法，其中，所述预定义大小是三个图像帧
。22.
根据权利要求
20
‑
21
中任一项所述的方法，其中比较放置在缓冲器中的所有帧包括：向放置在缓冲器中的每个帧分配得分；和比较放置在缓冲器中的所有帧的得分
。23.
根据权利要求1‑
22
中任一项所述的方法，还包括：自动调节所述方法的一个或多个参数
。24.
根据权利要求
23
所述的方法，其中所述一个或多个参数包括：用于识别图像帧中的伪像的一个或多个阈值，图像缓冲器的大小，可从图像缓冲器中丢弃的图像帧的最大数量，可从图像缓冲器中丢弃的连续图像帧的最大数量，或者它们的任意组合
。25.
根据权利要求
23
‑
24
中任一项所述的方法，还包括：响应于检测到光事件或检测到手术能量设备的激活，自动调节所述一个或多个参数
。26.
根据权利要求
25
所述的方法，其中，检测到手术能量设备的激活包括：接收来自手术能量设备的信号
。27.
根据权利要求
26
所述的方法，其中所述手术能量设备是激光单元
。28.
根据权利要求
26
所述的方法，其中所述手术能量设备是
RF
探测器
。29.
根据权利要求
25
‑
28
中任一项所述的方法，其中检测到手术能量设备的激活包括：检测到手术能量设备的功耗的增加
。30.
根据权利要求
25
‑
29
中任一项所述的方法，其中检测到光事件包括：接收来自安装在滚动快门成像器中的光电检测器的信号
。31.
根据权利要求
25
‑
30
中任一项所述的方法，其中检测到手术能量设备的激活包括：接收来自手术能量设备的声学信号
。32.
根据权利要求
23
‑
31
中任一项所述的方法，还包括基于检测到的成像器的运动自动调节所述一个或多个参数
。
33.
根据权利要求1‑
32
中任一项所述的方法，其中所述成像器包括快门组件，并且其中所述快门被配置为在所述照明时段结束时关闭
。34.
根据权利要求
33
所述的方法，其中所述快门组件包括：液晶快门
、
机械快门
、DLP
镜或机电快门
。35.
根据权利要求1‑
34
中任一项所述的方法，其中所述照明光由至少一个
LED
生成
。36.
根据权利要求1‑
35
中任一项所述的方法，其中所述滚动快门成像器是内窥镜成像器的一部分
。37.
一种提供视频流的计算机实现的方法，包括：在预定义大小的缓冲器中累积图像序列，其中序列的每个图像与相应的得分相关联；比较缓冲器中图像序列的得分；基于该比较，识别图像序列的图像；从图像序列中移除所识别的图像以获得更新的序列；和将更新的图像序列添加到视频流
。38.
根据权利要求
37
所述的方法，其中，所述图像序列是通过滚动快门成像器获得的
。39.
根据权利要求
37
‑
38
中任一项所述的方法，其中，所述图像序列由被配置为同时读取多个像素行的全局快门成像器获得
。40.
根据权利要求
37
‑
39
中任一项所述的方法，其中所述图像序列由内窥镜成像器获得
。41.
根据权利要求
37
‑
40
中任一项所述的方法，还包括：用图像序列中的替换图像替换所识别的图像
。42.
根据权利要求
37
‑
41
中任一项所述的方法，还包括：对于图像序列中的每个图像：识别相应图像中的一个或多个伪像；和基于所述识别向所述图像分配相应的得分
。43.
根据权利要求
42
的方法，其中识别图像中的一个或多个伪像包括：识别图像中的线
。44.
根据权利要求
42
‑
43
中任一项所述的方法，其中识别图像中的一个或多个伪像包括：计算从一个或多个先前图像的平均值到图像的平均值的增长率
。45.
根据权利要求
44
所述的方法，其中所述增长率是相对于图像帧中的感兴趣区域计算的
。46.
根据权利要求
42
‑
45
中任一项所述的方法，其中识别图像中的一个或多个伪像包括：计算从先前图像中的饱和像素的数量到图像中的饱和像素的数量的增加
。47.
根据权利要求
46
所述的方法，其中所述增加是相对于图像帧中的感兴趣区域计算的
。48.
根据权利要求
42
‑
47
中任一项所述的方法，其中识别图像中的一个或多个伪像包括：评估图像的红色通道
、
蓝色通道和绿色通道中的至少两个之间的差异
。49.
根据权利要求
42
‑
48
中任一项所述的方法，其中识别图像中的一个或多个伪像包括：使用经训练的机器学习算法处理图像
。50.
根据权利要求
49
所述的方法，其中，所述经训练的机器学习算法是神经网络
。51.
根据权利要求
42
‑
50
中任一项所述的方法，其中识别图像帧中的一个或多个伪像包
括：检测图像帧的场停止中的光的增加量
。52.
根据权利要求
37
‑
51
中任一项所述的方法，还包括：自动调整缓冲器的预定义大小
。53.
根据权利要求
52
所述的方法，还包括：响应于检测到光事件或检测到手术能量设备的激活，自动增加缓冲器的预定义大小
。54.
一种使用内窥镜成像器生成图像的方法，包括：在帧时段中：在帧时段期间，在内窥镜成像器的像素阵列处累积电荷；在预定义曝光时段的
n
分之一或更少内解激活快门组件
n
次，以准许光穿过快门；和在第
n
次解激活快门组件之后，从像素阵列处累积的电荷的读数生成图像
。55.
根据权利要求
54
所述的方法，其中所述快门组件包括：液晶快门
、
机械快门
、DLP
镜或机电快门
。56.
根据权利要求
54
‑
55
中任一项所述的方法，其中所述内窥镜成像器为滚动快门成像器
。57.
根据权利要求
54
‑
56
中任一项所述的方法，其中所述内窥镜成像器是全局快门成像器
。58.
根据权利要求
54
‑
57
中任一项所述的方法，其中快门的解激活间隔开至少预定义曝光时段
。59.
根据权利要求
54
‑
58
中任一项所述的方法，还包括：自动调整
n
的值
。60.
根据权利要求
59
所述的方法，其中
n
的值等于或大于
1。61.
一种屏蔽内窥镜成像器免受光事件影响的方法，包括：检测光事件；和响应于检测到光事件，激活快门以屏蔽内窥镜成像器的传感器免受光事件影响
。62.
根据权利要求
61
所述的方法，其中所述快门包括：液晶快门
、
机械快门
、DLP
镜或机电快门
。63.
根据权利要求
61
‑
62
中任一项所述的方法，其中检测光事件包括经由光电二极管检测器检测光事件
。64.
根据权利要求
61
‑
63
中任一项所述的方法，其中所述光事件包括红外光
。65.
根据权利要求
61
‑
64
中任一项所述的方法，其中所述光事件由激光器生成
。66.
根据权利要求
65
所述的方法，其中所述激光器是钬激光器
。67.
根据权利要求
61
‑
65
中任一项所述的方法，还包括：在预定义时间段之后自动解激活快门
。68.
根据权利要求
67
所述的方法，其中，所述预定义时间段近似在
500us
至
1ms
之间
。69.
根据权利要求
67
或
68
所述的方法，其中所述预定义时间段是可动态调整的
。70.
根据权利要求
61
‑
69
中任一项所述的方法，还包括：响应于检测到不存在光事件，自动解激活快门组件
。71.
根据权利要求
61
‑
70
中任一项所述的方法，其中所述内窥镜成像器是滚动快门成像器
。72.
根据权利要求
61
‑
71
中任一项所述的方法，其中所述内窥镜成像器是全局快门成像
器
。73.
一种用于对对象的组织进行成像以提供视频流的系统，所述系统包括：照明源；和包括电子滚动快门成像器的成像装置，所述成像装置被配置用于：在比滚动快门成像器的逐行偏移时段短的时间段内重置滚动快门成像器的多个像素行；在重置多个像素行之后，在照明时段内用照明光照明对象的组织，以在多个像素行处累积电荷；从第一行到最后一行顺序地读取多个像素行处的累积电荷；和从在多个像素行处顺序读取的累积电荷生成图像帧；和将图像帧添加到视频流
。74.
根据权利要求
73
所述的系统，其中重置滚动快门成像器的多个像素行包括触发滚动快门成像器的同步帧重置功能
。75.
根据权利要求
74
所述的系统，其中所述同步帧重置功能包括可配置的恒定参数，其指示在触发之后多个像素行曝光的最小时间量，以及其中照明时段被配置为比恒定参数短
。76.
根据权利要求
75
所述的系统，其中所述恒定参数可以针对不同的图像帧而动态调整
。77.
根据权利要求
73
‑
76
中任一项所述的系统，所述成像装置还被配置用于：确定图像帧是否满足一个或多个准则；根据图像帧不满足一个或多个准则的确定，将图像帧添加到视频流；和根据图像帧满足一个或多个准则的确定，放弃图像帧
。78.
根据权利要求
77
所述的系统，其中放弃图像帧包括：从视频流中排除图像帧；和向视频流添加替换图像帧
。79.
根据权利要求
77
‑
78
中任一项所述的系统，所述成像装置还被配置用于：根据图像帧不满足一个或多个准则的确定，使用自动增益控制
(AGC)
算法的第一配置来处理所述图像帧；和根据图像帧满足一个或多个准则的确定，使用
AGC
算法的第二配置来处理图像帧，或者使用
AGC
算法来提前处理图像帧
。80.
根据权利要求
77
‑
79
中任一项所述的系统，其中确定图像帧是否满足一个或多个准则包括：识别图像帧中的一个或多个伪像
。81.
根据权利要求
80
所述的系统，其中所述一个或多个伪像被实时地识别
。82.
根据权利要求
80
‑
81
中任一项所述的系统，其中识别图像帧中的一个或多个伪像包括：识别图像帧中的线
。83.
根据权利要求
82
所述的系统，其中所述成像装置还被配置用于将索贝尔滤波器应用于图像帧
。84.
根据权利要求
80
‑
83
中任一项所述的系统，其中识别图像帧中的一个或多个伪像包
括：计算从一个或多个先前图像帧的平均值到图像帧的平均值的增长率
。85.
根据权利要求
84
所述的系统，其中所述增长率是相对于图像帧中的感兴趣区域计算的
。86.
根据权利要求
80
‑
85
中任一项所述的系统，其中，识别图像帧中的一个或多个伪像包括：计算从先前图像帧中的饱和像素的数量到图像帧中的饱和像素的数量的增加
。87.
根据权利要求
86
所述的系统，其中所述增加是相对于图像帧中的感兴趣区域计算的
。88.
根据权利要求
80
‑
87
中任一项所述的系统，其中，识别图像帧中的一个或多个伪像包括：评估图像帧的红色通道
、
蓝色通道和绿色通道中的至少两个之间的差异
。89.
根据权利要求
80
‑
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。