带有基于定量三维成像的触觉反馈的手术系统技术方案

技术编号:14885941 阅读:58 留言:0更新日期:2017-03-25 12:33
提供一种系统以在医疗程序期间提供触觉反馈,该系统包括:定量三维(Q3D);手术器械,其被设置成使组织结构变形;触觉用户界面设备,其经配置响应于指示组织结构变形测量的信息提供组织结构变形的指示;以及处理器,其经配置产生包括指示组织结构变形测量的信息的Q3D模型,并且将指示组织结构变形测量的信息提供给触觉用户界面设备。

【技术实现步骤摘要】
【国外来华专利技术】相关申请本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVETHREE-DIMENSIONALIMAGINGOFSURGICALSCENES)”的美国临时专利申请No.61/971,749;以及于2014年12月23日提交的名称为“带有基于定量三维成像的触觉反馈的手术系统(SURGICALSYSTEMWITHHAPTICFEEDBACKBASEDUPONQUANTITATIVETHREE-DIMENSIONALIMAGING)”的美国临时专利申请No.62/096,522的优先权的利益,所述专利申请的全部内容以引用方式并入本文。
本专利技术总体涉及具有相关联的图像传感器的手术内窥镜检查系统,并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。
技术介绍
定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、y、z)3D坐标的数值信息。借助定量3D视觉,人不仅可以获得真实世界场景的三维感知,而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往,已经提出了一些Q3D系统,其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D系统已经使用结构光来确定关于场景的3D信息。飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC(CMOS-compatiblethree-dimensionalimagesensorIC)”的美国专利No.6,323,942中有所公开,该专利公开了三维成像系统,该系统包括使用CMOS制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器,该计数器累积在数量上与系统发出的脉冲的飞行时间(TOF)成正比的时钟脉冲,以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中,计数器和高速时钟电路被省略,并且作为替代,每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭,使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法(Apparatusandmethodforendoscopic3Ddatacollection)”的美国专利No.8,262,559中有所公开,除了光成像机构以外,该专利公开了经调节的测量光束和光传送机构,用于将测量光束传导至要观察的区域上,其中光传送机构包括照明透镜,光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息,相位信息使描绘深度信息和距离信息的图像的产生成为可能。使用结构光以确定对象在视觉图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中;以及在C.Schmalz等人的“基于结构光的内窥镜3D扫描仪(Anendoscopic3Dscannerbasedonstructuredlight)”,MedicalImageAnalysis,16(2012)1063-1072中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察,以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地,结构光的使用通常涉及照亮3D表面上的光图案,并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。已经构建成像器阵列相机,其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见例如名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(CapturingandProcessingImagesusingMonolithicCameraArraywithHeterogeneousImager)”的美国专利No.8,514,491;名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的系统和方法(SystemsandMethodsforDeterminingDepthfrommultipleViewsofaScenethatIncludeAliasingusingHypothesizedFusion)”的美国专利申请公开No.2013/0070060;以及K.Venkataraman等人的“PiCam:超薄高性能单片相机阵列(PiCam:Anultra-ThinhighPerformanceMonolithicCameraArray)”。图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括传感器184的排列。在该排列中的每个传感器包括二维的像素排列,该二维的像素排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186。每个透镜堆叠186具有对应的焦平面188。每个透镜堆叠186创建单独的光学通道,光学通道将图像分解到设置在其对应焦平面188中的对应像素排列上。像素用作光传感器,并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器排列区域与其他传感器和焦平面所占据的传感器排列区域不同。图2为示出图1的传感器184的已知排列的简化平面图的示意图,传感器184的已知排列包括被标记为传感器S11到S33的传感器。成像器传感器布置184在半导体芯片上进行制造以包括多个传感器S11到S33。传感器S11到S33中的每个包括多个像素(例如,0.32兆像素),并且耦接到包括独立读出控制和像素数字化的外围电路(未示出)。在一些实施例中,传感器S11到S33排列成如图2所示的格网格式。在其他实施例中,传感器以非格网格式排列。例如,传感器可以环形图案、之字形图案、分散图案或包括子像素偏移的不规则图案排列。图1至图2的传感器184的每个单个像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802,其放置在氧化层804之上。通常,氧化层的下方可以有滤色镜806,其设置在氮化层808之上,氮化层808设置在第二氧化层810之上,第二氧化层810位于硅层812的顶上,硅层812包括单个像素的有效区域814(通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区域814上。像素孔径通过微透镜的扩展度来确定。关于上述已知的成像器传感器排列架构的附加信息在美国申请No.US8,514,491B2(提交于2010年11月22日)和美国专利申请公开No.US2013/0070060A1(提交于2012年9月19日)中有所提供。
技术实现思路
在一方面,提供一种系统以在医疗程序期间提供触觉反馈(haptic本文档来自技高网
...
带有基于定量三维成像的触觉反馈的手术系统

【技术保护点】
一种在医疗程序期间提供触觉反馈的系统,其包括:定量三维(Q3D)内窥镜,其具有视野并且可操作以测量放置在其视野内的组织结构的不同位置的变形;手术器械,其可操作以使放置在所述Q3D内窥镜视野内的所述组织结构的不同位置变形;至少一个处理器,其经配置产生Q3D模型,所述Q3D模型提供在所述组织结构的不同位置处的组织结构变形测量的映射;以及触觉用户界面设备,其经配置产生触觉反馈,所述触觉反馈指示在所述组织结构的至少第一各个位置和第二各个位置处的组织结构变形测量的所述映射。

【技术特征摘要】
【国外来华专利技术】2014.03.28 US 61/971,749;2014.12.23 US 62/096,5221.一种在医疗程序期间提供触觉反馈的系统,其包括:定量三维(Q3D)内窥镜,其具有视野并且可操作以测量放置在其视野内的组织结构的不同位置的变形;手术器械,其可操作以使放置在所述Q3D内窥镜视野内的所述组织结构的不同位置变形;至少一个处理器,其经配置产生Q3D模型,所述Q3D模型提供在所述组织结构的不同位置处的组织结构变形测量的映射;以及触觉用户界面设备,其经配置产生触觉反馈,所述触觉反馈指示在所述组织结构的至少第一各个位置和第二各个位置处的组织结构变形测量的所述映射。2.根据权利要求1所述的系统,其中所述触觉用户界面设备包括形状显示器。3.根据权利要求1所述的系统,其中所述触觉用户界面设备包括轴向对齐的插针阵列。4.根据权利要求1所述的系统,其中所述触觉用户界面设备包括可变电触觉刺激的来源。5.根据权利要求1所述的系统,其中所述触觉用户界面设备包括手术器械操纵控制设备。6.根据权利要求1所述的系统,其进一步包括:警报来源,其经配置响应于所述处理器提供指示超过临床安全范围之外的组织结构变形测量的信息而产生警报。7.根据权利要求6所述的系统,其中所述警报来源包括声音警报来源,并且所述警报包括声音警报。8.根据权利要求6所述的系统,其中所述警报来源包括可视显示器,并且所述警报包括可视警报。9.根据权利要求1所述的系统,其进一步包括:力传感器,其与所述手术器械相关联,以测量在所述组织结构的变形期间施加到所述组织结构的力;以及可视显示器,其经配置提供通过所述力传感器测量的力的可视指示。10.根据权利要求1所述的系统,其中所述Q3D内窥镜包括成像器。11.根据权利要求1所述的系统,其中所述Q3D内窥镜包括飞行时间传感器。12.一种在医疗程序期间提供触觉反馈的系统,其包括:定量三维(Q3D)内窥镜,其具有视野并且可操作以测量放置在其视野内的组...

【专利技术属性】
技术研发人员:D·潘埃斯库D·H·琼斯C·艾伦比
申请(专利权)人:直观外科手术操作公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1