手术场景的定量三维成像制造技术

提供一种设备，其包括内窥镜；图像传感器阵列，其被设置成对邻近内窥镜的视野进行成像，每个传感器包括与其他传感器的像素阵列分离的像素阵列；以及光源，其被设置成照亮视野。

【技术实现步骤摘要】
【国外来华专利技术】相关申请本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVETHREE-DIMENSIONALIMAGINGOFSURGICALSCENES)”的美国临时专利申请No.61/971,749的优先权的利益，该专利申请的全部内容以引用方式并入本文。
本专利技术总体涉及具有相关联的图像传感器的手术内窥镜检查系统，并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。
技术介绍
定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、y、z)3D坐标的数值信息。借助定量3D视觉，人不仅可以获得真实世界场景的三维感知，而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往，已经提出了一些Q3D系统，其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D系统已经使用结构光来确定关于场景的3D信息。飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC(CMOS-compatiblethree-dimensionalimagesensorIC)”的美国专利No.6,323,942中有所公开，该专利公开了三维成像系统，该系统包括使用CMOS制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器，该计数器累积在数量上与系统发出的脉冲的飞行时间(TOF)成正比的时钟脉冲，以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中，计数器和高速时钟电路被省略，并且作为替代，每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭，使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法(Apparatusandmethodforendoscopic3Ddatacollection)”的美国专利No.8,262,559中有所公开，除了光成像机构以外，该专利公开了经调节的测量光束，用于将测量光束传导至要观察的区域上的光传送机构，其中光传送机构包括照明透镜，光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息，相位信息使描绘深度信息和距离信息的图像的产生成为可能。使用结构光以确定对象在可视化图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中；以及在C.Schmalz等人的“基于结构光的内窥镜3D扫描仪(Anendoscopic3Dscannerbasedonstructuredlight)”，MedicalImageAnalysis，16(2012)1063-1072中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察，以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地，结构光的使用通常涉及照亮3D表面上的光图案，并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。已经构建成像器阵列相机，其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(CapturingandProcessingImagesusingMonolithicCameraArraywithHeterogeneousImager)”的美国专利No.8,514,491；名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的系统和方法(SystemsandMethodsforDeterminingDepthfrommultipleViewsofaScenethatIncludeAliasingusingHypothesizedFusion)”的美国专利申请公开No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能单片相机阵列(PiCam：Anultra-ThinhighPerformanceMonolithicCameraArray)”。图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括透镜堆叠182的光学阵列和传感器184的阵列。在该阵列中的每个传感器包括二维的像素排列，该排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186，透镜堆叠186创建单独的光学通道，光学通道将图像分解到设置在透镜堆叠的焦平面188中的对应像素排列上。像素用作光传感器，并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器阵列区域与其他传感器和焦平面所占据的传感器阵列区域不同。图2为示出图1的已知成像器传感器阵列180的简化平面图的示意图，已知成像器传感器阵列180包括传感器S11到S33。成像器传感器阵列180在半导体芯片上进行制造以包括多个传感器S11到S33。传感器S11到S33中的每个包括多个像素(例如，0.32兆像素)，并且耦接到包括独立读出控制和像素数字化的外围电路(未示出)。在一些实施例中，传感器S11到S33排列成如图2所示的格网格式。在其他实施例中，传感器以非格网格式排列。例如，成像器可以环形图案、之字形图案或分散图案或包括子像素偏移的不规则图案排列。每个传感器像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802，其位于氧化层804顶部，氧化层804的下方通常可以有滤色镜806，滤色镜806设置在氮化层808之上，氮化层808设置在第二氧化层810之上，第二氧化层810位于硅层812的顶部，硅层812包括传感器的有效区域814(通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区814上。像素孔径816通过微透镜的扩展度来确定，微透镜使光聚集并且将其集中在有效区814上。关于上述已知的成像器传感器阵列架构的附加信息于2013年8月20日发布的美国专利No.8,514,491和公开于2013年3月21日的美国专利申请公开No.U.S20013/0070060中有所提供。
技术实现思路
在一方面，设备包括内窥镜。图像传感器阵列被设置成对邻近内窥镜的视野进行成像。传感器阵列的每个传感器包括与其他传感器的像素阵列分离的像素阵列。光源被设置成照亮视野。在另一方面，提供用于Q3D成像的方法，其中邻近内窥镜的顶端提供图像传感器阵列。内窥镜的顶端被定位成邻近目标对象。目标对象借助光源被照亮。在另一方面，提供用于Q3D成像的方法，其中邻近内窥镜的顶端提供光导管(lig本文档来自技高网...

【技术保护点】
一种设备，其包括：内窥镜；图像传感器阵列，其被设置成对邻近所述内窥镜的视野进行成像，每个传感器包括与其他传感器的像素阵列分离的像素阵列；以及光源，其被设置成照亮所述视野。

【技术特征摘要】
【国外来华专利技术】2014.03.28 US 61/971,7491.一种设备，其包括：内窥镜；图像传感器阵列，其被设置成对邻近所述内窥镜的视野进行成像，每个传感器包括与其他传感器的像素阵列分离的像素阵列；以及光源，其被设置成照亮所述视野。2.根据权利要求1所述的设备，其中所述光源仅产生非结构化的光。3.根据权利要求1所述的设备，其中所述光源产生白光。4.根据权利要求1所述的设备，其中所述内窥镜包括伸长部分，所述伸长部分具有第一端部和与所述第一端部相对的第二端部；其中所述图像传感器阵列邻近所述第一端部设置。5.根据权利要求1所述的设备，其中所述内窥镜包括伸长部分，所述伸长部分具有第一端部和与所述第一端部相对的第二端部；以及其中所述图像传感器阵列邻近所述第一端部设置；以及其中所述光源产生白光。6.根据权利要求1所述的设备，其中所述内窥镜包括伸长部分，所述伸长部分具有第一端部和与所述第一端部相对的第二端部；以及其中所述图像传感器阵列被设置成从所述第一端部移置；所述设备进一步包括：光导管，其被设置成将来自邻近所述第一端部的视野的图像传递到从所述第一端部移置的所述图像传感器阵列。7.根据权利要求1所述的设备，其中所述内窥镜包括具有第一端部的伸长部分；其中所述图像传感器阵列邻近所述第一端部设置；以及其中所述内窥镜的与所述伸长部分的所述第一端部相对的端部经配置用于与机械手术臂机械耦接。8.根据权利要求1所述的设备，其中所述内窥镜包括伸长部分，所述伸长部分具有第一端部和与所述第一端部相对的第二端部；其中所述图像传感器阵列被设置成从所述第一端部移置；以及其中所述第二端部适合于与器械手术臂机械耦接；所述设备进一步包括：光导管，其被设置成将来自邻近所述第一端部的视野的图像传递到从所述第一端部移置的所述图像传感器阵列。9.根据权利要求1所述的设备，其进一步包括：控制器，其经配置：基于使用所述图像传感器阵列捕捉的图像信息确定目标对象的三维位置。10.根据权利要求9所述的设备，其中所述目标对象的所述三维位置至少部分地基于所述图像传感器阵列的识别的像素和所述物理特征之间的像素距离关系来确定。11.根据权利要求9所述的设备，其中所述控制器经配置识别所述图像传感器阵列的多个图像传感器中的每个中的像素，所述像素通过来自相同目标对象的投影照亮。12.根据权利要求11所述的设备，其中识别像素包括匹配相同目标对象在所述图像传感器阵列的多个阵列中的每个中的图像投影。13.根据权利要求9所述的设备，其中所述控制器经配置：识别多个图像传感器中的每个中的像素，所述像素通过来自相同目标对象的投影照亮；其中识别像素包括使用相关过程来匹配多个图像传感器中的每个中的相同目标对象的图像投影；其中确定所述三维位置包括，至少部分地基于至少三个识别的像素的相对位置来确定所述目标对象在至少一个维度中的估计位置；以及响应于所述确定的估计位置相差超过可接受容限，重复所述相关过程以精确化图像投影的所述匹配。14.根据权利要求9所述的设备，其中所述控制器经配置识别多个图像传感器中的每个中的像素，所述像素通过来自相同目标对象的投影照亮；以及其中识别像素包括使用相关过程来匹配相同目标对象在多个图像传感器中的每个中的图像投影；其中确定所述三维位置包括...

【专利技术属性】
技术研发人员：D·潘埃斯库，D·H·琼斯，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国;US