手术内窥镜视频流的图像校正制造技术

本发明专利技术公开了一种来自手术机器人系统的手术内窥镜的视频流的实时图像校正方法。视频流包括图像序列。该方法包括：对于图像序列中的图像，识别多个区域，每个区域具有与另一区域不同的至少一个图像属性的值域；将掩模应用于图像，所述掩模将区域特异性修改应用于每个区域，每个区域特异性修改对那一区域的至少一个图像属性进行修改；从手术机器人系统导出数据；根据导出的数据确定图像中特征之间的关系；针对视频流中后续图像时特征之间的预测关系修改掩模；以及将修改的掩模应用于视频流中的后续图像。

【技术实现步骤摘要】
【国外来华专利技术】手术内窥镜视频流的图像校正
技术介绍
本公开涉及来自手术机器人系统的手术内窥镜的视频流的图像校正。在微创手术中，经由手术内窥镜对手术部位进行成像。内窥镜是一种相机，通常具有尖端，所述尖端包括用于对所述部位照明的光源以及用于获取视频流的一个或多个透镜。视频流在显示器上被实时显示，使得外科医生能够查看手术部位和他正在操纵的手术器械。为了充分照明手术部位，内窥镜上的光源非常强烈。在所得视频流中，被照明区域与处于阴影中的图像的其余部分成高对比度。在微创手术中，内窥镜的直径非常细，因此光源非常接近内窥镜的光轴。组织是湿的且有光泽，因此在被照明时导致强烈反射回到透镜中，当组织靠近光轴并且接近内窥镜时，这种情况会恶化。图像的这种过于明亮的部分与看起来非常暗的图像周边形成鲜明的对比。离内窥镜更远的组织也看起来非常暗。因此，为外科医生留下可见度有限的手术部位的不良视图。已知向来自内窥镜的视频流应用变换以提高外科医生观察的图像的质量。调节亮度和对比度以使得图像的中央区域更加可见。然而，由于图像的其它区域比中央区域暗得多，当在整个图像内均匀应用变换时，其进一步劣化了那些较暗区域的可见度。已知对来自内窥镜对图像的中央区域施加不同于图像周边的变换，例如，以使中央区域变暗并让周边变亮。虽然在整个图像中均匀地应用变换实现了改进，但这种方法存在这样的问题，即其未改善中央区域之内或周边之内的高对比度区域的可见度。用于处理静态图像的更精密技术是已知的，其涉及对图像的手动操纵。涉及手动操纵的技术不适合对来自内窥镜的视频流进行实时校正，在本领域中需要实时校正以使外科医生能够更好地查看他正在其中操作的手术部位。需要一种实时地对来自手术内窥镜的视频流进行图像校正的改进方法，以便改善整个图像对正在手术部位操作的外科医生的可见度。
技术实现思路
根据第一方面，提供了一种来自手术机器人系统的手术内窥镜的视频流的实时图像校正的方法，所述视频流包括图像序列，所述方法包括：对于图像序列中的图像，识别多个区域，每个区域具有与另一区域不同的至少一个图像属性的值域；将掩模应用于图像，所述掩模将区域特异性修改应用于每个区域，每个区域特异性修改对那一区域的至少一个图像属性进行修改；从手术机器人系统导出数据；根据导出的数据确定图像中特征之间的关系；针对视频流中后续图像时特征之间的预测关系修改掩模；以及将修改的掩模应用于视频流中的后续图像。所述方法还包括存储一组预定修改，以及将每个区域特异性修改生成为两个或更多个预定修改的加权组合。预定修改可以修改以下图像属性中的一个或多个：亮度、对比度、灰度系数和颜色。在后续图像时所述特征之间的预测关系可以使得所述图像中的一个或多个特征的形状已经改变，或者特征的相对位置已经改变。数据可以包括手术内窥镜相对于图像中的另一特征的位置。数据可以包括图像中特征的深度信息。深度信息可以从手术内窥镜的移动导出。视频流可以是手术内窥镜的两个立体视频通道的组合，所述方法可以包括从手术内窥镜的两个立体视频通道导出深度信息。数据可以包括图像中的特征的标识。所述方法可以包括选择图像的区域以对应于图像的所识别特征，以及将特征特异性修改应用于那些所选区域。所述方法可以包括跟踪外科医生的注视点，选择要以外科医生的注视点为中心的图像的第一区域，选择排除外科医生的注视点的图像的第二区域，以及将不同的区域特异性修改应用于第一区域和第二区域。所述方法可以包括基于视频流中的后续图像时特征之间的预测关系来识别后续图像的多个区域，其中，将修改的掩模应用于视频流中的后续图像包括将区域特异性修改应用于后续图像的每个区域。所述方法还可以包括通过以下方式将迭代更新的掩模应用于视频流的另外图像：从手术机器人系统导出另外数据；根据所导出的另外数据确定图像序列的另一图像中的特征之间的更新关系；针对视频流中又一图像时特征之间的更新预测关系进一步修改掩模以形成更新掩模；将更新掩模应用于视频流中的又一图像；以及针对视频流的其他图像迭代地执行上述步骤。可以以比视频流的图像帧率更慢的速率更新掩模。可以仅在图像中特征的重大变化时更新掩模。可以仅在手术内窥镜和/或手术内窥镜所处的患者的重大移动时更新掩模。附图说明现在将参照附图以举例的方式描述本公开。在附图中：图1示出了正由一组手术机器人进行手术的人；图2示出了外科医生控制台；图3示出了手术机器人系统与手术内窥镜相关的部分的示意图；以及图4示出了流程图，示出了来自手术内窥镜的视频流的图像校正的过程。具体实施方式图1示出了对人104进行手术的手术机器人101、102、103。每个机器人包括连接到基部的铰接臂。机器人101和102中的每一个都具有连接到其臂的末端的手术器械105、106。手术内窥镜107连接到机器人103的臂。手术器械105、106和手术内窥镜107各自通过身体104中的切口进出手术部位。外科医生从图2中所示的外科医生控制台200控制手术器械，并任选地控制手术内窥镜。外科医生操纵手操控制器201、202。控制系统将手操控制器的移动转换成控制信号以移动手术机器人之一的臂接头和/或器械末端执行器。来自手术部位处的手术内窥镜107的视频馈送被显示在显示器203上。因此，外科医生能够查看手术部位，包括他正用手操控制器201、202操纵的器械末端执行器。图3示出了手术机器人系统与手术内窥镜107相关的部分。手术内窥镜107附接到机器人臂103的远离其基部304的末端。来自手术内窥镜的视频流由控制单元301接收，在控制单元处，视频流被处理，然后被输出到外科医生控制台305，在外科医生控制台处，被显示在显示器203上。控制单元301包括处理器302和存储器303。存储器以非暂态方式存储可以由处理器执行的软件代码，以使处理器以本文描述的方式实时校正来自手术内窥镜107的视频流。控制单元301被示为远离外科医生控制台305和手术机器人103两者。替代地，控制单元301可以被并入外科医生控制台305之内。作为另一替代方案，控制单元301可以并入手术机器人103或手术机器人系统的另一手术机器人之内。处理器302根据参照图4描述的以下示范性方法对来自手术内窥镜107的视频流执行实时图像校正。视频流包括图4中编号为1、2、3、……、n-1、n、n+1、……、m-1、m、m+1、……、p-1、p、……的图像序列。所述处理器处理所述图像序列的每个图像。在步骤401处，处理器识别图像1中的多个区域。每个区域由一个或多个像素构成。每个区域通过具有至少一个图像属性的不同值域而与另一个区域区分开。区域的图像属性包括亮度、对比度、灰度系数和颜色。这些图像属性中的任何一个或多个在不同区域中可以不同。在步骤402处，处理器将掩模应用于图像1。掩模对图像的每个区域应用区域特异性修改。一个区域的区域特异性修改不同于另一个区域的区域特异性修改。每个区域特异性修改都修改那一区域的至少一个图像属性。在基于区域具有特定本文档来自技高网...

【技术保护点】
1.一种来自手术机器人系统的手术内窥镜的视频流的实时图像校正方法，所述视频流包括图像序列，所述方法包括：/n对于所述图像序列中的图像，识别多个区域，每个区域具有与另一区域不同的至少一个图像属性的值域；/n向所述图像应用掩模，所述掩模向每个区域应用区域特异性修改，每个区域特异性修改对那一区域的所述至少一个图像属性进行修改；/n从所述手术机器人系统导出数据；/n根据所导出的数据确定所述图像中特征之间的关系；/n针对所述视频流中的后续图像时所述特征之间的预测关系修改所述掩模；以及/n将所修改的掩模应用于所述视频流中的所述后续图像。/n

【技术特征摘要】
【国外来华专利技术】20180824 GB 1813877.61.一种来自手术机器人系统的手术内窥镜的视频流的实时图像校正方法，所述视频流包括图像序列，所述方法包括：
对于所述图像序列中的图像，识别多个区域，每个区域具有与另一区域不同的至少一个图像属性的值域；
向所述图像应用掩模，所述掩模向每个区域应用区域特异性修改，每个区域特异性修改对那一区域的所述至少一个图像属性进行修改；
从所述手术机器人系统导出数据；
根据所导出的数据确定所述图像中特征之间的关系；
针对所述视频流中的后续图像时所述特征之间的预测关系修改所述掩模；以及
将所修改的掩模应用于所述视频流中的所述后续图像。


2.根据权利要求1所述的方法，还包括存储一组预定修改，以及将每个区域特异性修改生成为两个或更多个预定修改的加权组合。


3.根据权利要求2所述的方法，其中，所述预定修改修改以下图像属性中的一个或多个：亮度、对比度、灰度系数和颜色。


4.根据任一项前述权利要求所述的方法，其中，在所述后续图像时所述特征之间的所述预测关系使得所述图像中的所述特征中的一个或多个的形状已经改变。


5.根据任一项前述权利要求所述的方法，其中，在所述后续图像时所述特征之间的所述预测关系使得所述特征的相对位置已经改变。


6.根据任一项前述权利要求所述的方法，其中，所述数据包括所述手术内窥镜相对于所述图像中的另一特征的位置。


7.根据任一项前述权利要求所述的方法，其中，所述数据包括所述图像中的所述特征的深度信息。


8.根据权利要求7所述的方法，包括从所述手术内窥镜的移动导出所述深度信息。


9.根据权利要求7所述的方法，其中，所述视频流是所述手术内窥镜的两个立体视频通道的...

【专利技术属性】
技术研发人员：卢克·戴维·罗纳德·黑尔斯，
申请(专利权)人：CMR外科有限公司，
类型：发明
国别省市：英国;GB