用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统技术方案

公开了一种用于在腹腔镜和内窥镜2D/2.5D图像数据中进行场景解析和模型融合的方法和系统。接收包括2D图像通道和2.5D深度通道的术中图像流的当前帧。在术前3D医学图像数据中分割的目标器官的3D术前模型被融合到术中图像流的当前帧中。基于目标器官的融合术前3D模型，将来自术前3D医学图像数据的语义标签信息传播到术中图像流的当前帧中的多个像素中的每个像素，从而产生用于术中图像流的当前帧的渲染标签图。语义分类器基于用于术中图像流的当前帧的渲染标签图来训练。

Method and system for simultaneous scene analysis and model fusion for endoscope and laparoscopic navigation

A method and system for scene analysis and model fusion in the laparoscopic and endoscope 2D/2.5D image data are disclosed. The current frame of the image stream including the 2D image channel and the 2.5D depth channel is received. The 3D preoperation model of the target organs divided in the preoperative 3D medical image data is fused into the current frame of the intraoperative image flow. Based on the 3D model of target organ fusion before operation, the semantic label information of 3D medical image data will be propagated to every pixel in the multiple pixels of the current frame of the intraoperative image stream in the future, so as to generate the rendering label map for the current frame of intraoperative image stream. The semantic classifier is trained based on the rendering of the current frame, which is used for the image flow in the operation.

【技术实现步骤摘要】
【国外来华专利技术】用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统
本专利技术涉及腹腔镜或内窥镜图像数据中的语义分割和场景解析，并且更具体地，涉及使用分割的术前图像数据在腹腔镜和内窥镜图像流中同时进行场景解析和模型融合。
技术介绍
在微创外科手术期间，图像序列为经采集以引导外科手术的腹腔镜或内窥镜图像。可以采集多个2D/2.5D图像并将其拼接在一起以生成所观察到的关注器官的3D模型。然而，由于摄像头和器官移动的复杂性，精确的3D拼接是具有挑战性的，因为这种3D拼接需要对腹腔镜或内窥镜图像序列的连续帧之间的对应关系进行稳健的估算。
技术实现思路
本专利技术提供一种用于使用分割术前图像数据在术中图像流如腹腔镜或内窥镜图像流中同时进行场景解析和模型融合的方法和系统。本专利技术的实施方式利用目标器官的术前和术中模型的融合来促进采集术中图像流的采集帧的特定场景语义信息。本专利技术的实施方式自动地将来自术前图像数据的语义信息传播到术中图像流的各个帧，并且随后可以使用具有语义信息的帧来训练用于执行对输入的术中图像的语义分割的分类器。在本专利技术的一个实施方式中，接收包括2D图像通道和2.5D深度通道的术中图像流的当前帧。在术前3D医学图像数据中分割的目标器官的3D术前模型被融合到术中图像流的当前帧中。基于目标器官的融合术前3D模型，将来自术前3D医学图像数据的语义标签信息传播到术中图像流的当前帧中的多个像素中的每个像素，从而产生用于术中图像流的当前帧的渲染标签图。语义分类器基于用于术中图像流的当前帧的渲染标签图来训练。通过参考下面的详细描述和附图，本专利技术的这些和其它优点对于本领域的普通技术人员应是显而易见的。附图说明图1示出了根据本专利技术实施方式的使用3D术前图像数据在术中图像流中进行场景解析的方法；图2示出了根据本专利技术实施方式的将3D术前医学图像数据刚性配准到术中图像流的方法；图3示出了肝脏的示例性扫描和通过肝脏扫描产生的对应2D/2.5D帧；以及图4为能够实现本专利技术的计算机的高级框图。具体实施方式本专利技术涉及一种使用分割的术前图像数据在腹腔镜和内窥镜图像数据中同时进行模型融合和场景解析的方法和系统。本文描述了本专利技术的实施方式以给出用于模型融合和场景解析术中图像数据如腹腔镜和内窥镜图像数据的方法的视觉理解。数字图像往往由一个或多个对象(或形状)的数字表示组成。对象的数字表示往往在本文中根据识别和操纵对象来描述。此类操纵为在计算机系统的存储器或其它电路/硬件中完成的虚拟操纵。因此，应理解，可以使用存储在计算机系统内的数据在计算机系统内执行本专利技术的实施方式。图像的语义分割着重于提供关于定义的语义标签的图像域中的每个像素的解释。由于像素级分割，图像中的对象边界被精确地捕获。由于视觉外观、三维形状、采集设置和场景特征的变化，学习用于如内窥镜和腹腔镜图像的术中图像中的器官特定的分割和场景解析的可靠分类器是具有挑战性的。本专利技术的实施方式利用分割的术前医学图像数据，例如分割的肝脏计算机断层扫描(CT)或磁共振(MR)图像数据来动态生成标签图以便训练用于在对应的术中RGB-D图像流中同时进行场景解析的特定分类器。本专利技术的实施方式将3D处理技术和3D表示用作模型融合的平台。根据本专利技术的实施方式，在采集的腹腔镜/内窥镜RGB-D(红色、绿色、蓝色光学和计算的2.5D深度图)流中执行自动化的和同时的场景解析和模型融合。这使得能够基于分割的术前医学图像数据来采集用于采集的视频帧的场景特定的语义信息。考虑到模态的基于生物力学的非刚性对准，使用逐帧模式将语义信息自动传播到光学表面成像(即，RGB-D流)。这支持在临床手术期间的视觉导航和自动化识别，并提供用于报告和文档编制的重要信息，因为冗余信息可以被简化为重要信息，例如示出相关解剖结构或提取内窥镜采集的关键视图的关键帧。本文描述的方法可以用交互式响应时间来实现，并因此可以在外科手术期间实时或接近实时地执行。应理解，术语“腹腔镜图像”和“内窥镜图像”在本文中可互换使用，并且术语“内窥镜图像”是指在外科手术或介入期间采集的任何医学图像数据，包括腹腔镜图像和内窥镜图像。图1示出根据本专利技术实施方式的使用3D术前图像数据在术中图像流中进行场景解析的方法。图1的方法变换术中图像流的帧以对所述帧执行语义分割以便生成语义标记的图像并训练用于语义分割的基于机器学习的分类器。在示例性实施方式中，图1的方法可以用于在肝脏的术中图像序列的帧中执行场景解析以用于引导对肝脏的外科手术，如肝切除以从肝脏去除肿瘤或病变，在术前3D医学图像体积中使用基于肝脏的分割3D模型的模型融合。参考图1，在步骤102，接收患者的术前3D医学图像数据。术前3D医学图像数据在外科手术之前采集。3D医学图像数据可以包括3D医学图像体积，其可以使用任何成像模态如计算机断层扫描(CT)、磁共振(MR)或正电子发射断层扫描(PET)来采集。术前3D医学图像体积可以从图像采集装置如CT扫描仪或MR扫描仪直接接收，或者可以通过从计算机系统的存储器或储存器加载预先存储的3D医学图像体积来接收。在可能的实施方式中，在术前计划阶段，术前3D医学图像体积可以使用图像采集装置采集并将其存储在计算机系统的存储器或储存器中。然后可以在外科手术期间从存储器或储存器系统加载术前3D医学图像。术前3D医学图像数据还包括目标解剖对象如目标器官的分割3D模型。术前3D医学图像体积包括目标解剖学对象。在有利的实施方式中，目标解剖对象可以为肝脏。与术中图像如腹腔镜和内窥镜图像相比，术前体积成像数据可以提供目标解剖对象的更详细的视图。目标解剖对象和可能的其它解剖对象在术前3D医学图像体积中被分割。可以使用任何分割算法从术前成像数据中分割出表面目标(例如，肝脏)、关键结构(例如，门静脉、肝脏系统、胆道)和其它目标(例如，原发性和转移性肿瘤)。3D医学图像体积中的每个体素可以用对应于分割的语义标签进行标记。例如，所述分割可以为二维分割，其中3D医学图像中的每个体素被标记为前景(即，目标解剖结构)或背景，或者所述分割可以具有对应于多个解剖对象的多个语义标签以及背景标签。例如，分割算法可以为基于机器学习的分割算法。在一个实施方式中，可以采用基于边缘空间学习(MSL)的框架，例如，使用在题为“systemandMethodforSegmentingChambersofaHeartinaThreeDimensionalImage(用于在三维图像中分割心脏的系统和方法)”的美国专利号7,916,919中描述的方法，该专利的全部内容通过引用并入本文。在另一个实施方式中，可以使用半自动分割技术，例如图形切割或随机沃克分割。响应于从图像采集装置接收到3D医学图像体积，可以在3D医学图像体积中对目标解剖对象进行分割。在可能的实施方式中，患者的目标解剖对象在外科手术之前进行分割并将其存储在计算机系统的存储器或储存器中，然后在外科手术开始或外科手术期间，从计算机系统的存储器或储存器加载目标解剖对象的分割的3D模型。在步骤104，接收术中图像流。术中图像流也可以被称为视频，其中每个视频帧为术中图像。例如，术中图像流可以为经由腹腔镜采集的腹腔镜图像流或经由内窥镜采集的内窥镜图像流。根据有利的实施方式，术中图像流的每个帧为2D/2.本文档来自技高网...

【技术保护点】
一种用于在术中图像流中进行场景解析的方法，包括：接收包括2D图像通道和2.5D深度通道的术中图像流的当前帧；将在术前3D医学图像数据中分割的目标器官的3D术前模型融合到所述术中图像流的所述当前帧；基于所述目标器官的所述融合术前3D模型，将来自所述术前3D医学图像数据的语义标签信息传播到所述术中图像流的所述当前帧中的多个像素中的每个像素，从而产生所述术中图像流的所述当前帧的渲染标签图；以及基于用于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器。

【技术特征摘要】
【国外来华专利技术】1.一种用于在术中图像流中进行场景解析的方法，包括：接收包括2D图像通道和2.5D深度通道的术中图像流的当前帧；将在术前3D医学图像数据中分割的目标器官的3D术前模型融合到所述术中图像流的所述当前帧；基于所述目标器官的所述融合术前3D模型，将来自所述术前3D医学图像数据的语义标签信息传播到所述术中图像流的所述当前帧中的多个像素中的每个像素，从而产生所述术中图像流的所述当前帧的渲染标签图；以及基于用于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器。2.根据权利要求1所述的方法，其中，将在术前3D医学图像数据中分割的目标器官的3D术前模型融合到所述术中图像流的所述当前帧包括：在所述术前3D医学图像数据与所述术中图像流之间执行初始非刚性配准；以及使用所述目标器官的计算生物力学模型使所述目标器官的所述3D术前模型变形以将所述术前3D医学图像数据与所述术中图像流的所述当前帧对准。3.根据权利要求2所述的方法，其中，在所述术前3D医学图像数据与所述术中图像流之间执行初始非刚性配准包括：拼接所述术中图像流的多个帧以生成所述目标器官的3D术中模型；以及在所述目标器官的所述3D术前模型与所述目标器官的所述3D术中模型之间执行刚性配准。4.根据权利要求2所述的方法，其中，使用所述目标器官的计算生物力学模型使所述目标器官的所述3D术前模型变形以将所述术前3D医学图像数据与所述术中图像流的所述当前帧对准包括：使用所述目标器官的所述计算生物力学模型使所述目标器官的所述3D术前模型变形，以将所述术前3D医学图像数据与所述术中图像流的所述当前帧的所述2.5D深度通道中的深度信息对准。5.根据权利要求2所述的方法，其中，使用所述目标器官的计算生物力学模型使所述目标器官的所述3D术前模型变形以将所述术前3D医学图像数据与所述术中图像流的所述当前帧对准包括：估算所述目标器官的所述3D术前模型与所述当前帧中的所述目标器官之间的对应关系；根据所述对应关系估算所述目标器官上的力；以及使用所述目标器官的所述计算生物力学模型基于估算的力来模拟所述目标器官的所述3D术前模型的变形。6.根据权利要求1所述的方法，其中，基于所述目标器官的所述融合术前3D模型，将来自所述术前3D医学图像数据的语义标签信息传播到所述术中图像流的所述当前帧中的多个像素中的每个像素，从而产生所述术中图像流的所述当前帧的渲染标签图包括：基于所述目标器官的所述融合术前3D模型，将所述术前3D医学图像数据与所述术中图像流的所述当前帧对准；基于所述当前帧的姿态来估算对应于所述术中图像流的所述当前帧的所述3D医学图像数据中的投影图像；以及通过将来自所述3D医学图像数据中的所述估算的投影图像中的多个像素位置中的每个像素位置的语义标签传播到所述术中图像流的所述当前帧中的所述多个像素中的对应像素术中来渲染所述术中图像流的所述当前帧的渲染标签图。7.根据权利要求1所述的方法，其中，基于用于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器的过程包括：基于用于所述术中图像流的所述当前帧的所述渲染标签图来更新经训练的语义分类器。8.根据权利要求1所述的方法，其中，基于用于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器包括：针对所述术中图像流的所述当前帧，在所述渲染标签图中的一个或多个经标记的语义类别中的每个语义类别中对所述训练样本进行采样；以及针对所述术中图像流的所述当前帧，基于所述渲染标签图中的所述一个或多个经标记的语义类别中的每个语义类别中的所述训练样本来训练所述语义分类器。9.根据权利要求8所述的方法，其中，针对所述术中图像流的所述当前帧，基于所述渲染标签图中的所述一个或多个经标记的语义类别中的每个语义类别中的所述训练样本来训练所述语义分类器的过程包括：从所述术中图像流的所述当前帧中的每个训练样本周围的对应图像块中的所述2D图像通道和所述2.5D深度通道提取统计特征；以及针对每个训练样本以及与所述渲染标签图中的每个训练样本相关联的语义标签，基于所提取的统计特征来训练所述语义分类器。10.根据权利要求8所述的方法，还包括：使用经训练的语义分类器对所述术中图像流的所述当前帧执行语义分割。11.根据权利要求10所述的方法，还包括：将使用所述经训练的分类器对所述当前帧执行语义分割所产生的标签图与用于所述当前帧的所述渲染标签图进行比较；以及使用从所述一个或多个语义类别中的每个语义类别中采样的附加训练样本重复所述语义分类器的训练，并且使用所述经训练的语义分类器执行所述语义分割，直到使用所述经训练的分类器对所述当前帧执行语义分割产生的所述标签图收敛于所述当前帧的所述渲染标签图。12.根据权利要求11所述的方法，其中，所述附加训练样本选自在使用所述经训练的分类器对所述当前帧执行语义分割所产生的所述标签图中被错误分类的所述术中图像流的所述当前帧中的像素。13.根据权利要求10所述的方法，还包括：使用从所述一个或多个语义类别中的每个语义类别采样的附加训练样本重复所述语义分类器的训练，并且使用所述经训练的语义分类器执行所述语义分割，直到所述目标器官的姿态收敛在使用所述经训练的分类器对所述当前帧执行语义分割所产生的所述标签图中。14.根据权利要求1所述的方法，还包括：针对所述术中图像流的一个或多个后续帧中的每个后续帧，重复所述接收、融合、传播和训练步骤。15.根据权利要求1所述的方法，还包括：接收所述术中图像流的一个或多个后续帧；以及使用所述经训练的语义分类器在所述术中图像流的所述一个或多个后续帧中的每个后续帧中执行语义分割。16.根据权利要求15所述的方法，还包括：基于所述术中图像流的所述一个或多个后续帧中的每个后续帧的所述语义分割结果，拼接所述术中图像流的所述一个或多个后续帧以生成所述目标器官的术中3D模型。17.一种用于在术中图像流中进行场景解析的设备，包括：用于接收包括2D图像通道和2.5D深度通道的术中图像流的当前帧的装置；用于将在术前3D医学图像数据中分割的目标器官的3D术前模型融合到所述术中图像流的所述当前帧的装置；用于基于所述目标器官的所述融合术前3D模型，将来自所述术前3D医学图像数据的语义标签信息传播到所述术中图像流的所述当前帧中的多个像素中的每个像素，从而产生所述术中图像流的所述当前帧的渲染标签图的装置；以及用于基于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器的装置。18.根据权利要求17所述的设备，其中，所述用于将在术前3D医学图像数据中分割的目标器官的3D术前模型融合到所述术中图像流的所述当前帧的装置包括：用于在所述术前3D医学图像数据与所述术中图像流之间执行初始非刚性配准的装置；以及用于使用所述目标器官的计算生物力学模型使所述目标器官的所述3D术前模型变形以将所述术前3D医学图像数据与所述术中图像流的所述当前帧对准的装置。19.根据权利要求17所述的设备，其中，所述用于基于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器的装置包括：用于基于所述术中图像流的所述当前帧的所述渲染标签图来更新经训练的语义分类器的装置。20.根据权利要求17所述的设备，其中，所述用于基于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器的装置包括：用于针对所述术中图像流的所述当前帧，在所述渲染标签图中的一个或多个经标记的语义类别中的每个语义类别中对所述训练样本进行采样的装置；以及用于针对所述术中图像流的所述当前帧，基于所述渲染标签图中的所述一个或多个经标记的语义类别中的每个语义类别中的所...

【专利技术属性】
技术研发人员：斯特凡·克卢克纳，阿里·卡门，陈德仁，
申请(专利权)人：西门子公司，
类型：发明
国别省市：德国,DE