使用机器学习和解剖向量进行医学图像分析制造技术

本发明专利技术公开了一种计算机实施的方法，该方法包括将具有已知观察方向和图谱的跟踪成像装置(诸如显微镜)配准到患者空间，以便可以在图谱空间与参考系之间建立变换以定义图像中患者解剖结构的位置。标签与图像的某些组成部分相关联，并与医学图像和解剖向量以及例如图谱一起输入到学习算法中，诸如机器学习算法，例如卷积神经网络，以训练学习算法来自动分割使用跟踪成像装置生成的患者图像。然后，训练过的学习算法允许对患者图像进行有效的分割和/或标记，而不必每次都将患者图像配准到图谱，从而节省计算量工作。从而节省计算量工作。从而节省计算量工作。

【技术实现步骤摘要】
【国外来华专利技术】使用机器学习和解剖向量进行医学图像分析


[0001]本专利技术涉及一种训练用于确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的学习算法的计算机实施的方法、使用训练过的学习算法来分割和/或标记医学患者图像的方法、一种相应的计算机程序、一种存储此类程序的计算机可读存储介质、一种执行此类程序的计算机以及一种包括电子数据存储装置和上述计算机的系统。

技术介绍

[0002]可以使用解剖图像来分割或标记医学患者图像。这需要将患者图像配准到图谱数据，这涉及大量的计算工作。
[0003]专利文献US 2017/0213339 A1公开了一种用于分割医学图像的方法和系统，该方法和系统使用学习算法作为用于将患者图像与图谱图像配准的解剖分类器。
[0004]专利文献US 2019/0320934 A1公开了包括自我评估机制的医学成像会话的自动序列预测。对患者或对象执行初始侦查序列。
[0005]验证初始侦察序列。执行简化的获取协议。验证简化的获取协议。执行附加序列。还可以使用基于深度学习的推理基于对先前扫描的分析来配置序列以选择接下来的适当设置和程序。
[0006]专利文献US 2017/0330325 A1公开了一种用于将患者身体解剖结构的图像的患者图像集与包括解剖图谱元素的一般解剖结构的图像的图谱图像集进行匹配的匹配变换。获得包含关于一般解剖结构的空间信息和元素表示信息的图谱空间信息。元素表示信息描述了获得包含关于将待确定的图谱图像中多个图谱元素的表示的信息的表示数据集，还描述了根据不同的各个参数集来确定各个图谱元素的各个表示数据集的确定规则。通过获取患者图像集和分别与患者图像集的图像相关联的参数集来获取患者数据。通过将与相同参数集相关联的图像相互匹配来确定匹配变换。
[0007]本专利技术的目的是提供用于更有效地分割和/或标记医学患者图像的方法。
[0008]下文公开了本专利技术各方面、示例和示例性步骤及其实施例。只要技术上适宜且可行，便能根据本专利技术组合本专利技术的不同示例性特征。

技术实现思路

[0009]下文给出了对本专利技术具体特征的简要描述，不应理解为使本专利技术仅限于本部分中描述的特征或特征组合。
[0010]本公开的方法包含将具有已知观察方向和图谱的跟踪成像装置(诸如显微镜)配准到患者空间，以便可以在图谱空间与参考系之间建立变换，用于定义患者解剖结构图像中的位置。标签与图像的某些组成部分相关联，并与医学图像和解剖向量以及例如图谱一起输入到学习算法中，诸如机器学习算法，例如卷积神经网络，以训练学习算法，用于自动分割使用跟踪成像装置生成的患者图像。然后，训练过的学习算法允许对患者图像进行有
效分割和/或标记，而不必每次都使用配准图谱来分割患者图像，从而节省计算工作量。
[0011]在本
技术实现思路
中，例如通过参照本专利技术的可行实施例给出对本专利技术一般特征的描述。
[0012]一般而言，为了达成上述目的，本专利技术第一方面提出一种训练用于确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的学习算法的计算机实施的方法(例如，医学方法)。根据第一方面的方法包括在至少一台计算机(例如，至少一台作为导航系统的一部分的计算机)的至少一个处理器上，执行由至少一个处理器执行的以下示例性步骤。
[0013]根据第一方面的方法的(例如第一)示例性步骤中，获取患者训练图像数据，该患者训练图像数据描述多个患者的解剖结构的数字医学图像。例如，医学图像是二维图像，诸如显微镜图像，例如用显微镜拍摄的视频的一部分，其中，成像装置例如是显微镜。例如已经从使用生成二维图像的成像装置(诸如数码显微镜、相机或配备有数码相机的内窥镜)或使用产生或配置为产生二维投影图像的X射线装置拍摄的图像或视频生成患者训练图像数据。然而，在其他示例中，可以通过将任何其他适用的成像模态(例如，磁共振断层扫描、X射线计算机断层扫描、放射摄影或超声成像)应用于解剖结构来生成患者训练图像数据。
[0014]根据第一方面的方法的(例如第二)示例性步骤中，获取图谱数据，该图谱数据描述包括解剖结构的身体解剖部位的解剖模型。解剖模型例如是由例如组织类别定义的三维合成解剖模型。例如，已经从例如针对多个患者的身体解剖部位的医学图像数据生成组织类别。
[0015]根据第一方面的方法的(例如第三)示例性步骤中，获取观察方向数据，该观察方向数据描述成像装置在用于生成医学图像的时间点朝向解剖结构的观察方向。例如已经通过用跟踪系统跟踪成像装置来确定观察方向，该跟踪系统的工作原理是基于标记跟踪(即光学检测回射标记，该回射标记以相对于其观察方向预定且已知的关系附接至成像装置)、视频跟踪或电磁跟踪。观察方向还可以基于成像装置的几何形状或由成像装置的几何形状来定义，并且可以基于光学器件来定义，例如成像装置的视场或焦轴，或例如焦点(focal point)，例如成像装置的焦斑(focal spot)的位置。观察方向例如包括垂直于成像平面的方向。观察方向例如包括相机位置和相机取向或者由相机位置和相机取向来定义。此外，观察方向数据例如包括定义成像装置的焦距、变焦或放大倍率的信息。附加地或替代地，它例如包括定义图像或视场的边或角的位置(例如相对于成像装置位置)的信息。对于使用X射线并包括大体平坦的X射线检测器的成像装置，观察方向数据可以例如包括检测器区域的法线或由检测器区域的法线定义，或者它可以例如包括定义检测器区域的中心或者例如由靠近X射线检测器或X射线源的准直器叶片定义的区域的中心的信息。在一示例中，通过利用相对于解剖结构具有预定(例如已知)几何形状和/或预定(例如已知)位置的X射线对不透X射线的标记进行成像，并且分别将至少一个所得X射线图像中标记的外观与预定(例如已知)几何形状或解剖结构的位置进行比较，生成观察方向。本公开中在视频图像的上下文中提及本专利技术的特征时，它们同样可以与任何其他类型的成像模态(诸如静止图像数字摄影、射线摄影、DRR或三维成像模态，诸如X射线计算机断层扫描、磁共振断层扫描或超声断层扫描)相组合。
[0016]根据第一方面的方法的(例如第四)示例性步骤中，基于观察方向数据和图谱数据
确定解剖向量数据，其中，该解剖向量数据描述将观察方向变换为参考系所得的解剖向量，在该参考系中定义解剖模型中的位置。
[0017]这种从观察方向数据到解剖向量数据的变换例如通过以下步骤a)到c)来执行：
[0018]a)将跟踪成像装置的位置和取向的坐标(例如，在跟踪系统的坐标系中定义，例如相对于光学跟踪系统的立体跟踪相机)变换为与患者相同的坐标系(例如通过附接至患者身上的光学或其他跟踪标记)，该坐标系例如是患者的术中坐标系。
[0019]b)将计划图像数据(例如计算机断层扫描图像，例如来自患者的X射线或磁共振断层扫描)中的位置变换为患者的患者坐标系(例如使用术前图像数据中例如不透射线的人工标记或自然界标)。计划图像数据的坐标系例如由用于获取计划图像数据的成像装置(本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种训练用于确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的学习算法的计算机实施的方法，所述方法包括以下步骤：a)获取患者训练图像数据(S21)，所述患者训练图像数据描述多个患者的解剖结构的数字医学图像；b)获取图谱数据(S22)，所述图谱数据描述包含所述解剖结构的身体解剖部位的解剖模型；c)获取观察方向数据(S23)，所述观察方向数据描述成像装置在用于生成所述医学图像的时间点朝向所述解剖结构的观察方向；d)基于所述观察方向数据和所述图谱数据确定解剖向量数据(S24)，其中，所述解剖向量数据描述将所述观察方向变换为参考系所得的解剖向量，在所述参考系中定义所述解剖模型中的位置；e)获取标签数据(S25)，所述标签数据描述表示所述解剖模型中解剖结构的位置或类型的标签；以及f)基于所述患者训练图像数据、所述解剖向量数据和所述标签数据确定解剖指标数据(S26)，其中，所述解剖指标数据描述用于建立所述医学图像所描述的解剖结构的位置或类型与所述标签之间关系的学习算法的模型参数，其中，通过将所述患者训练图像数据和所述标签数据输入到关系建立函数中来确定所述解剖指标数据。2.根据前述权利要求中任一项所述的方法，其中，所述医学图像是二维图像，诸如显微镜图像，例如用显微镜拍摄的视频的一部分，其中，所述成像装置例如是显微镜、配备有数码相机的内窥镜或配置为产生二维投影图像的X射线装置。3.根据前述权利要求中任一项所述的方法，其中，通过将已经基于所述图谱数据和所述解剖向量数据所确定的图谱数据子集、例如实子集额外输入到所述关系建立函数中来确定所述解剖指标数据。4.根据前述权利要求中任一项所述的方法，包括以下步骤：获取附加数据，所述附加数据作为所述解剖向量的函数；以及通过将所述附加数据额外输入到所述关系建立函数中来确定所述解剖指标数据。5.根据前述权利要求中任一项所述的方法，其中，所述附加数据包括所述解剖向量数据或由解剖向量数据组成。6.根据前述权利要求中任一项所述的方法，其中，所述学习算法包括机器学习算法或由机器学习算法组成。7.根据前述权利要求中任一项所述的方法，其中，所述学习算法包括卷积神经网络或由卷积神经网络组成。8.根据前述权利要求中任一项所述的方法，其中，所述模型参数定义所述学习算法的可学习参数，例如权重。9.一种确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的计算机实施的方法，所述方法包括以下步骤：a)获取个体患者图像数据(S31)，所述个体患者图像数据描述个体患者的解剖结构的数字个体医学图像；以及b)确定标签关系数据(S32)，所述标签关系数据描述所述标签与所述个体医学图像中
解剖结构之间的关系，其中，通过将所述个体患者图像数据输入到所述个体医学图像所描述的解剖结构与所述标签之间关系的建立函数中来确定所述标签关系数据，所述函数是已经通过执行根据权利要求1至2或从属于任一项权利要求1至2的权利要求6至8中任一项所述的方法训练的学习算法的一部分。10.一种确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的计算机实施的方法，所述方法包括以下步骤：a)获取个体患者图像数据(S41)，所述个体患者图像数据描述个体患者的解剖结构的数字个体医学图像；b)获取图谱数据(S42)，所述图谱数据描述包含所述解剖结构的身体解剖部位的解剖模型；以及c)获取个体观察方向数据(S43)，所述个体观察方向数据描述成像装置在用于生成所述个体医学图像的时间点朝向所述解剖结构的观察方向；d)基于所述个体观察方向数据和所述图谱数据确定个体解剖向量数据(S44)，其中，所述解剖向量数据描述将所述观察方向变换为参考系所得的解剖向量，在所述参考系中定义所述解剖模型中的位置；e)获取附加数据(S45)，所述附加数据作为个体解剖向量的函数；以及f)确定标签关系数据(S46)，所述标签关系数据描述标签与所述个体医学图像所描述的解剖结构之间的关系，其中，通过将所述个体患者图像数据和所述附加数据输入到所述个体医学图像中解剖结构的位置或类型与所述标签之间关系的建立函数中来确定所述标签关系数据，所述函数...

【专利技术属性】
技术研发人员：斯特凡，
申请(专利权)人：博医来股份公司，
类型：发明
国别省市：