通过对象检测定位的医学图像的三维对象分割制造技术

本公开涉及使用深度学习网络来分割医学图像内的对象的技术，所述深度学习网络基于衍生对比度机制通过对象检测进行定位。特别地，本发明专利技术的方面涉及定位具有第一特征的第一医学图像内的目的对象、将所述目的对象的边界框或分割掩膜投影到具有第二特征的第二医学图像上以限定所述第二医学图像的一部分以及将所述第二医学图像的所述部分输入深度学习模型中，所述深度学习模型被配置为使用能够分割所述第二医学图像的所述部分并且生成围绕所述目的对象的分割边界的加权损失函数的检测器。所述分割边界可用于计算所述目的对象的体积，以用于确定受试者的诊断和/或预后。以用于确定受试者的诊断和/或预后。以用于确定受试者的诊断和/或预后。

【技术实现步骤摘要】
【国外来华专利技术】通过对象检测定位的医学图像的三维对象分割
[0001]相关申请的交叉引用
[0002]本申请要求2019年8月14日提交的美国临时申请号62/886,844的优先权和权益，其内容出于所有目的以引用方式全文并入本文。


[0003]本公开涉及医学图像的自动化对象分割，并且特别地涉及使用深度学习网络分割医学图像内的对象的技术，该深度学习网络基于衍生对比度机制通过对象检测进行定位。

技术介绍

[0004]计算机视觉涉及使用数字图像和视频来推断出对这些图像和视频中的内容的一些理解。对象识别与计算机视觉相关联，是指涉及识别图像帧中存在的对象的一组相关的计算机视觉任务。这些任务包括图像分类、对象定位、对象检测和对象分割。图像分类涉及预测图像帧中的一个或多个对象的类别。对象定位是指识别图像帧中一个或多个对象的位置，并且在其范围周围绘制边界框。对象检测将这两种任务组合，定位并且分类图像帧中的一个或多个对象。对象分割涉及突出显示所定位或检测的对象而不是粗边界框的特定像素(生成掩码)。对象识别技术通常分为基于机器学习的方法或基于深度学习的方法。对于基于机器学习的对象定位和检测方法，图像内的特征最初使用特征描述符诸如Haar样特征、尺度不变特征变换或方向梯度直方图(HOG)来定义，然后使用诸如支持向量机(SVM)等技术基于该特征描述符来检测目的对象。另一方面，深度学习技术能够在缺少明确定义的特征的情况下执行端到端对象检测和分割，并且通常基于卷积神经网络(CNN)，诸如基于区域的网络(R
‑
CNN、Fast R
‑
CNN、Faster R
‑
CNN和级联R
‑
CNN)。

技术实现思路

[0005]在一些实施例中，提供了一种用于分割医学图像内的对象的计算机实现的方法。该方法包括：获得受试者的医学图像，该医学图像包括具有第一特征的第一图像和具有第二特征的第二图像，其中该医学图像使用一种或多种医学成像方式生成；使用定位模型将第一图像内的对象定位并且分类为多个对象类别，其中该分类将该第一图像的像素或体素的集合分配至所述多个对象类别中的一个或多个中；使用定位模型，基于分配有所述多个对象类别中的对象类别的像素或体素的集合来确定用于第一图像内的目的对象的边界框或分割掩膜；将边界框或分割掩膜转移到第二图像上，以限定该第二图像的包括目的对象的部分；将第二图像的部分输入三维神经网络模型中，该三维神经网络模型被构建用于使用加权损失函数进行体积分割；使用三维神经网络模型生成围绕目的对象的估计的分割边界；以及使用三维神经网络输出第二图像的具有围绕目的对象的估计的分割边界的部分。
[0006]在一些实施例中，所述一种或多种医学成像方式包括第一医学成像方式以及与该第一医学成像方式不同的第二医学成像方式，并且其中第一图像由第一医学成像方式生成，并且第二图像由第二医学成像方式生成。
[0007]在一些实施例中，所述一种或多种医学成像方式包括第一医学成像方式以及与该第一医学成像方式相同的第二医学成像方式，并且其中第一图像由第一医学成像方式生成，并且第二图像由第二医学成像方式生成。
[0008]在一些实施例中，第一图像为第一类型的图像并且第二图像为第二类型的图像，并且其中第一类型的图像与第二类型的图像不同。
[0009]在一些实施例中，第一图像为第一类型的图像并且第二图像为第二类型的图像，并且其中第一类型的图像与第二类型的图像相同。
[0010]在一些实施例中，第一特征与第二特征不同。
[0011]在一些实施例中，第一特征与第二特征相同。
[0012]在一些实施例中，第一医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描图像、正电子发射断层扫描图像、光声层析成像图像、X射线图像、超声波扫描或其组合，并且其中第二医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描图像、正电子发射断层扫描图像、光声层析成像图像、X射线图像、超声波扫描或其组合。
[0013]在一些实施例中，第一类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声层析成像图像、X射线图像、超声波扫描图像或其组合，并且其中第二类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声层析成像图像、X射线图像、超声波扫描图像或其组合。
[0014]在一些实施例中，第一特征为部分各向异性指数对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合，并且其中第二特征为部分各向异性指数对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合。
[0015]在一些实施例中，所述一种或多种医学成像方式为弥散张量成像，第一图像为部分各向异性指数(FA)图，第二图像为平均弥散率(MD)图，第一特征为部分各向异性指数对比度，第二特征为平均弥散率对比度，并且目的对象为受试者的肾。
[0016]在一些实施例中，将第一图像内的对象定位并且分类包括将一种或多种聚类算法应用于第一图像的多个像素或体素。
[0017]在一些实施例中，所述一种或多种聚类算法包括k均值算法，该k均值算法将观测值分配至与多个对象类别相关联的聚类。
[0018]在一些实施例中，所述一种或多种聚类算法进一步包括期望最大化算法，该期望最大化算法基于一种或多种概率分布来计算聚类成员的概率，并且其中k均值算法通过估计多个对象类别中的每个对象类别的初始参数来初始化期望最大化算法。
[0019]在一些实施例中，确定分割掩膜，并且确定该分割掩膜包括：使用分配有对象类别的像素或体素集来识别目的对象的种子位置；通过将种子位置投影到代表分割掩膜的深度的z轴来增长种子位置；以及基于所投影的种子位置来确定分割掩膜。
[0020]在一些实施例中，确定分割掩膜进一步包括在分割掩膜上执行形态闭合和填充。
[0021]在一些实施例中，该方法进一步包括在将第二图像的部分输入三维神经网络模型
中之前基于对象掩膜加余量来裁剪该第二图像，以生成该第二图像的该部分。
[0022]在一些实施例中，该方法进一步包括在将第二图像的部分输入三维神经网络模型中之前将该第二图像输入深度超分辨率神经网络中，以增加该第二图像的该部分的分辨率。
[0023]在一些实施例中，三维神经网络模型包括使用训练数据集识别的多个模型参数，该训练数据集包括：多个医学图像，所述多个医学图像具有与围绕目的对象的分割边界相关联的注释；以及多个附加医学图像，所述多个附加医学图像具有与围绕目的对象的分割边界相关联的注释，其中所述多个附加医本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于分割医学图像内的对象的方法，其包括：获得受试者的医学图像，所述医学图像包括具有第一特征的第一图像和具有第二特征的第二图像，其中所述医学图像使用一种或多种医学成像方式生成；使用定位模型将所述第一图像内的对象定位并且分类为多个对象类别，其中所述分类将所述第一图像的像素或体素的集合分配至所述多个对象类别中的一个或多个中；使用所述定位模型，基于分配有所述多个对象类别中的对象类别的像素或体素的集合来确定用于所述第一图像内的目的对象的边界框或分割掩膜；将所述边界框或所述分割掩膜转移到所述第二图像上，以限定所述第二图像的包括所述目的对象的部分；将所述第二图像的所述部分输入三维神经网络模型中，所述三维神经网络模型被构建用于使用加权损失函数进行体积分割；使用所述三维神经网络模型生成围绕所述目的对象的估计的分割边界；以及使用所述三维神经网络输出所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分。2.根据权利要求1所述的方法，其中所述一种或多种医学成像方式包括第一医学成像方式以及与所述第一医学成像方式不同的第二医学成像方式，并且其中所述第一图像由所述第一医学成像方式生成，并且所述第二图像由所述第二医学成像方式生成。3.根据权利要求1所述的方法，其中所述一种或多种医学成像方式包括第一医学成像方式以及与所述第一医学成像方式相同的第二医学成像方式，并且其中所述第一图像由所述第一医学成像方式生成，并且所述第二图像由所述第二医学成像方式生成。4.根据权利要求1或2所述的方法，其中所述第一图像为第一类型的图像并且所述第二图像为第二类型的图像，并且其中所述第一类型的图像与所述第二类型的图像不同。5.根据权利要求1或3所述的方法，其中所述第一图像为第一类型的图像并且所述第二图像为第二类型的图像，并且其中所述第一类型的图像与所述第二类型的图像相同。6.根据权利要求1至5中任一项所述的方法，其中所述第一特征与所述第二特征不同。7.根据权利要求1至5中任一项所述的方法，其中所述第一特征与所述第二特征相同。8.根据权利要求2或3所述的方法，其中所述第一医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描、正电子发射断层扫描、光声断层扫描、X射线、超声波扫描或其组合，并且其中所述第二医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描、正电子发射断层扫描、光声断层扫描、X射线、超声波扫描或其组合。9.根据权利要求4或5所述的方法，其中所述第一类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声断层扫描图像、X射线图像、超声波扫描图像或其组合，并且其中所述第二类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声断层扫描图像、X射线图像、超声波扫描图像或其组合。10.根据权利要求6或7所述的方法，其中所述第一特征为分数各向异性对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合，并且其中所述第二特征为分数各向异性对比
U
‑
Net模型。22.根据权利要求21所述的方法，其中所述修改的3D U
‑
Net模型包括总数在5,000,000个与12,000,000个之间的可学习的参数。23.根据权利要求21或22所述的方法，其中所述修改的3D U
‑
Net模型包括总数在800个与1,700个之间的内核。24.根据权利要求1至23中任一项所述的方法，其进一步包括：基于围绕所述目的对象的所述估计的边界来确定所述目的对象的尺寸、表面积和/或体积；以及提供：(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积。25.根据权利要求24所述的方法，其进一步包括：由用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积来确定所述受试者的诊断。26.根据权利要求1至23中任一项所述的方法，其进一步包括：由用户使用成像系统获取所述受试者的所述医学图像，其中所述成像系统使用所述一种或多种医学成像方式来生成所述医学图像；基于围绕所述目的对象的所述估计的分割边界来确定所述目的对象的尺寸、表面积和/或体积；提供：(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的所述尺寸、表面积和/或体积；由所述用户接收(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的所述尺寸、表面积和/或体积；以及由所述用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积来确定所述受试者的诊断。27.根据权利要求25或26所述的方法，其进一步包括由所述用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分，(ii)所述目的对象的尺寸、表面积和/或体积，和/或(iii)所述受试者的所述诊断来以化合物施用治疗。28.一种用于分割医学图像内的对象的系统，其包括：一个或多个数据处理器；以及非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包含指令，所述指令在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下项的动作：获得受试者的医学图像，所述医学图像包括具有第一特征的第一图像和具有第二特征的第二图像，其中所述医学图像使用一种或多种医学成像方式生成；使用定位模型将所述第一图像内的对象定位并且分类为多个对象类别，其中所述分类将所述第一图像的像素或体素的集合分配至所述多个对象类别中的一个或多个中；使用所述定位模型，基于分配有所述多个对象类别中的对象类别的像素或体素的集合来确定用于所述第一图像内的目的对象的边界框或分割掩膜；将所述边界框或所述分割掩膜转移到所述第二图像上，以限定所述第二图像的包括所
述目的对象的部分；将所述第二图像的所述部分输入三维神经网络模型中，所述三维神经网络模型被构建用于使用加权损失函数进行体积分割；使用所述三维神经网络模型生成围绕所述目的对象的估计的分割边界；以及使用所述三维神经网络输出所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分。29.根据权利要求28所述的系统，其中所述一种或多种医学成像方式包括第一医学成像方式以及与所述第一医学成像方式不同的第二医学成像方式，并且其中所述第一图像由所述第一医学成像方式生成，并且所述第二图像由所述第二医学成像方式生成。30.根据权利要求28所述的系统，其中所述一种或多种医学成像方式包括第一医学成像方式以及与所述第一医学成像方式相同的第二医学成像方式，并且其中所述第一图像由所述第一医学成像方式生成，并且所述第二图像由所述第二医学成像方式生成。31.根据权利要求28或29所述的系统，其中所述第一图像为第一类型的图像并且所述第二图像为第二类型的图像，并且其中所述第一类型的图像与所述第二类型的图像不同。32.根据权利要求28或31所述的系统，其中所述第一图像为第一类型的图像并且所述第二图像为第二类型的图像，并且其中所述第一类型的图像与所述第二类型的图像相同。33.根据权利要求28至32中任一项所述的系统，其中所述第一特征与所述第二特征不同。34.根据权利要求28至33中任一项所述的系统，其中所述第一特征与所述第二特征相同。35.根据权利要求29或30所述的系统，其中所述第一医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描、正电子发射断层扫描、光声断层扫描、X射线、超声波扫描或其组合，并且其中所述第二医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描、正电子发射断层扫描、光声断层扫描、X射线、超声波扫描或其组合。36.根据权利要求31或32所述的系统，其中所述第一类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声断层扫描图像、X射线图像、超声波扫描图像或其组合，并且其中所述第二类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声断层扫描图像、X射线图像、超声波扫描图像或其组合。37.根据权利要求33或34所述的系统，其中所述第一特征为分数各向异性对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合，并且其中所述第二特征为分数各向异性对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合。38.根据权利要求28所述的系统，其中所述一种或多种医学成像方式为弥散张量成像，所述第一图像为分数各向异性(FA)图，所述第二图像为平均弥散率(MD)图，所述第一特征为分数各向异性对比度，所述第二特征为平均弥散率对比度，并且所述目的对象为所述受
试者的肾。39.根据权利要求28至38中任一项所述的系统，其中所述将所述第一图像内的对象定位并且分类包括将一种或多种聚类算法应用于所述第一图像的多个像素或体素。40.根据权利要求39所述的系统，其中所述一种或多种聚类算法包括k均值算法，所述k均值算法将观察结果分配给与所述多个对象类别相关联的聚类。41.根据权利要求40所述的系统，其中所述一种或多种聚类算法进一步包括期望最大化算法，所述期望最大化算法基于一种或多种概率分布来计算聚类成员的概率，并且其中所述k均值算法通过估计所述多个对象类别中的每个对象类别的初始参数来初始化所述期望最大化算法。42.根据权利要求28至41中任一项所述的系统，其中确定所述分割掩膜，并且所述确定所述分割掩膜包括：使用分配有所述对象类别的所述像素或体素的集合来识别所述目的对象的种子位置；通过将所述种子位置投影到代表所述分割掩膜的深度的z轴来增长所述种子位置；以及基于投影的种子位置来确定所述分割掩膜。43.根据权利要求42所述的系统，其中确定所述分割掩膜进一步包括在所述分割掩膜上执行形态闭合和填充。44.根据权利要求42或43所述的系统，其中所述动作进一步包括在将所述第二图像的所述部分输入所述三维神经网络模型中之前基于所述对象掩膜加余量来裁剪所述第二图像，以生成所述第二图像的所述部分。45.根据权利要求28至44中任一项所述的系统，其中所述动作进一步包括在将所述第二图像的所述部分输入所述三维神经网络模型中之前将所述第二图像输入深度超分辨率神经网络中，以增加所述第二图像的所述部分的分辨率。46.根据权利要求28至45中任一项所述的系统，其中所述三维神经网络模型包括使用训练数据集识别的多个模型参数，所述训练数据集包括：多个医学图像，所述多个医学图像具有与围绕目的对象的分割边界相关联的注释；以及多个附加医学图像，所述多个附加医学图像具有与围绕目的对象的分割边界相关联的注释，其中所述多个附加医学图像通过...

【专利技术属性】
技术研发人员：L，
申请(专利权)人：豪夫迈，
类型：发明
国别省市：