用深度图像到图像网络和对抗网络的跨域图像分析和合成制造技术

公开了使用深度图像到图像网络和对抗网络的用于跨域医学图像分析和跨域医学图像合成的方法和装置。在用于跨域医学图像分析的方法中，接收患者的来自第一域的医学图像。将医学图像输入到跨域深度图像到图像网络（DI2IN）的第一编码器，所述DI2IN包括用于第一域的第一编码器、用于第二域的第二编码器、和解码器。第一编码器将医学图像转换为特征图，并且解码器从特征图生成输出图像，所述输出图像提供医学图像分析任务的结果。至少部分地基于第一编码器从来自第一域的训练图像生成的特征图与第二编码器从来自第二域的训练图像生成的特征图的相似性来一起训练第一编码器和第二编码器，并训练解码器以从第一编码器或第二编码器生成的特征图生成输出图像。

Cross-domain image analysis and synthesis from depth image to image network and countermeasure network

【技术实现步骤摘要】
用深度图像到图像网络和对抗网络的跨域图像分析和合成
技术介绍
本专利技术涉及跨域医学图像分析和医学图像的跨域合成，并且更具体地，涉及使用深度学习网络的跨域医学图像分析和跨域医学图像合成。诸如计算机断层扫描（CT）、扩散张量成像（DT1）、T1加权磁共振成像（MRI）、T2加权MRI、超声、X射线、正电子发射断层扫描（PET）等众多成像模态可以用于患者的医学图像分析。这些成像模态中的每个捕获潜在解剖的不同特性并且任何两个模态之间的关系是高度非线性的。这些不同成像技术为医师提供用于作出准确诊断的多变工具和信息。然而，传感器异质性为开发有效的自动图像分析平台造成挑战。特别地，在一个模态上良好工作的算法可能在从不同类型的扫描仪收集的数据上表现得无用。在很多实际医学图像分析问题中，经常遇到这样的情形，在该情形中归因于模态异质性或域变化，可用于训练（例如可用于基于机器学习的解剖学对象检测）的医学图像数据具有与测试期间给定的医学图像数据不同的分布或表示。归因于跨模态的图像特性中的变化，利用来自一个模态的数据所训练的医学图像分析算法在被应用到来自不同模态的医学图像数据时可能无法良好工作。解决该问题的一种方式是从每个成像模态收集大量训练数据。然而，由于收集医学图像经常是耗时且昂贵的，因此该解决方案是不切实际的。跨模态合成从给定源模态图像生成在期望目标模态中的医学图像，在没有实际采集的情况下合成医学图像的能力具有诸如图谱构造、虚拟增强、多模态配准和分割之类的很多潜在应用。已经提出了用于跨模态合成的各种方案，但是这类方案通常针对特定应用或基于各种启发法而定制。
技术实现思路
本专利技术提供用于自动化的基于计算机的跨域医学图像分析和医学图像的跨域合成的方法和系统。在本专利技术的一个实施例中，一种用于在患者的医学图像上自动执行基于跨域的医学图像分析的方法包括：接收患者的来自第一域的医学图像；将患者的医学图像输入到跨域深度图像到图像网络的第一编码器，所述跨域深度图像到图像网络包括用于第一域的第一编码器、用于第二域的第二编码器以及解码器；以及由将来自第一域的输入医学图像转换为特征图的第一编码器和从第一编码器生成的特征图生成输出图像的解码器，使用跨域深度图像到图像网络自动生成输出图像，所述输出图像提供输入医学图像上的目标医学图像分析任务的结果。至少部分地基于由第一编码器从来自第一域的训练输入图像生成的特征图和由第二编码器从来自第二域的训练输入图像生成的特征图的相似性，来一起训练用于第一域的第一编码器与用于第二域的第二编码器。训练解码器以从第一编码器生成的特征图和第二编码器生成的特征图生成输出图像。在本专利技术的另一个实施例中，一种用于训练用于跨域双边医学图像合成的深度神经网络的方法，包括：接收第一域的第一组训练图像和在第二域中的第二组训练图像；以及基于第一域的第一组训练图像和第二域的第二组训练图像训练双边生成性对抗网络，所述双边生成性对抗网络包括：第一生成器网络，其用于从第一域的输入医学图像生成第二域的合成医学图像；第二生成器网络，其用于从第二域的输入医学图像生成第一域的合成医学图像；第一鉴别器网络，其用于在第一域的真实训练图像和第二生成器网络从第二域的训练图像生成的第一域的合成医学图像之间进行区分；以及第二鉴别器网络，其用于在第二域的真实训练图像和第一生成器网络从第一域的训练图像生成的第二域的合成医学图像之间进行区分。双边生成性对抗网络的训练奖励第一域的训练图像和第二生成器网络从第一生成器网络从第一域的训练图像生成的第二域的合成图像生成的第一域的合成图像之间的一致性，以及第二域的训练图像和第一生成器网络从第二生成器网络从第二域的训练图像生成的第一域的合成图像生成的第二域的合成图像之间的一致性。通过参考以下详细描述和附图，本专利技术的这些和其他优点对于本领域普通技术人员而言将是清楚的。附图说明图1图示了根据本专利技术的实施例的用于医学图像分析的深度图像到图像网络（DI2IN）；图2图示了用于图像生成的生成性对抗网络；图3图示了使用跨域深度图像到图像网络的用于自动跨域医学图像分析的方法；图4图示了根据本专利技术的实施例的具有对抗网络的跨域DI2IN；图5图示了根据本专利技术的实施例的用于训练跨域DI2IN和对抗网络的方法；图6图示了根据本专利技术的实施例的用于跨域医学图像合成的生成性对抗网络（GAN）；图7图示了根据本专利技术的实施例的用于跨域双边医学图像合成的方法；图8图示了根据本专利技术的实施例的用于训练用于跨域医学图像合成的深度神经网络的双边GAN；图9图示了根据本专利技术的实施例的用于训练用于跨域双边医学图像合成的深度神经网络的方法；图10图示了根据本专利技术的实施例的使用几何结构保持生成性对抗网络的用于跨域医学图像合成的方法；以及图11是能够实现本专利技术的计算机的高级框图。具体实施方式本专利技术涉及用于基于自动化计算机的跨域医学图像分析和跨域医学图像合成的方法和系统。本文描述本专利技术的实施例以给出跨域医学图像分析和跨域医学图像合成方法的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示构成。本文通常在标识和操控对象方面来描述对象的数字表示。这类操控是在计算机系统的存储器或其他电路/硬件中完成的虚拟操控。因此，要理解，可以在计算机系统内使用存储在计算机系统内的数据来执行本专利技术的实施例。可以使用诸如超声、计算机断层扫描（CT）和磁共振成像（MRI）图像采集设备之类的不同类型的成像设备来获取医学图像。因此，这类医学图像的分析可以从利用来自多个域的共享知识受益。例如，考虑来自医学图像的经分割目标解剖学结构的医学图像分析任务。出现在针对同一患者的CT和MRI图像中的例如肝脏之类的同一解剖学结构共享相同的形态，虽然其外观不同。设计两个独立的分割管道（一个用于CT并且另一个用于MRI）是次优的。本专利技术的实施例提供用于跨域图像分析的基于机器学习的方法。在本专利技术的有利实施例中，深度图像到图像网络和对抗网络用于一起训练深度神经网络，以针对来自不同域的医学图像执行医学图像分析任务，使得来自一个域的知识可以改进另一个域中的医学图像分析任务的性能。当一个域（例如，源域）具有相当大量的带注释数据组并且另一个域（例如，目标域）具有有限量的带注释图像或者极端地没有带注释图像时，本文描述的方法的实际益处出现。在这类情况下，跨域图像分析可以导致在目标域中的更有效的医学图像分析。如本文所使用的，来自不同“域”的医学图像指代来自不同医学成像模态（诸如CT、MRI、超声等）的医学图像以及跨图像域的医学图像（诸如具有不同协议（例如，T1和T2）的MR图像、对比CT图像和非对比CT图像、以低kV捕获的CT图像和以高kV捕获的CT图像、或低和高分辨率医学图像）。即，“第一域”和“第二域”可以是完全不同的医学成像模态或相同整体成像模态内的不同图像域或协议。可以在完全卷积的深度图像到图像网络（DI2IN）学习框架内制定模型估计任务族。在DI2IN中，输入是图像（或多个图像），并且输出也是表示目标医学图像分析任务的结果的相同网格大小的图像。可以应用该框架以执行很多医学图像分析任务。例如，对于界标检测，可以使用在目标界标周围的具有高斯斑点的图像来表示界标。对于图像分割，掩模图像已经处于图像表示格式。如通过引用在其整体上并入本文本文档来自技高网...

【技术保护点】
1.一种用于在患者的医学图像上自动执行基于跨域的医学图像分析的方法，包括：接收患者的来自第一域的医学图像；将所述患者的所述医学图像输入到跨域深度图像到图像网络的第一编码器，所述跨域深度图像到图像网络包括用于所述第一域的所述第一编码器、用于第二域的第二编码器和解码器；以及由将来自所述第一域的所输入医学图像转换为特征图的所述第一编码器和从所述第一编码器生成的特征图生成输出图像的解码器，使用所述跨域深度图像到图像网络自动生成所述输出图像，所述输出图像提供所输入医学图像上的目标医学图像分析任务的结果，其中至少部分地基于由所述第一编码器从来自所述第一域的训练输入图像生成的特征图和由所述第二编码器从来自所述第二域的训练输入图像生成的特征图的相似性，来一起训练用于所述第一域的所述第一编码器与用于所述第二域的所述第二编码器，并且训练所述解码器以从所述第一编码器生成的特征图和所述第二编码器生成的特征图来生成输出图像。

【技术特征摘要】
2018.01.16 US 15/8724081.一种用于在患者的医学图像上自动执行基于跨域的医学图像分析的方法，包括：接收患者的来自第一域的医学图像；将所述患者的所述医学图像输入到跨域深度图像到图像网络的第一编码器，所述跨域深度图像到图像网络包括用于所述第一域的所述第一编码器、用于第二域的第二编码器和解码器；以及由将来自所述第一域的所输入医学图像转换为特征图的所述第一编码器和从所述第一编码器生成的特征图生成输出图像的解码器，使用所述跨域深度图像到图像网络自动生成所述输出图像，所述输出图像提供所输入医学图像上的目标医学图像分析任务的结果，其中至少部分地基于由所述第一编码器从来自所述第一域的训练输入图像生成的特征图和由所述第二编码器从来自所述第二域的训练输入图像生成的特征图的相似性，来一起训练用于所述第一域的所述第一编码器与用于所述第二域的所述第二编码器，并且训练所述解码器以从所述第一编码器生成的特征图和所述第二编码器生成的特征图来生成输出图像。2.根据权利要求1所述的方法，其中所述跨域深度图像到图像网络的用于所述第一域的所述第一编码器、用于所述第二域的所述第二编码器以及所述解码器在对抗网络中与鉴别器网络一起被训练，所述鉴别器网络用于在所述第一编码器从来自所述第一域的训练输入图像生成的特征图和所述第二编码器从来自所述第二域的训练输入图像生成的特征图之间进行区分。3.根据权利要求2所述的方法，其中训练所述第一编码器和所述第二编码器，使得由所述第一编码器从来自所述第一域的训练输入图像生成的特征图具有与由所述第二编码器从来自所述第二域的训练输入图像生成的特征图相似的分布，使得由所述第一编码器和所述第二编码器生成的特征图变得对于所述鉴别器网络不可区分。4.根据权利要求2所述的方法，其中用于所述第一域的所述第一编码器、用于所述第二域的所述第二编码器、所述解码器和所述鉴别器网络被一起训练以迭代地学习针对所述第一编码器、所述第二编码器、所述解码器和所述鉴别器网络的参数来优化最小最大目标函数，所述最小最大目标函数包括与来自所述第一域的地面真值输出图像与使用所述第一编码器和所述解码器从来自所述第一域的训练输入图像预测的输出图像之间的误差相关的第一项、与来自所述第二域的地面真值输出图像与使用所述第二编码器和所述解码器从来自所述第二域的训练输入图像预测的输出图像之间的误差相关的第二项、与所述鉴别器网络对所述第一编码器从来自所述第一域的训练输入图像生成的特征图的分类相关的第三项、以及与所述鉴别器网络对所述第二编码器从来自所述第二域的训练输入图像生成的特征图的分类相关的第四项。5.根据权利要求2所述的方法，还包括：在接收所述患者的所述医学图像之前的训练阶段中，基于来自所述第一域的包括多个训练输入图像的第一组训练样本和对应的地面真值输出图像以及来自所述第二域的包括多个训练输入图像的第二组训练样本和对应的地面真值输出图像，来训练所述第一编码器、所述第二编码器、所述解码器和所述鉴别器网络。6.根据权利要求5所述的方法，其中在接收所述患者的所述医学图像之前的训练阶段中，基于来自所述第一域的包括多个训练输入图像的第一组训练样本和对应的地面真值输出图像以及来自所述第二域的包括多个训练输入图像的第二组训练样本和对应的地面真值输出图像来训练所述第一编码器、所述第二编码器、所述解码器和所述鉴别器网络包括：在多次迭代内迭代训练操作（a）-（d）：（a）在所述第一编码器和所述第二编码器的参数固定的情况下，学习所述鉴别器网络的参数以在所述第一组训练样本上最大化所述鉴别器对所述第一编码器从来自所述第一域的训练输入图像生成的特征图的正分类，并在所述第二组训练样本上最大化所述鉴别器对所述第二编码器从来自所述第二域的训练输入图像生成的特征图的负分类；（b）在所述第一编码器和所述第二编码器的参数固定的情况下，学习所述解码器的参数，学习所述解码器的参数在所述第一组训练样本上最小化来自所述第一域的地面真值输出图像与使用所述第一编码器和所述解码器从来自所述第一域的训练输入图像预测的输出图像之间的误差，并在所述第二组训练样本上最小化来自所述第二域的地面真值输出图像与使用所述第二编码器和所述解码器从来自所述第二域的训练输入图像预测的输出图像之间的误差；（c）在所述解码器和所述鉴别器网络的参数固定的情况下，学习所述第一编码器的参数以在所述第一组训练样本上最小化来自所述第一域的地面真值输出图像与使用所述第一编码器和所述解码器从来自所述第一域的训练输入图像预测的输出图像之间的误差，和所述鉴别器对所述第一编码器从来自所述第一域的训练输入图像生成的特征图的正分类；以及（d）在所述解码器和所述鉴别器网络的参数固定的情况下，学习所述第二编码器的参数以在所述第二组训练样本上最小化来自所述第二域的地面真值输出图像与使用所述第二编码器和所述解码器从来自所述第二域的训练输入图像预测的输出图像之间的误差，并最大化所述鉴别器对所述第二编码器从来自所述第二域的训练输入图像生成的特征图的正分类。7.根据权利要求6所述的方法，其中在所述多次迭代中的每次迭代中，并行执行训练操作（a）和（b），并且并行执行训练操作（c）和（d）。8.根据权利要求1所述的方法，还包括：接收来自所述第二域的第二医学图像；将所述第二医学图像输入到所述跨域深度图像到图像网络的所述第二编码器；以及由将来自所述第二域的所输入第二医学图像转换为特征图的所述第二编码器和从所述第二编码器生成的特征图生成第二输出图像的所述解码器，使用所述跨域深度图像到图像网络自动生成所述第二输出图像，所述第二输出图像提供所述第二医学图像上的所述目标医学图像分析任务的结果。9.一种用于在患者的医学图像上自动执行基于跨域的医学图像分析的装置，包括：处理器；以及存储计算机程序指令的存储器，所述指令当由所述处理器执行时引起所述处理器执行操作，所述操作包括：接收患者的来自第一域的医学图像；将所述患者的所述医学图像输入到跨域深度图像到图像网络的第一编码器，所述跨域深度图像到图像网络包括用于所述第一域的所述第一编码器、用于第二域的第二编码器和解码器；以及由将来自所述第一域的所输入医学图像转换为特征图的所述第一编码器和从所述第一编码器生成的特征图生成输出图像的所述解码器，使用所述跨域深度图像到图像网络自动生成所述输出图像，所述输出图像提供所输入医学图像上的目标医学图像分析任务的结果，其中至少部分地基于由所述第一编码器从来自所述第一域的训练输入图像生成的特征图和由所述第二编码器从来自所述第二域的训练输入图像生成的特征图的相似性，来一起训练用于所述第一域的所述第一编码器与用于所述第二域的所述第二编码器，并且训练所述解码器以从所述第一编码器生成的特征图和所述第二编码器生成的特征图来生成输出图像。10.根据权利要求9所述的装置，其中所述跨域深度图像到图像网络的用于所述第一域的所述第一编码器、用于所述第二域的所述第二编码器以及所述解码器在对抗网络中与鉴别器网络一起被训练，所述鉴别器网络用于在所述第一编码器从来自所述第一域的训练输入图像生成的特征图和所述第二编码器从来自所述第二域的训练输入图像生成的特征图之间进行区分。11.根据权利要求10所述的装置，其中训练所述第一编码器和所述第二编码器，使得由所述第一编码器从来自所述第一域的训练输入图像生成的特征图具有与由所述第二编码器从来自所述第二域的训练输入图像生成的特征图相似的分布，使得由所述第一编码器和所述第二编码器生成的特征图变得对于所述鉴别器网络不可区分。12.根据权利要求10所述的装置，其中所述操作还包括：通过在多次迭代内迭代训练操作（a）-（d），基于来自所述第一域的包括多个训练输入图像的第一组训练样本和对应的地面真值输出图像以及来自所述第二域的包括多个训练输入图像的第二组训练样本和对应的地面真值输出图像，来训练所述第一编码器、所述第二编码器、所述解码器和所述鉴别器网络：（a）在所述第一编码器和...

【专利技术属性】
技术研发人员：周少华，苗舜，廖芮，A塔伊苏佐卢，郑冶枫，
申请(专利权)人：西门子保健有限责任公司，
类型：发明
国别省市：德国,DE