医学成像转换方法和相关联的医学成像3D模型个性化方法技术

本发明专利技术涉及一种医学成像转换方法，其自动进行以下转换：使用一个卷积神经网络(CNN)或一组卷积神经网络(CNN)(27)通过单个操作将至少包含患者的第一解剖结构(21)和所述患者的第二解剖结构(22)的所述患者的至少一个或多个真实x射线图像(16)转换为表示所述第一解剖结构(24)而不表示所述第二解剖结构(26)的所述患者的至少一个数字重建射线照片(DRR)(23)，所述CNN经初步训练以兼备或同时实现以下各者：区分所述第一解剖结构(21)与所述第二解剖结构(22)，以及将真实x射线图像(16)转换为至少一个数字重建射线照片(DRR)(23)。为至少一个数字重建射线照片(DRR)(23)。为至少一个数字重建射线照片(DRR)(23)。

【技术实现步骤摘要】
【国外来华专利技术】医学成像转换方法和相关联的医学成像3D模型个性化方法


[0001]本专利技术涉及医学成像转换方法。
[0002]本专利技术还涉及使用此些医学成像转换方法的相关联的医学成像3D模型个性化方法。

技术介绍

[0003]根据US 2019/0259153中相对于医学成像转换方法所公开的现有技术，已知一种通过生成式对抗网络(GAN)将患者的真实x射线图像变换为数字重建射线照片(DRR)的方法。
[0004]然而，所获得的数字重建射线照片(DRR)呈现两个特征：
[0005]第一，其包含在由所述生成式对抗网络(GAN)变换之前起始x射线图像中存在的所有器官。
[0006]第二，如果需要特定器官的像素分段，则在后续分段步骤中通过另一专用卷积神经网络(CNN)[见US 2019/0259153，第1页
§
5和第4页
§
51]从所获得的数字重建射线照片(DRR)执行此操作。
[0007]根据本专利技术，这被视为相当复杂且不够有效的，因为患者身体的某一器官内或某一区内存在若干且常常甚至许多不同的解剖结构。
[0008]所述不同的解剖结构，不论是器官还是器官部分还是多组器官，都有在数字重建射线照片(DRR)中重叠的风险，因为其表示3D结构的平面投影视图。

技术实现思路

[0009]本专利技术的目标是至少部分地缓解上文提及的缺点。
[0010]与所列举的现有技术形成对比，根据本专利技术的精神，在双DRR图像匹配过程中，每一DRR表示唯一的器官或器官的唯一解剖部分以避免邻近或叠加的器官或器官结构上的失配，被视为是有益的。
[0011]然而，在现有技术中，变换过程不允许针对重叠器官区的此结构隔离，因为由包含所有器官的全局所获DRR的分段产生的像素分类不足以辨别属于每一器官或属于每一器官结构的DRR图像信号的相应的量。因此，后续从全局所获DRR提取各自表示仅一个器官的区域性DRR是不可能的，至少在不损失有效信号的前提下是不可能的。
[0012]因此，根据本专利技术，提出一种通过单个生成式对抗网络(GAN)将患者的真实x射线图像变换为单个区域性数字重建射线照片(DRR)或一组区域性数字重建射线照片(DRR)的方法，所述GAN同时实现以下各者：
[0013]从通过直接在原始3D体积中隔离结构而生成的DRR训练，
[0014]同时产生一组若干DRR，其中的每一个聚焦于仅一个所关注的解剖结构；或产生一个DRR，但其仅聚焦于所关注的一个解剖结构，排除其它解剖结构，
[0015]经由单个且唯一GAN的单个操作进行，因此同时优化转变功能和结构分离功能
两者。
[0016]利用一种医学成像转换方法来实现此目标，所述医学成像转换方法自动进行以下转换：使用一个卷积神经网络(CNN)或一组卷积神经网络(CNN)通过单个操作将至少包含患者的第一解剖结构和所述患者的第二解剖结构的所述患者的至少一个或多个真实x射线图像转换为表示所述第一解剖结构而不表示所述第二解剖结构的所述患者的至少一个数字重建射线照片(DRR)，所述CNN经初步训练以兼备或同时实现以下各者：区分所述第一解剖结构与所述第二解剖结构，以及将真实x射线图像转换为至少一个数字重建射线照片(DRR)。
[0017]优选地，根据本专利技术的医学成像转换方法还自动进行以下转换：通过所述相同的单个操作将所述患者的所述真实x射线图像转换为表示所述第二解剖结构而不表示所述第一解剖结构的所述患者的至少另一数字重建射线照片(DRR)，其中所述一个卷积神经网络(CNN)或所述一组卷积神经网络(CNN)经初步训练以兼备或同时实现以下各者：区分所述第一解剖结构与所述第二解剖结构，以及将真实x射线图像转换为至少两个数字重建射线照片(DRR)。
[0018]这意味着，通过包含转变功能和结构分离功能两个步骤的单个转换操作，通过单个卷积神经网络或一起链接到其上的一组卷积神经网络，从表示若干不同器官或者一个器官或若干组器官的若干不同部分的一个全局x射线图像获得若干区域性DRR图像，所述一组卷积神经网络分别对应于且分别表示这些若干不同器官或者一个器官或若干组器官的若干不同部分。
[0019]这允许每一不同器官或者一个器官或每一组器官的每一不同部分与所有其它不同器官或者一个器官或所有其它组器官的所有其它不同部分分开表示，而不会在这些若干不同器官或者一个器官或若干组器官的若干不同部分之间存在一些重叠或真实x射线图像上可存在一些重叠或经转换全局DRR上将存在一些重叠的区中损失有效信息。
[0020]实际上，一旦从一个或多个真实x射线图像获得全局DRR，若干不同器官或者一个器官或若干组器官的若干不同部分之间的重叠就不再可在不损失有效信息的前提下撤消，这些重叠的若干不同器官或者一个器官或若干组器官的若干不同部分就不再可在不损失有效信息的前提下彼此分离，因为在DRR上，即在此经转换DRR域中的图像上，这些重叠的若干不同器官或者一个或若干组器官的若干不同部分全部不可分离地混合在一起，任何特定像素都是来自这些重叠的若干器官器官或者一个器官或若干组器官的若干不同部分的不同贡献的混合物，没有任何方式来随后在这些不同贡献之间进行区分，或至少随后在这些不同贡献之间进行区分存在极大困难，无论如何都会导致不能令人满意的结果。
[0021]因此，本专利技术的此实施方案执行独特简单且更有效的方式，不仅将来自第一域的图像(例如，x射线图像)转变到第二域(例如，DRR)，而且分离原本重叠的若干不同器官或者一个器官或若干组器官的若干不同部分而不损失有效信息，即不会使原始图像质量大大降级。
[0022]这些若干不同器官或者一个器官或若干组器官的若干不同部分是不同解剖结构的示例。
[0023]还利用一种医学成像转换方法来实现此目标，所述医学成像转换方法自动进行以下转换：使用一个卷积神经网络(CNN)或一组卷积神经网络(CNN)通过单个操作将至少包含
患者的第一解剖结构和所述患者的第二解剖结构的所述患者的至少一个或多个真实x射线图像转换为所述患者的至少第一和第二数字重建射线照片(DRR)：所述第一数字重建射线照片(DRR)表示所述第一解剖结构而不表示所述第二解剖结构，所述第二数字重建射线照片(DRR)表示所述第二解剖结构而不表示所述第一解剖结构，所述CNN经初步训练以兼备或同时实现以下各者：区分所述第一解剖结构与所述第二解剖结构，以及将真实x射线图像转换为至少两个数字重建射线照片(DRR)。
[0024]利用一种医学成像转换方法来实现另一类似目标，所述医学成像转换方法自动进行以下转换：使用一个卷积神经网络(CNN)或一组卷积神经网络(CNN)通过单个操作将至少包含患者的第一解剖结构和所述患者的第二解剖结构的第一域中的所述患者的至少一个或多个图像转换为表示所述第一解剖结构而不表示所述第二解剖结构的第二域中的所述患者的至少一图像，所述CNN经初步训练以兼备或同时实现以下各者：区分所述第一解剖结构与所述第二解剖结构，以及将第本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种医学成像转换方法，其自动进行以下转换：至少包含患者的第一解剖结构(21)和所述患者的第二解剖结构(22)的所述患者的至少一个或多个真实x射线图像(16)，转换为表示所述第一解剖结构(24)而不表示所述第二解剖结构(26)的所述患者的至少一个数字重建射线照片(DRR)(23)，使用一个卷积神经网络(CNN)或一组卷积神经网络(CNN)(27)通过单个操作，所述CNN经初步训练以兼备或同时实现以下各者：
○
区分所述第一解剖结构(21)与所述第二解剖结构(22)，
○
以及将真实x射线图像(16)转换为至少一个数字重建射线照片(DRR)(23)。2.根据权利要求1所述的医学成像转换方法，其特征在于，其还自动进行以下转换：所述患者的所述真实x射线图像(16)，转换为表示所述第二解剖结构(26)而不表示所述第一解剖结构(24)的所述患者的至少另一数字重建射线照片(DRR)(25)，通过所述相同的单个操作，其中所述一个卷积神经网络(CNN)或所述一组卷积神经网络(CNN)(27)经初步训练以兼备或同时实现以下各者：
○
区分所述第一解剖结构(21)与所述第二解剖结构(22)，
○
以及将真实x射线图像(16)转换为至少两个数字重建射线照片(DRR)(23、25)。3.一种医学成像转换方法，其自动进行以下转换：至少包含患者的第一解剖结构(21)和所述患者的第二解剖结构(22)的所述患者的至少一个或多个真实x射线图像(16)，转换为所述患者的至少第一(23)和第二(25)数字重建射线照片(DRR)：
○
所述第一数字重建射线照片(DRR)(23)表示所述第一解剖结构(24)而不表示所述第二解剖结构(26)，
○
所述第二数字重建射线照片(DRR)(25)表示所述第二解剖结构(26)而不表示所述第一解剖结构(25)，使用一个卷积神经网络(CNN)或一组卷积神经网络(CNN)(27)通过单个操作，所述CNN经初步训练以兼备或同时实现以下各者：
○
区分所述第一解剖结构(21)与所述第二解剖结构(22)，
○
以及将真实x射线图像(16)转换为至少两个数字重建射线照片(DRR)(23、25)。4.根据前述权利要求中任一项所述的医学成像转换方法，其特征在于，所述一个卷积神经网络(CNN)或所述一组卷积神经网络(CNN)为单个生成式对抗网络(GAN)(27)。5.根据权利要求4所述的医学成像转换方法，其特征在于，所述单个生成式对抗网络(GAN)(27)为U
‑
Net GAN或残差
‑
Net GAN。6.根据前述权利要求中任一项所述的医学成像转换方法，其特征在于，所述患者的所述真实x射线图像(16)是x射线成像设备对所述患者的直接捕获。7.根据前述权利要求中任一项所述的医学成像转换方法，其特征在于：所述患者的所述第一(21)和第二(22)解剖结构是如下解剖结构：其
○
在所述真实x射线图像(16)上彼此相邻，
○
乃至在所述真实x射线图像(16)上彼此邻近，
○
乃至在所述真实x射线图像(16)上彼此接触，
○
乃至在所述真实x射线图像(16)上至少部分叠加。8.根据前述权利要求中任一项所述的医学成像转换方法，其特征在于，所述至少两个数字重建射线照片(DRR)(23、25)中的仅一个(23)能用于进一步处理。9.根据权利要求1至7中任一项所述的医学成像转换方法，其特征在于，所述至少两个数字重建射线照片(DRR)(23、25)全部可用于进一步处理。10.根据前述权利要求中任一项所述的医学成像转换方法，其特征在于：患者的所述真实x射线图像(151a)包含所述患者的至少三个解剖结构，并且优选地所述患者的仅三个解剖结构，所述真实x射线图像(151a)通过所述单个操作转换为分别表示所述至少三个解剖结构的至少三个单独的数字重建射线照片(DRR)(151b、152b、153b)，所述数字重建射线照片(DRR)中的每一个表示所述解剖结构中的仅一个而不表示所述解剖结构中的任何其它解剖结构；以及优选地转换为分别表示仅所述三个解剖结构的仅三个单独的数字重建射线照片(DRR)。11.根据权利要求1至10中任一项所述的医学成像转换方法，其特征在于：所述一个卷积神经网络(CNN)或所述一组卷积神经网络(CNN)(27)已通过以下的训练群组的集合初步训练：
○
一个真实x射线图像(16)，
○
以及各自表示所述解剖结构(21、22)中的仅一个但不表示所述患者的其它解剖结构的至少一个或多个相应的数字重建射线照片(DRR)(23、25)。12.根据权利要求1至10中任一项所述的医学成像转换方法，其特征在于：所述一个卷积神经网络(CNN)或所述一组卷积神经网络(CNN)(27)已通过以下的集合初步训练：
○
真实x射线图像(16)，
○
以及至少一个或多个数字重建射线照片(DRR)(23、25)的若干子集，所述数字重建射线照片(DRR)中的每一个表示所述解剖结构(21、22)中的仅一个但不表示所述患者的其它解剖结构。13.根据权利要求1至10中任一项所述的医学成像转换方法，其特征在于：所述一个卷积神经网络(CNN)或所述一组卷积神经网络(CNN)(27)已通过以下的训练群组的集合初步训练：
○
一个正面真实x射线图像和一个侧面真实x射线图像两者(16)，
○
以及正面和侧面相应数字重建射线照片(DRR)(23、25)的至少一个或多个子集，每一所述子集表示所述解剖结构(21、22)中的仅一个但不表示所述患者的其它解剖结构。14.根据权利要求11至13中任一项所述的医学成像转换方法，其特征在...

【专利技术属性】
技术研发人员：本杰明，
申请(专利权)人：EOS成像公司，
类型：发明
国别省市：