一种生成钆造影剂增强磁共振图像的方法技术

本发明专利技术涉及一种从非对比增强磁共振图像到打造影剂后对比增强磁共振图像的图像生成方法。该方法在不打入钆造影剂的情况下从非对比增强图像经过生成对抗网络得到对比增强后图像。从而在满足临床诊断需求同时减少打钆造影剂带来的时间、费用成本，降低打造影剂带来的潜在危害(对肾功能差的患者打钆造影剂可能引发肾源性纤维化)，同时规避患者对造影剂过敏而无法进行检查的情况。网络生成的图像质量经过图像质量评价指标和临床应用指标进行综合评价。合评价。合评价。

【技术实现步骤摘要】
一种生成钆造影剂增强磁共振图像的方法


[0001]本专利技术涉及图像到图像的生成对抗网络，更具体地，是一种从非对比增强磁共振图像到打造影剂后对比增强磁共振图像的图像生成方法。

技术介绍

[0002]打入造影剂的磁共振图像(目前临床上常用的为钆造影剂)可以帮助临床医生进行诊断或者肿瘤的分级，是常见的影像检查方法。但是打造影剂在影像检查中存在一些局限性，首先，对造影剂过敏的患者在注射了造影剂后会出现不同程度的过敏反应，严重者甚至可能威胁生命；其次，有研究发现造影剂会造成肾源性纤维化。除此之外，打造影剂会增加影像检查的时间和费用成本。
[0003]生成对抗网络(GAN)是2014年被提出的图像生成网络技术，它由一个生成器和一个判别器组成，生成器用于从真实图像中学习复杂的数据分布从而生成接近真实的图像，判别器用于鉴别真实的图像和生成后的图像。生成器的训练目的是判别器的犯错率最大化，判别器的训练目的是自己的犯错率最小化，二者相互对抗最终达到纳什平衡。在原始的GAN中，输入为随机的噪声，所以无法控制生成的内容。但条件GAN的提出使得可以将条件输入y添加到随机噪声z中，以便生成的图像由G(z,y)定义，该技术以图像作为条件y，实现从非对比增强图像到对比增强图像的生成。
[0004]强直性脊柱炎(AS)是一种病因不明的慢性炎症性疾病。早期一般仅表现为慢性腰背痛，主要累及骶髂关节和中轴骨，亦可出现外周关节受累。晚期可因脊柱和外周关节的骨化而导致驼背或跛行，患者发生骶骼关节僵直或者脊柱畸形后病情是不可逆转的。因此，通过影像学检查以达到早发现早治疗的目的是必要的。骶髂关节是强直性脊柱炎首先受累的部位，放射学是现阶段骶骼关节炎诊断的主要方法，但多数患者于症状发生5
‑
7年后肯定的放射学表现骶髂关节炎才会出现，MRI能大幅度提高早期骶骼关节病变诊断率：能够清晰地显示骨髓水肿、软骨变化等早期骶骼关节病变表现，与CT、X射线平片等检查手段相比较，敏感性显著提升。强直性脊柱炎分为活动期和慢性期。活动性时表现为炎性病变，加入对比剂(钆)的T1加权脂肪抑制序列可以检测活动性炎症改变。因此可以用对比增强序列来区分强直性脊柱炎的活动期和非活动期。
[0005]在进行对比增强图像的生成时，对比剂造成的增强区域大小往往是不规则的且病灶形状也不同，为了不丢失病灶的细节信息并且令网络可以更广泛地应用于不同病灶大小的对比增强生成，需要进行多尺度的信息提取。当多尺度特征被提取出来后，用注意力机制来强调重要的特征，并将其融合获得注意力地图。这样就可以在全局视图中利用上下文信息并且更加注意重要的特征，提高生成效果。
[0006]目前已有一个研究实现了从肝脏非对比增强的T1MRI图像到对比增强T1MRI图像的生成。该研究利用生成后的图像实现了肝癌和血管瘤的鉴别诊断。但是该研究所关注的病灶周围的解剖结构简单且病灶区域明显，所以网络在生成对比增强图像时受到的干扰因素较小。但是，临床上很多病灶周围都有许多复杂的解剖结构且病灶的形状和大小都会由
于病情的进程而不同，这些因素都是生成网络在进行图像生成特别是病灶区域生成时候面临的挑战，而在临床上往往是病灶区域的增强程度影响医生的诊断。因此该专利技术在网络中加入了多尺度模块更好地提取由于不同形状和大小的造成的病灶的多尺度特征。

技术实现思路

[0007]有鉴于此，本专利技术要实现一种从非对比增强磁共振图像到打造影剂后对比增强磁共振图像的图像生成方法。达到在不打入造影剂的情况下能直接从非对比增强图像得到对比增强图像，满足临床诊断需求同时减少打造影剂的时间和费用成本，减少打造影剂的风险。
[0008]为了实现上述目的，本专利技术提供了如下技术方案：一个基于多尺度注意力生成对抗网络，通过配对的非对比增强磁共振图像和对比增强磁共振图像训练图像生成对抗网络，在不打入造影剂的情况下直接从非对比增强图像生成对比增强后图像，包括以下步骤：
[0009]步骤1：准备配对的非对比增强磁共振图像和对比增强磁共振图像，删除由于注射造影剂时的操作失误导致的造影剂泄露至非病灶区域的图像和图像质量差的图像，并且保证输入的配对图像在解剖结构上尽量一致且没有较大的位移，将临床Dicom格式的图像数据转成可肉眼观察的jpeg格式；
[0010]步骤2：将样本集划分为两个部分，分别是训练集和测试集，保证两个部分的图像互不包含，且不同部分不含有相同患者的图片；
[0011]步骤3：使用基于pix2pix即条件生成对抗网络的网络架构搭建生成对抗模型，在生成器中，输入真实的非增强图像作为条件，在生成器中融入多尺度注意力模块，使得生成网络在全局视图中能够利用上下文信息,将多尺度注意力模块输出的多个特征输入一个注意力模块，该模块通过计算各个特征之间的相关性计算出各个通道的权重，使得模型能够更加注意与图像对比增强相关的特征，判别器的输入为生成的对比增强图像和真实的对比增强图像，输出为输入图像是否为真实图像的判定，生成器和判别器在相互对抗中学习提高生成图像的质量，以峰值信噪比即PSNR为图像质量评价指标评价生成图像与真实图像之间的差异，选择训练集上选择PSNR值最高的模型为最佳模型作为测试集数据的测试；
[0012]步骤4：将生成的图像放入分类网络中进行非活动期和活动期病灶的分类，得到生成图像的临床应用评价指标。
[0013]优选的，在步骤3中，还包括多尺度特征提取模块，其是将图像输入多条平行路径，每条路径都经过不同卷积核大小的卷积层从而得到不同尺度不同感受野的特征图，然后对特征图进行聚合生成预测分割。
[0014]优选的，在步骤1中，使用图像刚性配准将非增强图像与增强图像进行配准，保证两张配对图像在解剖结构上没有较大的偏移。
[0015]优选的，在步骤3中，多尺度特征提取模块中的一条路径采用空洞卷积，通过扩大感受野的方法有效地进行多尺度特征的提取。
[0016]优选的，基于注意力模块对提取后的特征进行加权，加强与增强相关的特征的重要性，实现多尺度特征的有效融合。
[0017]优选的，在步骤3中，生成器在下采样以后经过六个残差模块，每个残差块都由两条通路组成，主路经过两个卷积块，每个卷积块由一个卷积层，一个Batchnormation层和一
个Relu激活层组成，在两个卷积块中间加入了Dropout层用于防止模型的过拟合。
[0018]优选的，对生成式对抗网络训练时，生成器和判别器都采用Adam优化器进行优化，初始学习率设置为0.002训练三百个epoch之后，每个epoch的学习率都采用线性衰减的方法逐渐衰减至0。
[0019]优选的，对生成式对抗网络训练时，计算生成器和判别器的损失函数时采用光滑的标签，即如果两个目标标签:Real＝1和Fake＝0，那么对于每个传入的样本，如果它是真实的，那么用0.7到1.2之间的随机数替换标签，如果它是假样本，则用0.0和0.3替换它。
[0020]优选的，本申请也涉及一种用钆造影剂增强后的磁共振图像生成装置，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成钆造影剂增强磁共振图像的方法，通过配对的非对比增强磁共振图像和对比增强磁此共振图像训练图像生成对抗网络，在不打入造影剂的情况下直接从非对比增强图像得到对比增强图像，其特征在于包括以下步骤：步骤1：准备配对的非对比增强磁共振图像和对比增强磁共振图像，删除由于注射造影剂时的操作失误导致的造影剂泄露至非病灶区域的图像和图像质量差的图像，并且保证输入的配对图像在解剖结构上尽量一致且没有较大的位移，将临床Dicom格式的图像数据转成可肉眼观察的jpeg格式；步骤2：将样本集划分为两个部分，分别是训练集和测试集，保证两个部分的图像互不包含，且不同部分不含有相同患者的图片；步骤3：使用基于pix2pix即条件生成对抗网络的网络架构搭建生成对抗模型，在生成器中，输入真实的非对比增强磁共振图像作为条件，在生成器中融入多尺度注意力模块，使得模型能够提取和注意到与图像对比增强相关的特征，判别器的输入为生成器生成的对比增强磁共振图像和真实的对比增强磁共振图像，输出是对输入图像是否为真实图像的判定，生成器和判别器在相互对抗中学习以提高生成图像的质量，以峰值信噪比即PSNR为图像质量评价指标评价生成图像与真实图像之间的差异，选择训练集上选择PSNR值最高的模型为最佳模型作为测试集数据的测试；步骤4：将生成的图像放入分类网络中进行非活动期和活动期病灶的分类，得到生成图像的临床应用评价指标。2.根据权利要求1所述的生成钆造影剂增强磁共振图像的方法，其特征在于：在步骤1中，使用图像刚性配准将非对比增强磁共振图像与对比增强磁共振图像进行配准，保证两张配对图像在解剖结构上没有较大的偏移。3.根据权利要求1所述的生成钆造影剂增强磁共振图像的方法，其特征在于：在步骤3中，还包括多尺度特征提取模块，其是将图像输入多条平行路径，每条路径都经过不同卷积核大小的卷积层从而得到不同尺度不同感受野的特征图，利用多条平行路径生成不同比例尺的特征图...

【专利技术属性】
技术研发人员：张慧，潘梅卿，丁雪桐，候晓媛，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：