本说明书实施例公开了一种多模态医学图像生成方法、装置、电子设备和计算机可读存储介质。所述方法包括：输入第一模态图像；将第一模态图像输入预先训练好的生成器；输出第二模态图像，所述第二模态图像与第一模态图像不同。通过上述方法，将医学图像的一种模态转换、生成另一种模态图像，实现了计算机断层成像(CT)图像、核磁共振(MR)图像以及正电子发射断层扫描(PET)图像之间的相互转换与生成。只需要扫描CT、MR、PET三种模态中的一种，就可生成其他另外两种。有效的减轻设备使用单位的采购负担，同时为患者节省检查时间和经济负担。同时为患者节省检查时间和经济负担。同时为患者节省检查时间和经济负担。
【技术实现步骤摘要】
多模态医学图像生成方法和装置
[0001]本申请实施例涉及医学图像领域，具体涉及医学图像模态领域，尤其涉及多模态医学图像生成方法和装置。
技术介绍
[0002]X射线计算机断层成像技术(X射线CT)是一种利用X射线与物质相互作用的原理，对待检部位一定厚度的层面进行扫描，由探测器接收透过该层面的X射线，转变为电信号，再经模拟/数字转换器转为数字信号(投影数据)，输入计算机，对物体内部信息进行成像的一种技术。
[0003]核磁共振(MR)成像技术是利用核磁共振(nuclear magnetic resonance)原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。
[0004]正电子发射断层扫描(PET)成像技术是一种用于肿瘤疾病诊断工具，其方法是将某种物质，一般是生物生命代谢中必须的物质，如：葡萄糖、蛋白质、核酸、脂肪酸，标记上短半衰期放射性核素(如
18
F，
11
C等)，注入人体，由于肿瘤细胞代谢旺盛，这些物质会在肿瘤细胞处聚集。通过探测放射性核素发射的光子并成像，来定位肿瘤情况，从而可对病变进行诊断和分析。
[0005]PET图像，如图1(a)所示，能提供肿瘤的诊断信息，但图像缺失了肿瘤及其周围组织的解剖结构信息，这些额外的解剖需要CT或MR图像提供，如图1(b)所示。
[0006]目前在临床医疗检查中，各个医学成像模态都需要单独的设备进行成像，然后再汇总到医生处，根据多个模态图像进行综合诊断，耗费大量的人力物力。
[0007]目前在临床医疗检查中，各个医学成像模态都需要单独的设备进行成像，要得到PET、CT、MR图像就需要三种设备，对于使用单位来说采购设备的成本很高；对于患者来说这些检查也非常昂贵，耗费的时间也很长。
[0008]本专利技术克服了上面的缺点，将医学图像的一种模态转换、生成另一种模态图像，实现了计算机断层成像(CT)图像、核磁共振(MR)图像以及正电子发射断层扫描(PET)图像之间的相互转换与生成。只需要扫描CT、MR、PET三种模态中的一种，就可生成其他另外两种。能有效减轻设备使用单位的采购负担，同时为患者节省检查时间和经济负担。
技术实现思路
[0009]本申请实施例提出了一种多模态医学图像生成方法和装置。
[0010]第一方面，本申请实施例提供了一种多模态医学图像生成方法，包括：
[0011]将第一模态图像与目标第二模态图像输入训练网络，实现监督学习，迭代训练达到停止条件后停止训练，获得生成器；
[0012]将第一模态图像输入预先训练好的生成器，将所述第一模态图像转换为第二模态
图像，所述第二模态图像与所述第一模态图像的模态不同；
[0013]输出所述第二模态图像。
[0014]在一些实施例中，其中，所述生成器的生成器网络采用卷积神经网络，残差网络和生成对抗网络。
[0015]在一些实施例中，其中，所述生成器网络采用生成对抗网络，生成器的网络结构包含生成器与判别器；
[0016]生成器用于生成目标模态图像；
[0017]判别器用于判断生成的图像是否达到了要求，达到了停止训练的要求即停止训练。
[0018]在一些实施例中，其中，所述生成器的网络结构可以运用迁移学习技术，通过加载预训练网络加快网络训练。
[0019]在一些实施例中，其中，所述生成器用于实现输入图像的多级降采样，之后再对应多级升采样，降采样与升采样之间采用多个残差网络连接。
[0020]在一些实施例中，其中，所述降采样与所述升采样结合的网络，包括但不限于：降采样与升采样都采用常规卷积层或残差卷积层，卷积层激活函数采用relu、leaky_relu、tanh、sigmod。
[0021]在一些实施例中，其中，降采样与升采样结合的部分，可以采用直接相连，也可以采用全连接层相连接，也可以采用一个或多个残差网络相连接。
[0022]第二方面，本申请实施例还提供了一种多模态医学图像生成装置，包括：
[0023]训练装置，用于将第一模态图像与目标第二模态图像输入训练网络，实现监督学习，迭代训练达到停止条件后停止训练，获得生成器；
[0024]输入装置，用于将第一模态图像输入预先训练好的生成器，将所述第一模态图像转换为第二模态图像，所述第二模态图像与所述第一模态图像的模态不同；
[0025]输出装置，用于输出所述第二模态图像。
[0026]在一些实施例中，其中，所述生成器的生成器网络采用卷积神经网络，残差网络和生成对抗网络。
[0027]在一些实施例中，其中，所述生成器的网络结构包含生成器与判别器；
[0028]生成器用于生成目标模态图像；
[0029]判别器用于判断生成的图像是否达到了要求，达到了停止训练的要求即停止训练。
[0030]在一些实施例中，其中，所述生成器的网络结构可以运用迁移学习技术，通过加载预训练网络加快网络训练。
[0031]在一些实施例中，其中，所述生成器用于实现输入图像的多级降采样，之后再对应多级升采样，降采样与升采样之间采用多个残差网络连接。
[0032]在一些实施例中，其中，所述降采样与所述升采样结合的网络，包括但不限于：降采样与升采样都采用常规卷积层或残差卷积层，卷积层激活函数采用relu、leaky_relu、tanh、sigmod。
[0033]在一些实施例中，其中，降采样与升采样结合的部分，可以采用直接相连，也可以采用全连接层相连接，也可以采用一个或多个残差网络相连接。
[0034]第三方面，本申请实施例提供了一种电子设备，包括：
[0035]一个或多个处理器；
[0036]存储装置，用于存储一个或多个程序，
[0037]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述多模态医学图像生成方法中任一实施例的方法。
[0038]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述多模态医学图像生成方法中任一实施例的方法。
[0039]本专利技术克服了现有技术中的缺点，将医学图像的一种模态转换、生成另一种模态图像，实现计算机断层成像(CT)图像、核磁共振(MR)图像以及正电子发射断层扫描(PET)图像之间的相互转换与生成。以输入PET图像输出MR图像为例，本专利技术将患者检查得到的PET图像输入本专利技术神经网络，直接可生成MR图像，不需要另外专用的MR设备重新扫描。因深度卷积神经网络已经预先训练完成，在部署时，可直接应用，整个重建过程速度非常迅速。
附图说明
[0040]图1是现有技术中两种模态的医学图像；
[0041]图2是本申请的多模态医学图像生成方法一个实施例的流程图；
[004本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多模态医学图像生成方法，包括：将第一模态图像与目标第二模态图像输入训练网络，实现监督学习，迭代训练达到停止条件后停止训练，获得生成器；将第一模态图像输入预先训练好的生成器，将所述第一模态图像转换为第二模态图像，所述第二模态图像与所述第一模态图像的模态不同；输出所述第二模态图像。2.如权利要求1所述的方法，其中，所述生成器的生成器网络采用卷积神经网络，残差网络和生成对抗网络。3.如权利要求2所述的方法，其中，所述生成器网络采用生成对抗网络，生成器的网络结构包含生成器与判别器；生成器用于生成目标模态图像；判别器用于判断生成的图像是否达到了要求，达到了停止训练的要求即停止训练。4.如权利要求3所述的方法，其中，所述生成器的网络结构可以运用迁移学习技术，通过加载预训练网络加快网络训练。5.如权利要求4所述的方法，其中，所述生成器用于实现输入图像的多级降采样，之后再对应多级升采样，降采样与升采样之间采用多个残差网络连接。6.如权利要求5所述的方法，其中，所述降采样与所述升采样结合的网络，包括但不限于：降采样与升采样都采用常规卷积层或残差卷积层，卷积层激活函数采用relu、leaky_relu、tanh、sigmod。7.如权利要求6所述的方法，其中，降采样与升采样结合的部分，可以采用直接相连，也可以采用全连接层相连接，也可以采用一个或多个残差网络相连接。8.一种多模态医学图像生成装置，包括：训练装置，用于将第一模态图像与目标第二模态图像输入训练网络，实现监督学习，迭代训练达到停止条件后停止训练，获得生成器；输入装置，用于将第一模态图像输入预先训练好的生成器，将...
【专利技术属性】
技术研发人员：蒋昌辉，胡战利，梁栋，张其阳，洪序达，郑海荣，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。