用于病理数据转换的双向GAN模型及其构建和应用方法技术

本发明专利技术提供一种用于病理数据转换的双向GAN模型，包括：构相同但参数组不同的正向生成器以及反向生成器；结构相同的反向语义判别器以及正向语义判别器，在分类模型的基础上增加像素加权模块，反向语义判别器的输入端连接反向生成器的输出端，正向语义判别器的输入端连接正向生成器的输出端；结构相同的反向形态判别器以及正向形态判别器，在分类模型的基础上增加通道加权模块，反向形态判别器的输入端连接反向生成器的输出端，正向形态判别器的输入端连接正向生成器的输出端，该双向GAN模型可实现病理数据的双向转换，进而辅助医护人员对医患人员的病变情况作出预测和诊断。

【技术实现步骤摘要】
用于病理数据转换的双向GAN模型及其构建和应用方法
本专利技术涉及医学影像合成
，特别涉及一种用于病理数据转换的双向GAN模型及其构建和应用方法。
技术介绍
生成式对抗网络(GAN)，由Goodfellow在2014年提出，旨在解决如何从训练样本中学习出新样本，使得深度学习在数据生成领域的应用有了质的突破。以训练样本为图像为例，GAN模型中的生成式模型基于输入图像生成一个模拟图像，判别模型再去判断这个模拟图像和真实图像之间的差异，两个模型一起对抗训练最终达到符合训练目标要求的GAN模型。GAN模型在医疗影像合成领域有着广泛的应用，比如CN109493308A提供一种基于条件多判别生成对抗网络的医疗图像合成与分类方法，该方法利用两个网络在对抗过程中进行训练，同时使用加入条件的多个判别网络对生成图像进行综合判断，旨在生成具有更多附加信息的合成影像；再比如CN110458786A提供一种先验GAN模型医学影像生成方法，该方法寻找未标注图像和已标注图像上的类似区域，对未标注图像进行标注和修正，以减少或取消后期专家参与数据标注，然后其上提到的GAN模型还是只能进行数据的直接生成任务，即GAN模型只能完成数据的单向转换，而且对训练数据有要求。在实际临床中不仅仅是需要单向数据生成的GAN模型，更多的时候是需要双向数据转换的GAN模型。即，对于医护人员来说，需要获取病变后的病理图像也需要获取痊愈的病理图像，这样有利于协助医护人员对疾病进行预测和诊断。然而临床的病理图像样本量也有限，也较难获取同一患者病变前后的病理图像，进而也增大了目前GAN模型的训练难度。比如，以突然爆发的新型肺炎为例，临床上缺少针对该肺炎数据病变前后的病理图像，进而使得目前GAN模型的训练结果不佳，难以满足辅助医护人员诊断和预测肺炎情况的需求。
技术实现思路
本专利技术的目的在于提供一种用于病理数据转换的双向GAN模型及其构建和应用方法，该双向GAN模型可实现病理数据的双向转换，即可实现阴性数据和阳性数据之间的转换，进而辅助医护人员对医患人员的病变情况作出预测和诊断，特别地，该双向GAN模型可用于肺炎数据的双向转换。本专利技术的目的在于提供一种用于病理数据转换的双向GAN模型及其构建和应用方法，该双向GAN模型引入双判别器机制，分别从数据的形态和语义上进行判别，提升判别器模块对生成数据的判别能力，在训练过程中增强对生成器的监督作用。本专利技术的目的在于提供一种用于病理数据转换的双向GAN模型及其构建和应用方法，该GAN模型可利用非配对数据完成模型的训练，解决了配对病理数据难以收集，病理数据样本量少的问题，且在训练时可对病理数据进行筛选处理，以减少计算量和计算成本。为实现以上目的，本技术方案提供一种用于病理数据转换的双向GAN模型，包括：结构相同但参数组不同的正向生成器以及反向生成器；结构相同的反向语义判别器以及正向语义判别器，在分类模型的基础上增加像素加权模块，反向语义判别器的输入端连接反向生成器的输出端，正向语义判别器的输入端连接正向生成器的输出端；结构相同的反向形态判别器以及正向形态判别器，在分类模型的基础上增加通道加权模块，反向形态判别器的输入端连接反向生成器的输出端，正向形态判别器的输入端连接正向生成器的输出端。本方案提供一种用于病理数据转换的双向GAN模型的应用方法，其中双向GAN模型如上所述，包括以下步骤：往训练好的双向GAN模型中输入预处理后的CT影像数据对应的CT影像切片，得到转换后的CT影像切片，若输入的是未患病的CT影像切片则可转换得到患病情况下的CT影像切片，若输入的是患病的CT影像切片则可转换为未患病情况下的CT影像切片。相较现有技术，本方案具有以下的特点和有益效果：本方案的GAN模型引入了双判别器机制，分别为形态判别器和语义判别器，该双判别器机制针对病理区域进行判断，进而实现病理数据不需要来自于同一患者也可以实现阴性数据和阳性数据转换的训练；且双判别器机制可提升判别器的判别能力，在训练过程中加强对生成器的监督作用(通过形态判别器和语义判别器分别从形态和语义上对生成器的生成模型进行监督)，促进生成器的训练；另本方案的生成器配置两套参数数据，以使得该生成器搭配不同的参数数据就可提供不同的转换能力，实现病理数据的双向转换，具体的，该双向GAN模型可以将某个未患病用户的CT影像转换成该用户患病情况下的影像，同样可以将某个患有肺炎疾病的用户CT影像转换成该用户健康时期的影像。附图说明图1是根据本专利技术的双向GAN模型用于肺炎数据双向转换的实施例的示意图。图2是根据本专利技术的双向GAN模型的框架示意图。图3是根据本专利技术的双向GAN模型的生成器的结构示意图。图4是根据本专利技术的双向GAN模型的形态判别器的结构示意图。图5是根据本专利技术的双向GAN模型的语义判别器的结构示意图。图中：11-正向生成器，12-反向生成器，21-反向语义判别器，22-反向形态判别器，31-正向语义判别器，32-正向形态判别器。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。应当认识到，本专利技术的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。计算机程序包括可由一个或多个处理器执行的多个指令。GAN模型作为一种非监督学习方法，由生成器和判别器两套独立的神经网络组成，其工作原理是在训练过程中生成器生成假样本，判别器用于判断生成器的样本到底是真实数据还是虚假数据，并反馈判别结果给生成器和判别器，以最终达到两者均衡和谐的状态，最终得到质量较高的生成器和判断能力强的判别器。然而，目前的GAN模型仅仅能够实现数据的单向转换，且为了保证判别器的判别准确度，往往需要配对度高的前后训练数据。这样的GAN模型对于病理数据来说，特别是对于肺炎数据来说，常常较难获取完全配对的本文档来自技高网...

【技术保护点】
1.一种用于病理数据转换的双向GAN模型，其特征在于，包括：/n结构相同但参数组不同的正向生成器(11)以及反向生成器(12)；/n结构相同的反向语义判别器(21)以及正向语义判别器(31)，在分类模型的基础上增加像素加权模块，反向语义判别器(21)的输入端连接反向生成器(12)的输出端，正向语义判别器(31)的输入端连接正向生成器(11)的输出端；/n结构相同的反向形态判别器(22)以及正向形态判别器(32)，在分类模型的基础上增加通道加权模块，反向形态判别器(22)的输入端连接反向生成器(12)的输出端，正向形态判别器(32)的输入端连接正向生成器(11)的输出端。/n

【技术特征摘要】
1.一种用于病理数据转换的双向GAN模型，其特征在于，包括：
结构相同但参数组不同的正向生成器(11)以及反向生成器(12)；
结构相同的反向语义判别器(21)以及正向语义判别器(31)，在分类模型的基础上增加像素加权模块，反向语义判别器(21)的输入端连接反向生成器(12)的输出端，正向语义判别器(31)的输入端连接正向生成器(11)的输出端；
结构相同的反向形态判别器(22)以及正向形态判别器(32)，在分类模型的基础上增加通道加权模块，反向形态判别器(22)的输入端连接反向生成器(12)的输出端，正向形态判别器(32)的输入端连接正向生成器(11)的输出端。


2.根据权利要求1所述的用于病理数据转换的双向GAN模型，其特征在于，利用针对同一病理情况的病理数据进行训练，其中没有发生病变的病理数据为阴性数据，发生病变的病理数据为阳性数据，阴性数据和阳性数据统称为训练数据，经过训练后的正向生成器(11)设置第一参数组，反向生成器(12)设置第二参数组。


3.根据权利要求2所述的用于病理数据转换的双向GAN模型，其特征在于，训练数据在训练过程中经过正向生成器和反向生成器的双向转换，得到生成损失，训练数据生成的假性数据经过判别器判别后，得到判别损失，加权生成损失和判别损失得到优化目标，同步优化生成器和判别器。


4.根据权利要求1所述的用于病理数据转换的双向GAN模型，其特征在于，其训练方法如下：
准备训练数据集：准备针对同一病理情况的多组病理数据，其中没有发生病变的病理数据定位为阴性数据集，阴性数据集由多个阴性数据组成，发生病变的病理数据定义为阳性数据集，阳性数据集由多个阳性数据组成；
构建双向GAN模型；
训练双向GAN模型：阴性数据至少输入正向生成器(11)的输入端以及反向判别器，阳性数据B至少输入反向生成器(12)的输入端和正向判别器，阴性数据在训练过程中得到正向判别损失和正向判别损失，加权正向判别损失和正向生成损失得到待优化目标，同时优化正向生成器和正向判别器，阳性数据在训练过程中得到反向判别损失和反向生成损失，加权反向判别损失和反向生成损失得到待优化目标，同时优化反向生成器和反向判别器。

【专利技术属性】
技术研发人员：程国华，罗梦妍，何林阳，季红丽，
申请(专利权)人：杭州健培科技有限公司，
类型：发明
国别省市：浙江;33