一种先验GAN模型医学影像生成方法技术

本发明专利技术公开了一种先验GAN模型医学影像生成方法，具体涉及医学影像合成领域，包括以下步骤：步骤一、发明专利技术一个有意义的改进模型，即先验条件生成对抗网络PCGAN；步骤二、利用DGAN的思想，优化生成网络G和判别网络D；步骤三、通过主成分分析方法PCA构建器官的二维或三维形状空间，生成具有物理意义解释的标签图；步骤四、用优化的网络参数和先验标签生成医学影像。本发明专利技术用PCA生成具有物理意义解释的标签图，减少或取消后期专家参与数据标注，从而建立一个合成影像数据库，一定程度上解决基于数据的深度学习方法的有效样本稀缺的问题，整体使得本发明专利技术能够有效降低专家的工作量，提高工作效率。

A method of medical image generation based on prior Gan model

The invention discloses a prior Gan model medical image generation method, which specifically relates to the field of medical image synthesis, including the following steps: Step 1, inventing a meaningful improved model, namely prior condition generation of antagonism network pcgan; step 2, using the idea of dgan, optimizing the generation of network G and discrimination network D; step 3, building organs through PCA Two dimensional or three-dimensional shape space is used to generate a label map with physical meaning interpretation; step four is to generate medical images with optimized network parameters and prior labels. The invention uses PCA to generate tag map with physical meaning interpretation, reduces or cancels the later experts' participation in data annotation, so as to establish a synthetic image database, to a certain extent, solves the problem of the scarcity of effective samples based on the data-based deep learning method, so as to effectively reduce the workload of experts and improve the work efficiency.

【技术实现步骤摘要】
一种先验GAN模型医学影像生成方法
本专利技术涉及医学影像合成
，更具体地说，本专利技术涉及一种先验GAN模型医学影像生成方法。
技术介绍
医学影像模型只能像其标注者所标注的那样好，而标注者本身应该是熟练有经验的放射科专家。所以期望从模型的角度出发，减少专家标注的工作量。常见的有主动学习模型辅助新数据标注和生成对抗模型生成数据。主动学习是一种辅助增加标注样本的有效方法。主动学习可从一个小标签数据集和几个专家标注者开始，通过机器学习去标注图像并利用分类器进行评分，对得分低于确定性阈值的图像被发送给专家进行手动标记。但是当专家对部分复杂图像边界达不成一致的情况下，主动学习建立数据集的准确性和有效性得不到保证。另一种方法是数据生成，数据生成研究并不是一个全新的领域，它是让计算机通过一定数据的学习，生成与样本类似的数据。自编码网络通过编码和解码两个网络生成数据。但是它生成能力有限，不适合大量数据生成。变分自动编码模型可以生成相对真实的图像。但是VAE要求网络产生的图像接近原始数据集里的某个图像，这使得VAE并不能学会生成新的图像。即VAE只是模仿能力，而没有创造能力。生成对抗网络(GAN)创新性地组合了生成模型和对抗模型，寻找生成和对抗之间的一个纳什均衡来产生更加真实的图像。现有技术中的医学影像GAN模型标注需要后期专家参与数据标注，从而增加了医学专家的工作量，降低了工作效率。
技术实现思路
为了克服现有技术的上述缺陷，本专利技术的实施例提供一种先验GAN模型医学影像生成方法，通过将一个简单的概率分布通过参数化的概率生成模型转换成给定观测数据的真实概率分布，再基于所得到的概率分布模型产生与观测数据类似的新数据，生成一个朴素的GAN模型；构建GAN的理想数学模型；固定判别模型D以及通过梯度流公式：优化生成模型G；生成一个有意义的改进模型，即条件生成对抗网络CGAN，其目标函数为：通过主成分分析方法PCA构建器官的二维或三维形状空间；利用DGAN的思想，用PCA生成具有物理意义解释的标签图，减少或取消后期专家参与数据标注，从而建立一个合成影像数据库，一定程度上解决基于数据的深度学习方法的有效样本稀缺的问题，整体使得本专利技术能够有效降低专家的工作量，提高工作效率。为实现上述目的，本专利技术提供如下技术方案：一种先验GAN模型医学影像生成方法，包括以下步骤：步骤一、专利技术一个有意义的改进模型，即先验条件生成对抗网络PCGAN；步骤二、利用DGAN的思想，优化生成网络G和判别网络D；步骤三、通过主成分分析方法PCA构建器官的二维或三维形状空间，生成具有物理意义解释的标签图；步骤四、用优化的网络参数和先验标签生成医学影像；步骤五、用未标注的图像与已标注的图像进行对比，寻找未标注图像上与已标注图像上的类似区域，对未标注图像进行标注，并对标注进行修正。在一个优选地实施方式中，所述步骤一具体为，朴素GAN方法将一个简单的概率分布通过参数化的概率生成模型转换成给定观测数据的真实概率分布，再基于所得到的概率分布模型产生与观测数据类似的新数据，将T作为概率生成模型，概率生成模型T可以将均匀分布变换成高斯分布：其中(u1,u2)～U(0,1)；将所有n×n图像构成一个空间，记为图像空间χ，每一张图像看成是空间中的一个点(x∈χ)，用v(x)来表示图片是否表达一个真实对象的概率，那么v就是GAN要学习的目标概率测度，这种概率测度通常用期望表示。在加入条件限制的情形下，便得到条件生成判别网络，即CGAN，它的数学描述是：其中x表示真实图片，z表示输入到G网络的随机噪声，G(z)表示生成的图片，D(x)和D(G(z))分别表示网络D判断真实图片和生成图片是否真实的概率。CGAN模型学习在条件图像y约束下，将随机噪声z生成与结构y相似的图像之间的映射G:{y,z}→x。考虑到生成图像和标签图的目标边缘具有较大的梯度值，将该梯度差异作为生成网络的额外损失，即该约束项定义为：其中dA是积分单元，Ω是标签目标区域，是标签图的目标边界，f是一个距离测度，即梯度差异项只考虑目标边界处的梯度差异。对于网络稳定适用性，在生成网络中，用TV范数约束生成图像保持目标边界信息，用Tikhonov范数约束生成图像在目标区域内灰度变化保持平滑，使其产生与标签图相吻合的清晰图，即该正则约束项定义为：其中前两项是Tikhonov范数，约束图像的生成和生成图像目标区域的平滑性，第三项约束生成图像边缘的清晰度。为了保持判别网络不变，综合考虑生成网络的多重约束，拟建立如下关于生成网络的损失函数：在一个优选地实施方式中，所述步骤二具体为，最小化步骤一的损失函数包含如下两步，首先确定生成网络G，最大化判别网络D：其中Lbce为二值交叉熵。假设其网络参数为wd，其梯度流为：然后确定判别网络D，最大化生成网络G：假设其网络参数为wg，其梯度流为：在一个优选地实施方式中，所述步骤三具体为，假设每个器官由维度为d的向量φ表示，由N个样本便可以构建一个维度为d×N的形状矩阵M＝[φ1,φ2,…,φN]，利用统计形状模型的方法，一个新形状可以通过下式给出：其中是平均形状，P是包含协方差矩阵的前t个最大特征值对应的t个特征向量组成的矩阵，bi是维度为t的形状参数向量，通过随机采样bi元素的值，可以得到形状空间的“新形状”。在一个优选地实施方式中，所述步骤四具体为，将步骤三中的点或网格构成的先验形状生成二值标签图，该标签图具有物理统计意义，引导原始图像的生成。假设网格形状对应的二值标签图是y，根据得到的优化参数wg和wd正向计算可以得到标签图对应的生成图像G(z|y)。本专利技术的技术效果和优点：本专利技术通过主成分分析方法PCA构建器官的二维或三维形状空间，利用DGAN的思想，用PCA生成具有物理意义解释的标签图，以及用未标注的图像与已标注的图像进行对比，寻找未标注图像上与已标注图像上的类似区域，对未标注图像进行标注，并对标注进行修正，减少或取消后期专家参与数据标注，从而建立一个合成影像数据库，一定程度上解决基于数据的深度学习方法的有效样本稀缺的问题，整体使得本专利技术能够有效降低专家的工作量，提高工作效率。附图说明图1为本专利技术的GAN模型物理解释图。图2为本专利技术的CGAN结果示意图，其中第一列为条件图，第二列为CGAN输出结果图，第三例为真实图片图。图3为本专利技术的PCGAN模型的肝脏结果图，二值图是PCA空间的采样图像，灰度图是生成的对应肝脏CT影像。图4为本专利技术的PCGAN研究流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施本文档来自技高网...

【技术保护点】
1.一种先验GAN模型医学影像生成方法，其特征在于：包括以下步骤：/n步骤一、专利技术一个有意义的改进模型，即先验条件生成对抗网络PCGAN；/n步骤二、利用DGAN的思想，优化生成网络G和判别网络D；/n步骤三、通过主成分分析方法PCA构建器官的二维或三维形状空间，生成具有物理意义解释的标签图；/n步骤四、用优化的网络参数和先验标签生成医学影像；/n步骤五、用未标注的图像与已标注的图像进行对比，寻找未标注图像上与已标注图像上的类似区域，对未标注图像进行标注，并对标注进行修正。/n

【技术特征摘要】
1.一种先验GAN模型医学影像生成方法，其特征在于：包括以下步骤：
步骤一、发明一个有意义的改进模型，即先验条件生成对抗网络PCGAN；
步骤二、利用DGAN的思想，优化生成网络G和判别网络D；
步骤三、通过主成分分析方法PCA构建器官的二维或三维形状空间，生成具有物理意义解释的标签图；
步骤四、用优化的网络参数和先验标签生成医学影像；
步骤五、用未标注的图像与已标注的图像进行对比，寻找未标注图像上与已标注图像上的类似区域，对未标注图像进行标注，并对标注进行修正。


2.根据权利要求1所述的一种先验GAN模型医学影像生成方法，其特征在于：所述步骤一具体为，朴素GAN方法将一个简单的概率分布通过参数化的概率生成模型转换成给定观测数据的真实概率分布，再基于所得到的概率分布模型产生与观测数据类似的新数据，将T作为概率生成模型，概率生成模型T可以将均匀分布变换成高斯分布：



其中(u1,u2)～U(0,1)；
将所有n×n图像构成一个空间，记为图像空间χ，每一张图像看成是空间中的一个点(x∈χ)，用v(x)来表示图片是否表达一个真实对象的概率，那么v就是GAN要学习的目标概率测度，这种概率测度通常用期望表示。在加入条件限制的情形下，便得到条件生成判别网络，即CGAN，它的数学描述是：



其中x表示真实图片，z表示输入到G网络的随机噪声，G(z)表示生成的图片，D(x)和D(G(z))分别表示网络D判断真实图片和生成图片是否真实的概率。CGAN模型学习在条件图像y约束下，将随机噪声z生成与结构y相似的图像之间的映射G:{y,z}→x。
考虑到生成图像和标签图的目标边缘具有较大的梯度值，将该梯度差异作为生成网络的额外损失，即该约束项定义为：



其中dA是积分单元，Ω是标签目标区域，是标签图的目标边界，f是一个距离测度，即梯度差异项只考虑目...

【专利技术属性】
技术研发人员：郑申海，房斌，李腊全，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50