基于条件多判别生成对抗网络的医疗图像合成与分类方法技术

本发明专利技术公开一种基于条件多判别生成对抗网络的医疗图像合成与分类方法，该方法包括以下步骤：一、对计算机断层扫描(Computed Tomography,简称CT)图像中病变区域进行分割，提取病变感兴趣区域(Region of Interest,简称ROIs)；二、对一中提取的病变ROIs进行数据预处理；三、设计基于条件多判别生成对抗网络(Conditional Multi‑Discriminate Generative Adversarial Network,简称CMDGAN)模型架构，使用二中的图像对其进行训练，得到生成模型；四、使用三中得到的生成模型对提取的病变ROIs进行合成数据增强；五、设计多尺度残差网络(Multiscale ResNet Network,简称MRNet)并训练。本发明专利技术提出的方法，可以生成具有高质量的合成医疗图像数据集，分类网络对测试图像的分类准确率较高，从而更好的能够为医疗工作者提供辅助诊断。

Medical Image Synthesis and Classification Based on Conditional Multiple Discrimination Generating Countermeasure Network

The invention discloses a method of medical image synthesis and classification based on conditional multi-discriminant generation antagonistic network. The method comprises the following steps: 1. Segmenting the lesion area in the computed tomography (CT) image, extracting the region of interest (ROIs) of the lesion; 2. Preprocessing the data of the extracted lesion ROIs; 3. Designing the model architecture of Conditional Multi-Discriminate Generative Adversarial Network (CMDGAN) and training it with the image of No. 2 Middle School to get the generating model; 4. Using the generated model of No. 3 Middle School to enhance the synthetic data of ROIs extracted from lesions; 5. Designing a multi-scale residual network (Multiscale ResN). Et Network (MRNet) and training. The method of the invention can generate high-quality synthetic medical image data set, and the classification accuracy of the classification network for the test image is higher, thereby providing better auxiliary diagnosis for medical workers.

【技术实现步骤摘要】
基于条件多判别生成对抗网络的医疗图像合成与分类方法
本专利技术涉及条件多判别生成对抗网络的医疗图像合成与分类
技术介绍
近年来依赖于卷积神经网络(ConvolutionalNeuralNetwork,简称CNN)强大的分层特征提取能力，对于图像的分类效果在很多方面已经超越人类，主要的一个原因就是使用大规模带标签的数据集去训练深度神经网络，如手写字识别等计算机视觉任务。但是在某些方面比如医学图像特定领域的分类问题上还有很大的提升空间，这其中面临的一个最大挑战就是无法获取一个大规模的医学图像数据集，使用小规模数据集训练的深度神经网络将无法学习到医学图像中的某些特征，进而使得其分类效果不佳。医学成像领域面临的一个最大的挑战就是如何处理小规模的数据集以及有限数量的带标签的样本，因为在一些监督学习的算法中，通常会使用带标签的数据和更大的训练集来训练神经网络。但是在医学领域大规模的医疗图像数据集难以获得，通常研究人员会使用一些经典图像增强方式进行医疗图像数据集的扩充，进而克服小规模数据集带来的弊端。但是传统的图像扩充方法主要是平移、旋转、翻转和缩放，这些方式只是对数据集图像进行简单的修改，使用经典的图像增强技术来改进网络的训练过程是一个标准的过程。通过使用经典的方式对图像进行小规模的修改图像只会获得很少的附加信息。对于神经网络的训练效果贡献不大。与此同时，在医学成像任务中通常会需要一些具有数据以及图像任务方面有专业知识的放射科医师进行注释，但是医学图像的大多数图像注释都很耗时，对于一些精确的注释尤其如此，例如将某个器官或者病变的区域分割成多张的2D切片或者3D的立体图。虽然目前一些公开的数据集可以在网上获取到，但是大多数的数据集在其规模上让然后很大的限制，并且这些数据集只适用于一些特定的医疗问题上，比如只对某种器官或某种疾病，因此收集一个医疗数据集是一项需要多方面协作且复杂而昂贵的过程。综上所述，我们提出基于条件多判别生成对抗网络(ConditionalMulti-DiscriminateGenerativeAdversarialNetwork,简称CMDGAN)的医疗图像合成与分类技术，利用两个网络在对抗过程中进行训练，同时使用加入条件的多个判别网络对生成图像进行综合判断，进而指导高质量的图像的生成，生成的高质量示例的综合数据增强是一种新颖的、复杂的数据增强类型，使用这种合成数据类型的数据集具有更多的可变性，这使得合成后的数据集能够更好的改进深度神经网络的训练过程。
技术实现思路
：为解决现有网络模型对于医学图像分类效果不佳的问题，如无法获得大量医学图像，图像没有真实标签等。本专利技术提出一种名为CMDGAN的医疗图像合成与分类方法，以用于合成高质量的数据集并训练医学图像的分类模型。专利技术的内容主要包括：自动构建医疗图像合成与分类的思想，构建医疗CT图像病变区域精准提取的流程，将CMDGAN用于医疗病变区域图像的合成数据增强，构建医疗图像分类网络的流程，将深度特征用于真实医疗图像分类的过程，预处理数据集的流程。一种基于条件多判别生成对抗网络的医疗图像合成与分类方法，其特征在于：至少包括以下步骤：步骤一、根据放射科医生对计算机断层扫描(ComputedTomography,简称CT)图像中病变区域的标注，对医疗CT图像进行图像分割，提取病变感兴趣区域(RegionofInterest,简称ROIs)；步骤二、对步骤一中提取的病变ROIs进行数据预处理，使不同病灶之间的图像数据达到均衡；步骤三、设计基于条件多判别生成对抗网络(ConditionalMulti-DiscriminateGenerativeAdversarialNetwork,简称CMDGAN)模型架构，使用步骤二中得到的预处理图像对其进行指导训练，得到一个生成模型；步骤四、使用步骤三中得到的生成模型对提取的病变ROIs进行合成数据增强，得到具有高质量的病变ROIs数据集；步骤五、设计多尺度残差网络(MultiscaleResNetNetwork,简称MRNet)，并使用步骤四得到的合成病变ROIs数据集对该网络进行训练，得到一个高精度的分类神经网络。有益效果：与现有技术相比，采用本专利技术所述的设计方案，可以达到以下技术效果：1、采用条件多判别生成对抗网络进行医疗图像的合成，合成后的ROIs病变数据集与原始的数据集相比图像具有获得更多的附加信息，其可变性更多，生成的高质量示例的综合数据增强是一种新颖的、复杂的数据增强类型，相比于用传统数据增强方法训练的分类网络，采用本方法合成的病变数据集训练的分类网络得到的准确性更高；2、通过使用条件多判别生成对抗网络进行医疗图像的合成，可以得到大量带标签的病变ROIs，不再需要具有专业知识的放射科医生进行标注，从而在数据集的预处理阶段节省了大量的时间和额外的开销；3、可以在较短时间内获取到一个具有特定领域的医疗图像数据集，并且合成的医疗图像质量较高，经过这种数据集训练的分类网络在测试数据集上具有更好的表现；4、采用条件多判别生成对抗网络进行医疗图像合成的方法，不仅在一种病变上的表现优异，在很多其他器官或者病变上也有很强适用性。5、使用经过合成数据训练过的MRNet对医疗图像进行分类，其分类效果比其他分类网络的效果好很多，分类精度高，敏感性和特异性较好。附图说明：图1.条件多判别生成对抗网络架构图图2.条件多判别生成对抗网路合成图像流程图图3.DUTFCN提取病变ROIs流程图图4.多尺度残差网络结构图图5.条件多判别生成对抗网络合成图像与分类整体流程图具体实施方式：步骤一、根据放射科医生对计算机断层扫描(ComputedTomography,简称CT)图像中病变区域的标注，对医疗CT图像进行图像分割，提取病变感兴趣区域(RegionofInterest,简称ROIs)。(1)提取疑似病变区域：以甲状腺病变为例，由专业的放射科医生对甲状腺CT图像进行分析，并标记每个病灶的边缘并确定相应的诊断结果，同时通过活体检以及临床随机访问进行确定，最终得到疑似病变区域。(2)特征分析：疑似病变区域与正常的组织灰度值存在差别，为更好地确定病变区域，需要对意思病变区域进行特征分析，分析的特征主要包括平均灰度值、灰度值标准差、直径等。(3)利用灰度特征提取最终的ROIs：采用深度U型全卷积神经网络(DeepUTypeFullConvolutionalNeuralNetwork，简称DUTFCN)对图像进行精确分割，提取最终的ROIs。DUTFCN的思想中心是采用一种全卷积神经网络对生物医学图像进行精确分割，没有任何的全连接层，从降低了位置信息的损失，并且网络的可以收能使用任意大小的图片。采用上采样方法来代替池化操作，来增大输出的分辨率。该网络由一个收缩子网和一个扩张子网构成，收缩子网用来捕捉上下文特征，扩张子网来进行定位，两者时间存在快捷连接，将底层特征和高层特征进行融合，补充池化中损失的信息，取得更好的分割效果，同时损失函数使用softmax以及交叉损失熵函数，softmax函数公式如下所示：其中，ak(x)表示在第X像素点上第K个特征通道的激活函数。K为类别数，pk(x)为近似最大函数(approximatedmaximumfunct本文档来自技高网...

【技术保护点】
1.一种基于条件多判别生成对抗网络的医疗图像合成与分类方法其特征在于：至少包括以下步骤：步骤一、根据放射科医生对计算机断层扫描(Computed Tomography,简称CT)图像中病变区域的标注，对医疗CT图像进行图像分割，提取病变感兴趣区域(Region ofInterest,简称ROIs)；步骤二、对步骤一中提取的病变ROIs进行数据预处理，使不同病灶之间的图像数据达到均衡；步骤三、设计基于条件多判别生成对抗网络(Conditional Multi‑Discriminate Generative Adversarial Network,简称CMDGAN)模型架构，使用步骤二中得到的预处理图像对其进行指导训练，得到一个生成模型；步骤四、使用步骤三中得到的生成模型对提取的病变ROIs进行合成数据增强，得到具有高质量的病变ROIs数据集；步骤五、设计多尺度残差网络(Multiscale ResNet Network,简称MRNet)，并使用步骤四得到的合成病变ROIs数据集对该网络进行训练，得到一个高精度的分类神经网络，实现医疗图像分类。

【技术特征摘要】
1.一种基于条件多判别生成对抗网络的医疗图像合成与分类方法其特征在于：至少包括以下步骤：步骤一、根据放射科医生对计算机断层扫描(ComputedTomography,简称CT)图像中病变区域的标注，对医疗CT图像进行图像分割，提取病变感兴趣区域(RegionofInterest,简称ROIs)；步骤二、对步骤一中提取的病变ROIs进行数据预处理，使不同病灶之间的图像数据达到均衡；步骤三、设计基于条件多判别生成对抗网络(ConditionalMulti-DiscriminateGenerativeAdversarialNetwork,简称CMDGAN)模型架构，使用步骤二中得到的预处理图像对其进行指导训练，得到一个生成模型；步骤四、使用步骤三中得到的生成模型对提取的病变ROIs进行合成数据增强，得到具有高质量的病变ROIs数据集；步骤五、设计多尺度残差网络(MultiscaleResNetNetwork,简称MRNet)，并使用步骤四得到的合成病变ROIs数据集对该网络进行训练，得到一个高精度的分类神经网络，实现医疗图像分类。2.根据权利要求1所述的一种基于条件多判别生成对抗网络的医疗图像合成与分类方法，其特征在于：所述步骤一中采用深度U型全卷积神经网络(DeepUTypeFullConvolutionalNeuralNetwork，简称DUTFCN)对医疗CT图像中病变区域进行提取，对于具有不同病灶的医疗CT图像，分别得到相应的ROIs，DUTFCN网络可以对图像进行像素级的特征提取，能够对医疗CT图像中病变ROIs进行高精度分割，同时网络可以接受任意大小尺寸的图像输入，DUTFCN的网络结构相对于传统卷积神经网络(ConvolutionalNeuralNetwork,简称CNN)的特征提取方法，其特点首先在于网络不使用全连接层，很大程度上减少了网络中的参数量，使得网络能够稳定且快速的训练；其次DUTFCN网络包含增大数据尺寸的反卷积层，能够输出精细的结果，适合医疗CT图像病变区域提取任务；最后DUTFCN结合不同深度层结果的跳级结构，确保了输出结果...

【专利技术属性】
技术研发人员：王生生，邢春上，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22