一种基于改进DCGAN的图像数据集增强方法、存储介质及终端技术

本发明专利技术公开了一种基于改进DCGAN的图像数据集增强方法、存储介质及终端。所述改进DCGAN中，生成器G包括两路并行的deconv1模块和Squeeze&Excitation模块以及一路deconv2模块，其中引入Squeeze&Excitation注意力机制，使得模型对各个channel的特征更有辨别能力；判别器D中引入了Coordinate Attention注意力机制，增强了对空间位置特征的学习与表达能力，有效提升模型的准确率，且计算消耗小。本发明专利技术生成图像的准确度高，判别器D的整体D_loss达到了0.0081098，能有效地扩充冠脉造影的数据集。据集。据集。

【技术实现步骤摘要】
一种基于改进DCGAN的图像数据集增强方法、存储介质及终端


[0001]本专利技术涉及医学图像数据集增强
，更具体地，涉及一种基于改进DCGAN的图像数据集增强方法、存储介质及终端。

技术介绍

[0002]数据增强技术是指通过对已有数据添加微小改动或从已有数据新创建合成数据，以增加数据量的方法。
[0003]在医学图像处理领域，医学图像分割通常受到标记训练数据的可用性的限制。“数据扩充”有助于防止记忆训练数据，并有助于网络根据训练集之外的数据进行测试，这对于构建强大的深度学习流程至关重要。
[0004]目前在医疗界尤其是冠脉造影图像语义分割领域，深度学习模型在这一场景中的表现良好，但这些网络通常需要大量数据才能避免过度拟合。遗憾的是，获取大量冠脉造影图像比较困难。因而现有本领域的深度学习模型鲁棒性较弱，图像中的微小变化可能会导致系统出错。
[0005]为了提高冠脉造影图像语义分割模型的鲁棒性，这时候往往需要对已有的样本进行数据增强。目前常规的数据增强方法有：翻转、旋转、缩放、平移、添加噪声等等，但是这些数据增强方法仅仅能对单张图像进行小规模数据增强，且改变了他们的位置特征。此外，我们往往对于某一时刻、某一部位的冠脉造影图像需要大规模的样本数据，这要求我们能够对样本进行大规模的数据增强，且不改变它的总体特征分布。
[0006]申请号CN201810300148.5的中国专利技术专利公开了一种冠脉样本的数据库增强方法。该方法通过从冠脉的体数据中提取各分支血管的中心线，对中心线点集进行三维形变重构，进而生成新的冠脉形态样本，达到扩充数据库的目的。但本专利技术仅从形态学角度进行数据库扩充，并不能够将数据库中存在的各种情况进行有效扩充，仍存在一定的不足之处。
[0007]生成对抗网络(Generative Adversarial Network，GAN)是一种无监督生成模型，它隐含地学习底层分布。在GAN框架中，学习过程是两个网络之间的极大极小博弈，包括一个生成器G，生成给定随机噪声向量的合成数据；一个判别器D，区分真实数据和生成器的合成数据。
[0008]深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks，DCGAN)是现有对GAN网络的一种比较好的改进，其主要的改进主要是在网络结构上，增加了卷积层。DCGAN极大的提升了GAN训练的稳定性以及生成结果质量。由于现有DCGAN网络中，采用的卷积运算符具有一个局部感受域，因此在经过几个卷积层之后，只能处理长距离的相关性。

技术实现思路

[0009]本专利技术提供了一种基于改进DCGAN的图像数据集增强方法、存储介质及终端，在生成器G和判别器D中分别选择和引入不同尺度下的注意力机制，以弥补现有技术的不足。
[0010]为实现上述目的，一方面，本专利技术提供一种基于改进DCGAN的图像数据集增强方法，包括如下步骤：
[0011]步骤S1、输入随机噪声进入生成器G：所述随机噪声同时输入deconv1模块和Squeeze&Excitation模块中进行两路运算处理；将所述两路运算处理后的图像进行叠加；叠加后的图像进入deconv2模块中进行处理，实现图像的生成；
[0012]步骤S2、生成的图像和真实图像进入判别器D：生成的图像进行若干次2d卷积、Coordinate Attention模块、InstanceNorm2d正则化、LeakyReLU的顺序操作之后，进行一次2d卷积，最后通过Sigmoid函数激活输出；
[0013]步骤S3、反复重复所述步骤S1至S2，直至所述生成器G与判别器D达到纳什均衡，并得到扩充的图像数据集。
[0014]所述改进DCGAN中，生成器G中引入了Squeeze&Excitation注意力机制，使得模型对各个channel的特征更有辨别能力；在判别器D中引入了Coordinate Attention注意力机制，增强了对空间位置特征的学习与表达能力，有效提升模型的准确率，且计算消耗小。
[0015]进一步地，在所述deconv1模块内，按次序包括两次2d逆卷积、InstanceNorm2d正则化和ReLU激活函数；在所述deconv2模块内，按次序包括2d逆卷积、InstanceNorm2d正则化和ReLU激活函数、以及2d卷积和tanh激活函数。
[0016]进一步地，所述判别器D包括六重模块，每个模块包括一次2d卷积、Coordinate Attention模块、InstanceNorm2d正则化与LeakyReLU激活函数。
[0017]进一步地，所述步骤S2中，所述判别器D的损失函数为：
[0018][0019]其中，其中，
[0020]式中，真实数据为x，生成数据为
[0021]进一步地，所述步骤S1中，所述生成器G的损失函数为：
[0022][0023]进一步地，所述一种图像数据集增强方法用于冠脉造影图像数据集增强。
[0024]另一方面，本专利技术提供一种计算机存储介质，具有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述的图像数据集增强方法。
[0025]再一方面，本专利技术提供一种智能终端，其特征在于，包括：一或多个存储器及一或多个处理器；
[0026]所述一或多个存储器，用于存储计算机程序；
[0027]所述一或多个处理器，连接所述存储器，用于运行所述计算机程序以执行如上述
的图像数据集增强方法。
[0028]与现有技术相比，上述专利技术具有如下优点或者有益效果：
[0029](1)本专利技术在生成器G的deconv1模块引入Squeeze&Excitation注意力机制作为并行模块，将一个channel上整个空间特征编码为一个全局特征，从而使得模型对各个channel的特征更有辨别能力；同时在判别器D中每个模块引入Coordinate attention(CA)注意力机制，增强了网络对空间位置特征的学习与表达能力，可有效地提升模型的准确率，且计算消耗小；
[0030](2)本专利技术能够有效地扩充冠脉造影的数据集，对深度学习中冠脉造影条件下的血管识别领域有很大帮助作用，能为各类冠脉造影血管分割的深度学习模型提供可靠高效的大规模数据集支撑；
[0031](3)本专利技术生成图像的准确度高，判别器D的整体D_loss达到了0.0081098。
附图说明
[0032]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术及其特征和优点将会变得更加明显。
[0033]图1为本专利技术一实施例中的基本模型框架；
[0034]图2为本专利技术一实施例的生成器G的结构示意图；
[0035]图3为本专利技术一实施例的判别器D的结构示意图；
[0036]图4为本专利技术一实施例所用的真实图像；
[0037]图5为本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进DCGAN的图像数据集增强方法，其特征在于，包括如下步骤：步骤S1、输入随机噪声进入生成器G：所述随机噪声同时输入deconv1模块和Squeeze&Excitation模块中进行两路运算处理；将所述两路运算处理后的图像进行叠加；叠加后的图像进入deconv2模块中进行处理，实现图像的生成；步骤S2、生成的图像和真实图像进入判别器D：生成的图像进行若干次2d卷积、Coordinate Attention模块、InstanceNorm2d正则化、LeakyReLU的顺序操作之后，进行一次2d卷积，最后通过Sigmoid函数激活输出；步骤S3、反复重复所述步骤S1至S2，直至所述生成器G与判别器D达到纳什均衡，并得到扩充的图像数据集。2.根据权利要求1所述的一种基于改进DCGAN的图像数据集增强方法，其特征在于，在所述deconv1模块内，按次序包括两次2d逆卷积、InstanceNorm2d正则化和ReLU激活函数；在所述deconv2模块内，按次序包括2d逆卷积、InstanceNorm2d正则化和ReLU激活函数、以及2d卷积和tanh激活函数。3.根据权利要求1所述的一种基于...

【专利技术属性】
技术研发人员：齐鹏，姚天亮，张毅，
申请(专利权)人：同济大学，
类型：发明
国别省市：