一种面向养老机器人的糖尿病性视网膜眼底图像合成方法技术

本发明专利技术公开了一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，包括有S1将输入向量潜代码z、随机噪音N和DR等级类c输入styleGAN生成器得到生成图像；S2生成图像、真实图像输入到鉴别器中，由鉴别器来判别图像的真假，以提高styleGAN生成器的生成质量；S3生成图像、真实图像输入到血管分割网络中，将真实图像和生成图像进行血管分割，比较分割后图像以改进生成效果，基于StyleGAN生成器架构，对糖尿病性视网膜眼底图像进行合成，合成图像可用于帮助训练糖尿病性视网膜病变(DR)分类网络，从而可以提高性能并缓解过度拟合。从而可以提高性能并缓解过度拟合。从而可以提高性能并缓解过度拟合。

【技术实现步骤摘要】
一种面向养老机器人的糖尿病性视网膜眼底图像合成方法
[
][0001]本专利技术涉及一种图像处理领域的技术，特别涉及一种面向养老机器人的糖尿病性视网膜眼底图像合成方法。
[
技术介绍
][0002]与其他深度学习任务相比，获取医学图像数据集通常会面临以下困难：一是样本数量较少且样本分布不均匀，缺乏足够的标记样本以及与患者有关的法律问题；二是高质量的带注释的视网膜图像成本昂贵且难以获得。
[0003]而糖尿病视网膜病变(DR)是糖尿病患者中常见的视力损害性疾病。眼科医生通常根据相关病变的类型和数量来识别DR的严重程度。但是，由于异常眼底图像仅占小部分，因此DR数据在不同等级上的分布极不平衡。采用此类不平衡数据进行训练将使模型对DR严重程度较高的样本不敏感，并导致过拟合。
[
技术实现思路
][0004]本专利技术克服了现有技术的不足，提供了一种面向养老机器人的糖尿病性视网膜眼底图像合成方法。
[0005]为实现上述目的，本专利技术采用了下列技术方案：
[0006]一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：包括有以下步骤，
[0007]S1、将输入向量潜代码z、随机噪音N和DR等级类c输入styleGAN生成器得到生成图像；
[0008]S2、生成图像、真实图像输入到鉴别器中，由鉴别器来判别图像的真假，以提高styleGAN生成器的生成质量；
[0009]S3、生成图像、真实图像输入到血管分割网络中，将真实图像和生成图像进行血管分割，比较分割后图像以改进生成效果。
>[0010]如上所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：S1中styleGAN生成器读取输入向量潜代码z、随机噪音N和DR等级类c，通过映射网络将其转化成中间向量w，w经过仿射变换后进入合成网络得到生成图像。
[0011]如上所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：映射网络是由八个全连接层组成的，映射网络的输出与输入层的大小相同；DR等级类c通过嵌入层获得长度为512的表示向量，将该表示向量添加到映射网络的每个线性层输出中，映射网络将输入向量潜代码z和DR等级类c转化成中间向量w，使得w＝f(embedding(c),z)。
[0012]如上所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：合成网络是由九个生成阶段组成的渐进式生成架构，从4*4变换到8*8，最终变换到1024*1024；采用混合正则化手段，在训练过程中使用两个随机潜码w，生成图像时在合成网
络中随机选择一个交叉点，w1在某个交叉点之前应用，w2在交叉点之后应用；合成网络通过控制AdaIN操作的风格接收输入，并通过随机噪音N的输入改善结果。
[0013]如上所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：AdaIN操作是由中间向量通过可学习的仿射变换转换为放缩因子y
s,i
和偏差因子y
b,i
，这两个因子会与标准化之后的卷积输出进行加权求和的一个操作，具体如下：
[0014][0015]如上所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：随机噪音N是由高斯噪声组成的单通道图像，在AdaIN模块之前向每个通道添加一个缩放过的噪声，并稍微改变其操作的分辨率级别特征的视觉表达方式。
[0016]如上所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：S2中鉴别器是一个二分类模型，包含五个卷积层和一个全连接层，除了输入层不经过BN操作外，每层后面都有卷积、BN和激活操作，鉴别器的最后一层是全连接层，使用Sigmoid激活函数获得D的最终输出。
[0017]如上所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：S3中血管分割网络是一个U
‑
Net网络，包括有编码器、跳连接和解码器，编码器路径的第一层卷积块中的步骤，即预处理图像被用作输入，然后使用3
×
3卷积，卷积运算和ReLU激活函数同时进行，之后使用Batch Normalization进行标准化，此外使用步幅为2的最大池化来减小特征图的维度，在第二至第五层卷积块中，执行与第一层卷积块相同的步骤；在解码器路径中，上采样块使用3
×
3、步幅为2执行转置卷积，转置卷积的输出被代入ReLU激活函数，使用串联操作来执行编码和解码路径的特征图合并操作，下一步使用3
×
3矩阵再次执行卷积操作，使用Batch Normalization对卷积运算结果进行归一化，在第二至第五转置卷积层中，执行与第一层相同的步骤，解码路径中的最后一步是使用1
×
1矩阵进行卷积运算并使用Sigmoid激活函数。
[0018]如上所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：还包括有在对抗性学习体系结构中训练styleGAN生成器和鉴别器。
[0019]如上所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：在对抗性学习体系结构中，采用标准的对抗性损失L
adv
，最大限度地提高鉴别器对生成数据的输出，
[0020][0021]其中G和D分别是生成器网络和鉴别器网络，x是真实图像，z是输入向量潜代码；
[0022]还采用分割损失L
seg
来优化styleGAN生成器，将真实图像x和生成图像x
′
送入血管分割网络中，得到相应的分割特征，再通过损失最小化两个分割特征之间的差异，损失函数定义为：
[0023]L
seg
＝||UNet(x)
‑
UNet(x
′
)||1[0024]还将平滑损失添加到合成方法中，以使生成的图像更加平滑，这通过最小化每个像素与其周围像素之间的差异来提高生成图像的整体平滑度，平滑损失函数表示为：
[0025][0026]相应地，总的目标函数为：
[0027][0028]其中α、β分别是分割损失和平滑损失的权重。
[0029]本专利技术的有益效果是：
[0030]本专利技术基于StyleGAN生成器架构，对糖尿病性视网膜眼底图像进行合成，合成图像可用于帮助训练糖尿病性视网膜病变(DR)分类网络，从而可以提高性能并缓解过度拟合。
[附图说明][0031]图1为本专利技术的整体架构；
[0032]图2为本专利技术StyleGAN生成器的示意图；
[0033]图3为本专利技术血管分割网络的示意图。
[具体实施方式][0034]下面将结合附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。
[0035]需要说明，本专利技术实施例中所有方向性指示(诸如上、下、左、右、前、后
…
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，本文档来自技高网...

【技术保护点】

【技术特征摘要】
矩阵再次执行卷积操作，使用Batch Normalization对卷积运算结果进行归一化，在第二至第五转置卷积层中，执行与第一层相同的步骤，解码路径中的最后一步是使用1
×
1矩阵进行卷积运算并使用Sigmoid激活函数。9.根据权利要求1所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：还包括有在对抗性学习体系结构中训练styleGAN生成器和鉴别器。10.根据权利要求9所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：在对抗性学习体系结构中，采用标准的对抗性损失L
adv
，最大限度地提高鉴别器对生成数据的输出，其中G和D分别是生成器网络...

【专利技术属性】
技术研发人员：王茂林，吕晨，
申请(专利权)人：深圳市金大智能创新科技有限公司，
类型：发明
国别省市：