一种具有病症语义的视网膜图像生成方法技术

一种具有病症语义的视网膜图像生成方法，其特征是：首先构造对称编码病变特征提取网络对真实糖尿病性视网膜图像提取其病变定位图，得到病变特征向量；再构造基于病症特征的生成网络，进行生成模型的综合损失设计，利用真实彩色视网膜图像及病症特征向量训练生成模型，获得相应疾病等级的糖尿病性视网膜图像。本发明专利技术提出的生成方法利用真实眼底图像的病症特征指导模型生成对应疾病等级的视网膜图像，以解决基于深度学习的糖尿病性视网膜分级算法需要大量图像数据的问题。需要大量图像数据的问题。

【技术实现步骤摘要】
一种具有病症语义的视网膜图像生成方法


[0001]本专利技术属于模式识别
，具体涉及一种具有病症语义特征的视网膜图像生成方法。

技术介绍

[0002]糖尿病视网膜病变是糖尿病最严重的一种并发症，若这种并发症没有得到及时检查和治疗，很可能导致病人视力受损甚至失明。由于这种并发症是可预防的，因此可利用视网膜影像分析技术辅助医生对糖尿病性视网膜疾病实现更为早期和全面的诊断。
[0003]近年来，基于深度学习的视网膜疾病诊断技术引起了广泛关注。但基于深度学习的算法需要较大的数据集，而目前公开的医学视网膜图像数据集较少，数据集内不同类别数据分布不均衡，不利于基于深度学习的疾病诊断系统的开发。因此，如何生成有效的视网膜图像数据成为视网膜疾病自动诊断系统开发的关键问题。

技术实现思路

[0004]本专利技术的目的在于提供一种有效的具有病症语义的视网膜图像生成方法，利用真实图像数据的病症特征数据指导模型生成对应疾病等级的视网膜图像，以解决基于深度学习的糖尿病性视网膜分级算法的大量图像数据需求。
[0005]本专利技术的目的是这样实现的：一种具有病症语义的视网膜图像生成方法，首先构造对称编码病变特征提取网络对真实糖尿病性视网膜图像提取其病变定位图，得到病变特征向量；再构造基于病症特征的视网膜生成网络，进行生成模型的综合损失设计，利用真实彩色视网膜图像及病症特征向量训练生成模型，获得相应疾病等级的糖尿病性视网膜图像。
[0006]所述的对称编码病变特征提取网络由三层的编码器及与编码器结构对称的解码器构成；编码器每层由两个3
ꢀ×ꢀ
3核的卷积层、ReLU激活函数和归一化层组成，每层还包含1
×
1卷积和归一化层构成的残差连接。此外，每层编码器由2
×
2的最大池化层分隔，通过最大池化操作来向下采样内部特征映射；解码器层由与编码器级别相同的模块组成，每个解码器层之前使用一个步长为 2的转置2
×
2卷积进行上采样，其输出与对应分辨率的编码器层通过一个含3
×
3卷积、ReLU激活函数和归一化层的跳跃连接相连；在最后一层添加一个1
×
1的卷积和线性激活函数，用于糖尿病性视网膜病变特征提取任务的定位图回归；对称编码病变特征提取网络中带有跳跃连接的编码
‑
解码结构能够融合不同层级的病变特征，每一次下采样都会有一个跳跃连接与对应的上采样进行级联，高层（浅层）下采样倍数小，特征图具备更加细致的图特征，底层（深层）下采样倍数大，病变信息经过大量浓缩，有助于对病变区域的判断；提取到视网膜图像的病变特征后，再对二值化的病变特征图进行二进制编码得到病症特征向量；
所述的基于病症特征的视网膜生成网络，其特征是：基于病症特征的视网膜图像生成网络由生成器和分类器组成；病症特征向量通过生成器的非线性映射层后作为风格控制参数来调控基本块，生成器的基本块是在卷积层中加入可训练的权重和偏差构成；训练生成器生成逼真的图像和糖尿病疾病级别标签对，分类器辨别输入的病症特征向量及标签对是否正确；为了欺骗分类器，生成器既要生成逼真的糖尿病性视网膜图像又要使生成的图像疾病等级正确。通过只接受正确标签类别的真实图像，利用损失函数和反向传播算法，更新生成器参数，使得生成器能够生成对应糖尿病等级的逼真的视网膜图像。
[0007]生成器和分类器需要图像疾病分级的类别信息，类别信息的嵌入是通过在生成器和分类器的输入端插入嵌入层实现的；生成器通过嵌入函数把类别信息映射成病症特征向量长度相同的向量，再与输入向量相乘实现类别信息的嵌入；分类器的嵌入层是把类别信息通过嵌入函数生成和输入视网膜图像尺寸大小相同的向量，再叠加到输入图像，分类器的输入在通道上增加了1层；所述的生成模型的综合损失设计，其特征是：为了综合考虑生成图像与目标图像的高度相似性及对应纹理细节的准确生成，本专利技术设计的训练损失由三个部分组成，分别为对抗损失、感知损失和二次判别损失，则模型综合损失函数L可表示如下：其中，、为超参数，用来控制每个损失的作用程度；以生成网络为例，假设彩色眼底图像为域A，生成图像为域B，具体表达如下：下：为生成的病症特征图像，a为输入的彩色眼底图像，为判别网络B。
[0008]由于视网膜图像具有显著的纹理特征，专利技术采用感知损失来更好的重建图像纹理细节；用表示网络中第i个maxpooling层之前的第j个卷积激活层前得到的特征映射，然后将其定义为重建图像特征表示生成图像与真实图像之间的欧氏距离，以为例，表示为：其中，b为病症特征图像，和为特征映射的维度。同理可得的另一部分；因为判别网络的目标是判别生成的图像对是否和同标签的对应彩色眼底图像和病症特征图像特征保持一致，因此专利技术使用二分类交叉熵损失度量生成图像，函数表达如下：其中y是样本标签，如果生成图像属于同严重程度的糖尿病，取值为1，否则取值为
0，是输入隶属于同类疾病图像对的概率，为权值衰减项，用以提高模型泛化能力。
[0009]本专利技术的主要贡献和特点在于：本专利技术提出的一种具有病症语义的视网膜图像生成模型，该模型利用对称编码病变特征提取网络对不同疾病等级的原始真实糖尿病性视网膜图像提取其病变定位图，得到病变特征向量，再利用真实彩色视网膜图像及病症特征向量训练生成模型，获得相应疾病等级的高质量的糖尿病性视网膜图像，有效缓解高质量的糖尿病性视网膜图像数据匮乏问题。
附图说明
[0010]图1本专利技术主要流程图。
[0011]图2病变向量提取示意图。
[0012]图3编码器结构图。
[0013]图4对称编码病变特征提取网络结构图。
[0014]图5基于病症特征的视网膜图像生成模型结构图。
[0015]图6生成器结构图。
具体实施方式
[0016]下面结合附图举例对本专利技术做更详细地描述：本专利技术生成视网膜数据的目的是为了解决基于深度学习的糖尿病性视网膜分级算法需要大量图像数据，以及目前大多数公开的糖尿病性视网膜图像数据集内不同疾病等级数据分布不均衡的问题。因此，本专利技术提出利用真实图像数据的病症特征数据指导模型生成对应疾病等级的视网膜图像。
[0017]本专利技术提出的一种具有病症语义的视网膜图像生成模型流程图如图1所示，该模型由病症特征提取网络与图像生成网络组成。首先利用对称编码病变特征提取网络对不同疾病等级的原始真实糖尿病性视网膜图像提取其病变定位图，得到病变特征向量，提取示意图如图2所示。再设计生成模型与损失函数，利用真实彩色视网膜图像及病症特征向量训练生成模型，获得相应疾病等级的高质量的糖尿病性视网膜图像。
[0018]1对称编码病变特征提取网络本专利技术提出的对称编码病变特征提取网络的编码器有三层，每层由两个3
ꢀ×ꢀ
3核的卷积层、ReLU激活函数和归一化层组成，每层还包含1
×
1卷积和归一化层构成的残差连接。此外，每层编码器由2
×
2的最大池化层分隔，通过最大池化操作来向下采样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有病症语义的视网膜图像生成方法，其特征是：首先构造对称编码病变特征提取网络对真实糖尿病性视网膜图像提取其病变定位图，得到病变特征向量；再构造基于病症特征的视网膜生成网络，进行生成模型的综合损失设计，利用真实彩色视网膜图像及病症特征向量训练生成模型，获得相应疾病等级的糖尿病性视网膜图像。2.根据权利要求1所述的对称编码病变特征提取网络，其特征是：所述的对称编码病变特征提取网络由三层的编码器及与编码器结构对称的解码器构成；编码器每层由两个3
ꢀ×ꢀ
3核的卷积层、ReLU激活函数和归一化层组成，每层还包含1
×
1卷积和归一化层构成的残差连接；此外，每层编码器由2
×
2的最大池化层分隔，通过最大池化操作来向下采样内部特征映射；解码器层由与编码器级别相同的模块组成，每个解码器层之前使用一个步长为 2的转置2
×
2卷积进行上采样，其输出与对应分辨率的编码器层通过一个含3
×
3卷积、ReLU激活函数和归一化层的跳跃连接相连；在最后一层添加一个1
×
1的卷积和线性激活函数，用于糖尿病性视网膜病变特征提取任务的定位图回归；对称编码病变特征提取网络中带有跳跃连接的编码
‑
解码结构能够融合不同层级的病变特征，每一次下采样都会有一个跳跃连接与对应的上采样进行级联，高层（浅层）下采样倍数小，特征图具备更加细致的图特征，底层（深层）下采样倍数大，病变信息经过大量浓缩，有助于对病变区域的判断；提取到视网膜图像的病变特征后，再对二值化的病变特征图进行二进制编码得到病症特征向量；所述的基于病症特征的视网膜生成网络，其特征是：基于病症特征的视网膜图像生成网络由生成器和分类器组成；病症特征向量通过生成器的非线性映射层后作为风格控制参数来调控基本块，生成器的基本块是在卷积层中加入可训练的权重...

【专利技术属性】
技术研发人员：马慧，臧峰，王明杨，王嘉乐，李天翔，
申请(专利权)人：黑龙江大学，
类型：发明
国别省市：