合成病变图像的生成方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种合成病变图像的生成方法、装置、设备及可读存储介质，根据病变参考图，病变检测网络及对称的激活网络生成病理描述符，该病理描述符蕴含着病变特征；将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图。本方案中，通过对病理描述符进行增删改等操作，来操纵合成病变图中病变的位置和数量，以生成多样性的结果。因此，本方案对病变的合成更有针对性，且生理细节方面合成足够逼真，可以满足扩大深度学习检测器训练集规模的要求。

Generation Method, Device, Equipment and Readable Storage Medium of Synthetic Disease Image

The invention discloses a method, device, device and readable storage medium for synthesizing pathological image, which generates pathological descriptors according to pathological reference, pathological detection network and symmetrical activation network. The pathological descriptors contain pathological features, and input physiological characteristic maps and random vectors into the generated network model trained with the pathological descriptors to generate synthetic diseases. Change graph. In this scheme, by adding or deleting pathological descriptors, the location and number of lesions in the synthetic lesion map are manipulated to generate diverse results. Therefore, this scheme is more specific for the synthesis of lesions, and the synthesis of physiological details is realistic enough to meet the requirements of expanding the training set of depth learning detector.

【技术实现步骤摘要】
合成病变图像的生成方法、装置、设备及可读存储介质
本专利技术涉及计算机视觉和医疗图像处理领域，尤其涉及一种合成病变图像的生成方法、装置、设备及可读存储介质。
技术介绍
医疗图像在疾病预防、医疗诊断的过程中起着重要的作用。以糖尿病视网膜病变为例，这是在糖尿病患者中高发的一种疾病，如果没有早期发现、及时治疗，可能会导致失明。为了指导该疾病的诊疗，美国眼科学会按照病变增殖程度制定了5个病变等级，并分别给出治疗建议。长期以来，糖尿病视网膜病的诊断主要借助于视网膜眼底图，需要专业医师来给出判断。得益于深度学习的快速发展，大量的基于深度学习的神经网络，能够根据输入的眼底图，自动计算得到病变的严重程度，但会出现以下问题：一方面，神经网络对眼底图进行分类时的依据不太明确，很难直接在病理层面进行更多操作。另一方面，神经网络的检测准确率、泛化能力还有待提高。为了提高深度学习检测器的分类准确率和泛化能力，最简单的方法是扩大训练集的规模。然而，扩大训练集直接导致人工标注成本的上升。在医疗图像数据的合成领域，最初人们使用医学内的先验知识和复杂的方法来生成真实的图像，后来开始采用数据驱动的合成方式。这些研究大多本文档来自技高网...

【技术保护点】
1.一种合成病变图的生成方法，其特征在于，包括：根据病变参考图，病变检测网络及对称的激活网络生成病理描述符；将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图；其中，所述训练后的生成网络模型中采用生成对抗损失函数，生理细节损失函数和病理损失函数来共同约束生成网络模型中的参数以对所述生成网络模型进行训练。

【技术特征摘要】
1.一种合成病变图的生成方法，其特征在于，包括：根据病变参考图，病变检测网络及对称的激活网络生成病理描述符；将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图；其中，所述训练后的生成网络模型中采用生成对抗损失函数，生理细节损失函数和病理损失函数来共同约束生成网络模型中的参数以对所述生成网络模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述根据病变参考图，病变检测网络及对称的激活网络生成病理描述符，具体包括：对所述病变参考图采用所述病变检测网络进行多层特征提取，形成每个特征层数据；采用与所述病变检测网络对称的激活网络对每个所述特征数据层数据进行处理，获得每个特征层数据对应的激活层数据；获取预设层的特征层数据，激活层数据及掩码图；根据所述预设层的特征层数据，激活层数据及掩码图构建病理描述符。3.根据权利要求1所述的方法，其特征在于，所述将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络中，生成合成病变图之前，还包括：构建生成网络模型，判别器子网络模型，特征提取子网络模型，及病变检测子网络模型；所述判别器子网络模型与所述生成对抗损失函数相对应，生理细节特征提取子网络模型与所述生理细节损失函数相对应，所述病变检测子网络模型与所述病理损失函数相对应；采用训练样本对所述生成网络模型进行训练，并在训练中采用总损失函数对所述生成网络模型的参数进行约束；调整所述生成网络模型的参数，若所述总损失函数达到最小，则确定所述生成网络模型为训练后的生成网络模型。4.根据权利要求3所述的方法，其特征在于，所述总损失函数为生成对抗损失函数，生理细节损失函数和病理损失函数的加超参数求和后的损失函数；所述总损失函数表示为：L＝w1Ladv+w2Lretina+w3Lpatho，其中Ladv表示生成对抗损失函数，Lretina表示生理细节损失函数，Lpatho表示病理损失函数，w表示超参数。5.根据权利要求4所述的方法，其特征在于，所述生成对抗损失函数为：Ladv＝logD(x)+log(1-D(G(y,z))；其中，D(.)表示判别器D的输出，G(.)表示生成器G的输出，x代表真实病变图，y代表生理特征图，z代表随机向量；所述生理细节损失函数为：其中，代表VGG-19特征提取网络的输出，l代表特征层；所述病理损失函数为：其中，|D|表示病理描述符个数，|Λ|表示特征层层数，Wr表示病变区域r的宽度，Hr表示病变区域r的高度，wgram表示Gram矩阵的权值，d表示特征描述符，G(.)表示Gram矩阵，M(.)表示掩码图，A(.)表示激活数据，F(.)表示特征数据，表示合成病变图。6.一种合成病变图的生成装置，其特征在于，包括：生成模块，用于根据病变参考图，病变检测网络及对称的激活网络生成病理描述符；合成模块，用于将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模...

【专利技术属性】
技术研发人员：陆峰，牛钰浩，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11