老年黄斑性病变先验性可解释方法、系统及存储介质技术方案

本发明专利技术公开了老年黄斑性病变先验性可解释方法、系统及存储介质，属于图像处理领域。其中方法包括：对不同类型的眼底照片设置对应的判断AMD的特征维度；对所述眼底图片数据中UWF眼底图片的进行黄斑中心凹检测，得到检测结果；基于病症量化结果，对眼底图片在图片像素级别的AMD阳性数据进行病症标记，得到标记图片；对眼底图片进行预处理；基于标记图片，通过CGAN的改良数据增强模型进行图片增强；基于增强数据，基于MsTGANet+Gan半监督学习模型进行病症图像分割，得到病症分割数据；基于增强数据和病症分割数据，构建图片分类模型；对眼底图片进行分类识别，并根据分类识别结果生成可解释性病症描述。本发明专利技术能够帮助眼科医生更好地了解预测模型原理及依据。地了解预测模型原理及依据。地了解预测模型原理及依据。

A priori interpretable method, system and storage medium of senile macular disease

【技术实现步骤摘要】
老年黄斑性病变先验性可解释方法、系统及存储介质


[0001]本专利技术涉及图像处理领域，特别涉及一种老年黄斑性病变先验性可解释方法、系统及存储介质。

技术介绍

[0002]近年来，随着医学成像采集设备的不断完善，以及图像处理、模式识别、机器学习等学科的不断发展，多学科交叉的医学图像处理和分析领域取得了丰硕的成果。这些成果对于辅助医生进行快速精确的诊断具有重大的意义。
[0003]老年性黄斑变性(age related macular degeneration，AMD)是严重威胁老年人视功能的眼底病变。在西方国家AMD为50岁以上患者不可逆性严重视力损害的最主要的原因。临床上AMD分为渗出型(湿性)和菱缩型(干性)两型，菱缩型AMD约占整个AMD的90％，渗出型AMD约占整个AMD的10％。据有关研究分析，60％～90％因AMD失明的患眼系由于渗出型病变所致。鉴于此病变对视力损害的严重性及发病率有增加的趋势，越来越多新开发的检查设备已用于AMD的检查之中。
[0004]尽管采用机器学习模型可以辅助医生对老年黄斑病变进行病症分类诊断，但是仍然存在许多问题。例如用于学习的数据量少，公开数据集对于常见病种的医学影像图片大多为100例左右，对于罕见眼底疾病更少，而真实世界的数据较难获得。并且大量数据精准标记难度较大。对于医学领域的标记，尤其是基于像素的标记，难度较大，对于标记人员要求较高。图片尺寸较大。对于UWF，单张图片尺寸大、分辨率高、噪声音系过多，对模型的处理速度有一定要求。基于眼底图像的AMD病症可解释量化难度较大。基于OCT、RCF和UWF的AMD眼底病症的量化，仍然属于医学和影像学领域的难点，对于交叉领域研究人员的要求较高。对于模型要求较高。眼底图像目标分割病症边界模糊，梯度复杂，对算法的分割准确要求较高。多模态。眼底数据包含OCT、OCTA、RCFP、UWF等多模态数据。对模型的泛化性和鲁棒性要求较高。人工智能技术在眼科临床上的可解释性难度较大，主要体现于：a)数据计算模式和结果诊断模式有很大的区别：人工智能技术主要基于数字驱动的判断，而眼科临床注重的是临床表现；此外，AI诊断的逻辑为先有诊断结果，后解释倒推原因，具有滞后性，且容易出现病灶判别失误和漏判的情况，而在临床上诊断为根据病理特征实现的诊断，强调先验性。b)由于AI方法存在的黑盒子和鲁棒性问题，无法在医学领域得到完全的信任。c)AI方法对数据质量的依赖性较强，在显示实验过程中少量临床数据的前提下存在很大的测试差异。

技术实现思路

[0005]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种老年黄斑性病变先验性可解释方法、系统及存储介质，能够帮助眼科医生更好地了解预测模型原理及依据。
[0006]本专利技术实施例一方面提供一种老年黄斑性病变先验性可解释方法，包括以下步骤：对不同类型的眼底照片设置对应的判断AMD的特征维度，得到病症量化结果；其中所述
眼底照片的类型包括OCT眼底照片、RCFP眼底照片和UWF眼底照片；获取眼底图片数据，并对所述眼底图片数据中UWF眼底图片的进行黄斑中心凹检测，得到检测结果；基于所述病症量化结果，对眼底图片在图片像素级别的AMD阳性数据进行病症标记，得到标记图片；对眼底图片进行预处理，包括对UWF眼底图片进行ROI分割；基于所述标记图片，通过CGAN的改良数据增强模型进行图片增强，得到增强数据；基于所述增强数据，基于MsTGANet+Gan半监督学习模型进行病症图像分割，得到病症分割数据；基于所述增强数据和所述病症分割数据，构建图片分类模型；基于所述图片分类模型对眼底图片进行分类识别，并根据分类识别结果生成可解释性病症描述。
[0007]根据本专利技术的一些实施例，所述对所述眼底图片数据中UWF眼底图片的进行黄斑中心凹检测，得到检测结果包括：基于目标识别算法或图像分割算法对所述UWF眼底图片进行黄斑中心凹检测，得到检测结果；其中，所述目标识别算法包括但不限于Inception和yolo5，所述图像分割算法包括但不限于Unet。
[0008]根据本专利技术的一些实施例，所述对眼底图片进行预处理还包括以下各项中的一项：矫正左右眼、矫正倒置图片和图片归一化。
[0009]根据本专利技术的一些实施例，所述改良数据增强模型包括：生成器，为U型网络结构；判别器，包括第一判别器、第二判别器、第三判别器和第四判别器，所述判别器的结构为Conv
×
2+BN+ReLU层+Conv+激活函数；粗生成器，结构为映射+填充、三个卷积+若干正则化+线性整流函数和四个ResBlk，用于生成眼底主要特征，所述眼底主要特征包括黄斑区、视盘和颜色结构；所述第一判别器，输入为低像素图片及粗生成器生成图片，输出为半解析度图像；细生成器，结构为三个ResBlk、一个Deconv、一个Conv和一个输出启动层，用于生成局部信息，所述局部信息包括视网膜小静脉、小动脉、出血、渗出和微动脉瘤；所述第二判别器，输入为图像为高像素图片和细生成器生成图片，输出为全解析度图像；所述粗生成器和所述细生成器构成粗+细生成器，所述的粗+细生成器的结构通过将粗生成器的最后一个ResBlk添加到细生成器的第一个Conv层得到，用于生成所述眼底主要特征和所述局部信息；所述第三判别器，输入为图像为低像素图片和所述粗+细生成器的生成图片，输出为全解析度图像；所述第四判别器，输入为高像素图片和所述粗+细生成器的生成图片，输出为全解析度图像。
[0010]根据本专利技术的一些实施例，所述MsTGANet+Gan半监督图像模型包括：CGAN，用于生成验证数据集，完成预训练和训练；MsTGANet，包括编码器、MsTNL、MsGCS和译码器。
[0011]根据本专利技术的一些实施例，所述MsTGANet的编码器的五个部分，除了第一部分只有两个卷积层之外，其他每个块由MaxPool运算和两个卷积层组成；所述MaxPool运算用于对特征图进行下采样和扩展感受域，所述卷积层用于进行不同阶段的特征提取；所述MsTNL设置于所述编码器的路径的最后，其输入为来自不同编码器层的具有不同维度信息的特征矩阵；所述MsGCS用于代替编码器和译码器之间的跳接，引导模型融合多语义的全局特征；所述预训练包括基于像素的分类与标记、基于CGAN的图片生成，以及验证；其中，所述基于像素的分类与标记的规则为：对原始标记图像和训练分割结果图像进行二值化处理，得到二值化图像A和B；标签L计算公式如下：L＝α
‑
β,其中α∈A,β∈B；其中，α和β为A和B对应位置像素点，L∈[0,1,2]。
[0012]根据本专利技术的一些实施例，所述基于所述图片分类模型对眼底图片进行分类识别
包括：基于轻量级像素分类监督模型或Unet或Inception结构对像素点进行像素二分类任务；其中所述轻量级像素分类监督模型包括encoder
‑
decoder network和SVM；对每个像素的权重乘像素标签，再加和，并根据设定阈值，通过Relu函数得到图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种老年黄斑性病变先验性可解释方法，其特征在于，包括以下步骤：对不同类型的眼底照片设置对应的判断AMD的特征维度，得到病症量化结果；其中所述眼底照片的类型包括OCT眼底照片、RCFP眼底照片和UWF眼底照片；获取眼底图片数据，并对所述眼底图片数据中UWF眼底图片的进行黄斑中心凹检测，得到检测结果；基于所述病症量化结果，对眼底图片在图片像素级别的AMD阳性数据进行病症标记，得到标记图片；对眼底图片进行预处理，包括对UWF眼底图片进行ROI分割；基于所述标记图片，通过CGAN的改良数据增强模型进行图片增强，得到增强数据；基于所述增强数据，基于MsTGANet+Gan半监督学习模型进行病症图像分割，得到病症分割数据；基于所述增强数据和所述病症分割数据，构建图片分类模型；基于所述图片分类模型对眼底图片进行分类识别，并根据分类识别结果生成可解释性病症描述。2.根据权利要求1所述的老年黄斑性病变先验性可解释方法，其特征在于，所述对所述眼底图片数据中UWF眼底图片的进行黄斑中心凹检测，得到检测结果包括：基于目标识别算法或图像分割算法对所述UWF眼底图片进行黄斑中心凹检测，得到检测结果；其中，所述目标识别算法包括但不限于Inception和yolo5，所述图像分割算法包括但不限于Unet。3.根据权利要求1所述的老年黄斑性病变先验性可解释方法，其特征在于，所述对眼底图片进行预处理还包括以下各项中的一项：矫正左右眼、矫正倒置图片和图片归一化。4.根据权利要求1所述的老年黄斑性病变先验性可解释方法，其特征在于，所述改良数据增强模型包括：生成器，为U型网络结构；判别器，包括第一判别器、第二判别器、第三判别器和第四判别器，所述判别器的结构为Conv
×
2+BN+ReLU层+Conv+激活函数；粗生成器，结构为映射+填充、三个卷积+若干正则化+线性整流函数和四个ResBlk，用于生成眼底主要特征，所述眼底主要特征包括黄斑区、视盘和颜色结构；所述第一判别器，输入为低像素图片及粗生成器生成图片，输出为半解析度图像；细生成器，结构为三个ResBlk、一个Deconv、一个Conv和一个输出启动层，用于生成局部信息，所述局部信息包括视网膜小静脉、小动脉、出血、渗出和微动脉瘤；所述第二判别器，输入为图像为高像素图片和细生成器生成图片，输出为全解析度图像；所述粗生成器和所述细生成器构成粗+细生成器，所述的粗+细生成器的结构通过将粗生成器的最后一个ResBlk添加到细生成器的第一个Conv层得到，用于生成所述眼底主要特征和所述局部信息；所述第三判别器，输入为图像为低像素图片和所述粗+细生成器的生成图片，输出为全
解析度图像；所述第四判别器，输入为高像素图片和所述粗+细生成器的生成图片，输出为全解析度图像。5.根据权利要求1所述的老年黄斑性病变先验性可解释方法，其特征在于，所述MsTGANet+Gan半监督图像模型包括：CGAN，用于生成验证数...

【专利技术属性】
技术研发人员：王涵，
申请(专利权)人：珠海中科先进技术研究院有限公司，
类型：发明
国别省市：