基于集成机器学习的DME预后信息预测系统及其应用方法技术方案

本发明专利技术提供的一种基于集成机器学习的DME预后信息预测系统及其应用方法，包括预处理模块对数据进行预处理；特征提取模块利用三种深度学习模型对预处理后图像进行图像特征提取；网络构建模块进行深度学习网络的构建；特征融合模块将得到的图像特征进行融合；数据处理模块对图像融合特征及深度学习网络生成的文本数据进行处理，生成概率分布图；预测模块根据概率分布图生成CFT及BCVA的预测值。本发明专利技术提供的系统及其应用方法，通过网络构建模块构建深度学习网络处理OCT图像，加入临床变量，得到融合图像特征和临床变量的文本特征，最后由预测模块做出CFT和BCVA的预测，准确地提供客观的预测值，有效地提高了预测精度，摆脱了传统预测方法所存在的弊端。

DME Prognostic Information Prediction System Based on Integrated Machine Learning and Its Application

【技术实现步骤摘要】
基于集成机器学习的DME预后信息预测系统及其应用方法
本专利技术涉及临床医学眼科和计算机工程领域，更具体的，涉及一种基于集成机器学习的DME预后信息预测系统，还涉及该系统的应用方法。
技术介绍
糖尿性黄斑水肿DME患者视力明显下降，形态学上表现为视网膜从黄斑中心凹向视神经增厚。玻璃体腔注射抗血管内皮生长因子VEGF药物手术是目前治疗DME的最主要手段，但不同DME患者对抗VEGF药物的反应不一，其中约三分之一DME患者反应无效(反应无效定义为经3月规律注射抗VEGF药物后第1个月黄斑中心凹中央厚度CFT降幅小于50μm或最佳矫正视力BCVA改善少于0.1logMAR)。抗VEGF药效仅维持约1月，需多次反复注射，目前尚未纳入医保且价格昂贵，对患者来说有一定的经济负担。因此，术前预测DME患者抗VEGF治疗后的视力提升及水肿消退情况，对于抗VEGF药物反应不佳的患者采取其他治疗方法(如玻璃体腔激素注射)，对减轻患者乃至社会的负担均有极大帮助。研究表明，DME的预后信息可以从治疗前的光学相干断层扫描技术(OCT)图像中获得：第一，DME的OCT图像分型。弥漫水肿型DME患者对抗VEGF药物反应最好，囊样水肿型次之，而浆液性视网膜脱离型反应最差。第二，内层——外层视网膜连接层和外界膜的完整性。在抗VEGF治疗之前保留完整的内层-外层视网膜连接层和外界膜与治疗后CFT和BCVA的更好改善相关。第三，中心凹下脉络膜厚度。具有较厚基线中心凹下脉络膜厚度的眼具有更好的短期解剖和功能反应，即更大幅度的CFT下降和BCVA的改善。此外，DME的预后信息可以从治疗前的临床变量中获得：男性、年龄小、糖尿病病程短、DME病程短、糖化血红蛋白正常、无全视网膜激光光凝术史等患者对抗VEGF治疗方案反应更好。根据以上传统的预测方法，眼科医生在DME患者抗VEGF药物治疗后的CFT、BCVA的预测领域表现一般。其主要原因就在于传统的预测方法主观性很强、综合考虑的因素比较多且复杂，且很大部分取决于眼科医生临床经验及知识水平。因此，对于缺乏临床经验的年轻医生以及医疗水平相对较低的社区基层医院的医生来说，做出准确的术后预测是存在很大困难的。但是，目前仍无快速、准确、通用性强、应用范围广的DME患者抗VEGF术后恢复的评估手段用于临床。
技术实现思路
本专利技术为克服上述传统的DME预后信息预测方法存在主观性强，且很大部分取决于眼科医生临床经验及知识水平的技术缺陷，提供一种基于集成机器学习的DME预后信息预测系统。本专利技术还提供该系统的应用方法。为解决上述技术问题，本专利技术的技术方案如下：基于集成机器学习的DME预后信息预测系统，包括预处理模块、特征提取模块、网络构建模块、特征融合模块、数据处理模块和预测模块；其中：所述预处理模块对OCT图像、临床变量文本数据进行预处理，并将处理结果发送至所述特征提取模块；所述特征提取模块利用三种深度学习模型对预处理后的OCT图像进行图像特征提取；所述网络构建模块根据所述特征提取模块进行深度学习网络的构建；所述特征融合模块将所述特征提取模块得到的图像特征进行融合；所述数据处理模块对图像融合特征及深度学习网络生成的文本数据进行处理，生成概率分布图；所述预测模块根据概率分布图生成CFT及BCVA的预测值，完成DME预后信息的预测。其中，所述的OCT图像为TIFF格式，所述临床变量文本数据包括但不仅限于：性别、年龄、BCVA、早期治疗糖尿病视网膜病变的研究ETDRS评分、眼压、糖尿病类型、糖尿病病程、之前是否曾行全视网膜激光光凝术、血清随机葡萄糖、血清基线糖化血红蛋白值HbA1c，是否伴随高血压、注射的抗VEGF药物种类。其中，所述对OCT图像、临床变量文本数据进行预处理具体为：所述OCT图像预处理，包括对于图像饱和像素值移除、去噪及边缘切除；所述临床变量文本数据，包括从设备上读取临床数据并进行筛选，筛选出有价值的临床数据备用。其中，所述特征提取模块包括三种深度学习模型包括AlexNet深度学习模型、Vgg16深度学习模型和ResNet18深度学习模型。一种基于集成机器学习的DME预后信息预测系统的应用方法，包括以下步骤：S1：收集确诊为DME患者的OCT图像及临床变量文本数据，对OCT图像、临床变量文本数据进行预处理；S2：利用三种深度学习模型对预处理后的OCT图像进行图像特征提取，通过融合各图像特征，构建深度学习网络；S3：构建集成机器学习模型，对深度学习网络得到的融合图像特征和预处理后的临床变量文本数据进行处理，生成概率分布图；S4：根据概率分布图生成CFT及BCVA的预测值，完成DME预后信息的预测。其中，所述步骤S2的具体过程为：S21：创建并微调已在ImageNet数据集上预训练的三种深度学习模型，包括冻结网络浅层权重和替换网络任务层；S22：三种深度学习模型分别对预处理后的OCT图像进行图像特征提取；S23：将提取到的图像特征提取进行融合并降维，形成深度学习网络。其中，所述步骤S3具体为：S31：将深度学习网络得到的融合图像特征和预处理后的临床变量文本数据进行融合，得到融合特征；S32：利用四个机器学习模型构建集成机器学习模型，对融合特征进行处理，得到CFT预测值和BCVA预测值；S33：根据CFT预测值和BCVA预测值生成CFT概率分布图和BCVA概率分布图。其中，所述的四个机器学习模型包括SVM机器学习模型、lasso机器学习模型、DecisionTree机器学习模型和RandomForest机器学习模型。其中，在所述步骤S4中，通过选取CFT概率分布图中数值分布最集中的三个区域，计算落在区域内预测值的平均值，得到CFT的预测值；通过选取BCVA概率分布图中数值分布最集中的两个区域，计算落在区域内预测值的平均值，得到BCVA的预测值。与现有技术相比，本专利技术技术方案的有益效果是：本专利技术提供的一种基于集成机器学习的DME预后信息预测系统及其应用方法，通过网络构建模块构建深度学习网络处理OCT图像并由特征提取模块提取图像特征，加入临床变量，得到融合图像特征和临床变量的文本特征，最后由预测模块利用集成机器学习模型做出CFT和BCVA的预测，准确地提供客观的预测值，有效地提高了预测精度，摆脱了传统预测方法所存在的弊端。附图说明图1为本专利技术的系统连接示意图；图2为本专利技术的方法流程示意图；图3为本专利技术具体实施过程示意图；其中：1、预处理模块；2、特征提取模块；3、网络构建模块；4、特征融合模块；5、数据处理模块；6、预测模块。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。实施例1如图1所示，基于集成机器学习的DME预后信息预测系统，包括预处理模块1、特征提取模块2、网络构建模块3、特征融合模块4、数据处理模块5和预测模块6；其中：所述预处理模块1对OCT图像、临床变量文本数据进行预处理，并将处理结果发送至所述特征提取模块2；所述特征提取模块2利用三种深度学习模型对预处理后的OCT图像进行图像特征本文档来自技高网...

【技术保护点】
1.基于集成机器学习的DME预后信息预测系统，其特征在于：包括预处理模块(1)、特征提取模块(2)、网络构建模块(3)、特征融合模块(4)、数据处理模块(5)和预测模块(6)；其中：所述预处理模块(1)对OCT图像、临床变量文本数据进行预处理，并将处理结果发送至所述特征提取模块(2)；所述特征提取模块(2)利用三种深度学习模型对预处理后的OCT图像进行图像特征提取；所述网络构建模块(3)根据所述特征提取模块(2)进行深度学习网络的构建；所述特征融合模块(4)将所述特征提取模块(2)得到的图像特征进行融合；所述数据处理模块(5)对图像融合特征及深度学习网络生成的文本数据进行处理，生成概率分布图；所述预测模块(6)根据概率分布图生成CFT及BCVA的预测值，完成DME预后信息的预测。

【技术特征摘要】
1.基于集成机器学习的DME预后信息预测系统，其特征在于：包括预处理模块(1)、特征提取模块(2)、网络构建模块(3)、特征融合模块(4)、数据处理模块(5)和预测模块(6)；其中：所述预处理模块(1)对OCT图像、临床变量文本数据进行预处理，并将处理结果发送至所述特征提取模块(2)；所述特征提取模块(2)利用三种深度学习模型对预处理后的OCT图像进行图像特征提取；所述网络构建模块(3)根据所述特征提取模块(2)进行深度学习网络的构建；所述特征融合模块(4)将所述特征提取模块(2)得到的图像特征进行融合；所述数据处理模块(5)对图像融合特征及深度学习网络生成的文本数据进行处理，生成概率分布图；所述预测模块(6)根据概率分布图生成CFT及BCVA的预测值，完成DME预后信息的预测。2.根据权利要求1所述的基于集成机器学习的DME预后信息预测系统，其特征在于：所述的OCT图像为TIFF格式，所述临床变量文本数据包括但不仅限于：性别、年龄、BCVA、早期治疗糖尿病视网膜病变的研究ETDRS评分、眼压、糖尿病类型、糖尿病病程、之前是否曾行全视网膜激光光凝术、血清随机葡萄糖、血清基线糖化血红蛋白值HbA1c，是否伴随高血压、注射的抗VEGF药物种类。3.根据权利要求2所述的基于集成机器学习的DME预后信息预测系统，其特征在于：所述对OCT图像、临床变量文本数据进行预处理具体为：所述OCT图像预处理，包括对于图像饱和像素值移除、去噪及边缘切除；所述临床变量文本数据，包括从设备上读取临床数据并进行筛选，筛选出有价值的临床数据备用。4.根据权利要求3所述的基于集成机器学习的DME预后信息预测系统，其特征在于：所述特征提取模块(2)包括三种深度学习模型包括AlexNet深度学习模型、Vgg16深度学习模型和ResNet18深度学习模型。5.一种如权利要求4所述的基于集成机器学习的DME预后信息预测系统的应用方法，其特征在于，包括以下步骤：S1：收集确诊为D...

【专利技术属性】
技术研发人员：余洪华，蔡宏民，杨小红，刘宝怡，张滨，黄漫清，吴乔伟，
申请(专利权)人：广东省人民医院广东省医学科学院，
类型：发明
国别省市：广东,44