一种基于迁移学习的青光眼多模态智能识别系统技术方案

本发明专利技术公开一种基于迁移学习的青光眼多模态智能识别系统，使用迁移学习方法，针对多标签和多模态数据集进行青光眼亚型病例的深度学习模型构建，包括多模态数据预处理模块、多模态识别模块；通过对网络参数的预训练，极大减少了训练网络所使用的数据量，充分利用了数据的文本信息和图像信息，多特征综合诊断，极大提高了青光眼诊断的准确性；本发明专利技术实现了诊断深入到青光眼的亚型，突破了传统只能诊断是否为青光眼的技术手段，通过基于迁移学习的青光眼多模态智能诊断网络，实现自动从训练数据库中学习诊断青光眼的多模态特征。据库中学习诊断青光眼的多模态特征。据库中学习诊断青光眼的多模态特征。

【技术实现步骤摘要】
一种基于迁移学习的青光眼多模态智能识别系统


[0001]本专利技术涉及多模态神经网络分类
，具体涉及一种基于迁移学习的青光眼多模态智能识别系统。

技术介绍

[0002]深度学习的最新进展已被应用到不同的医疗领域，用以早期检测或预测某些异常。在眼科领域，使用深度学习方法的医学影像分析开始受到广泛关注。在主要的眼科异常中，青光眼是最严重的一种，它可能会对人类的视力造成不可逆的损害，因为它会影响到负责传递与视觉有关的感觉信息的视神经纤维。作为一种无症状的疾病，大多数患者察觉不到明显的体征，往往发现症状时已为时过晚。因此，早期发现和治疗对于预防视力下降极为重要。现有的青光眼智能诊断方法中，普遍基于眼底照片进行深度学习研究。但基于眼底照片的深度学习方法有以下缺陷：第一、提取特征单一、具有局限性，无法充分利用眼底照片中的青光眼有效信息，准确性较低。第二、数据集分布不均衡、由于采集数据时受到光照、角度等外界条件等的影响、训练后的神经网络准确率往往受限于所用的数据集。
[0003]如何尽早诊断青光眼，提高诊断准确率，已成为青光眼诊断中亟待解决的问题。青光眼的主要特征是视野丧失，其主要原因是眼压(IOP)升高和/或视神经血流量丧失。然而，由于IOP正常时仍存在视觉损伤，因此IOP的特异性和敏感性都不足以成为有效的青光眼指标。青光眼还可以通过测量青光眼角度、视神经纤维层厚度等特征来诊断。但青光眼症状复杂，诊断准确率低。以往的研究表明，基于彩色眼底照片和海德堡光学相干断层扫描图片的神经网络对青光眼早期诊断的准确性接近或优于眼科医生。同时，该方法还可以根据基线检查结果，预测未来的疾病变化，如视野缺损程度、神经纤维层厚度等。另一种诊断青光眼的方法是通过光学相干断层扫描血管造影(OCTA)识别血管分布特征。OCTA是一种新型无创眼底成像技术，可高分辨率识别视网膜脉络膜血流信息，成像体内视网膜脉络膜微血管循环。在正常视网膜脉络膜血管改变、疾病管理随访、治疗效果检测等方面具有独特优势。基于高质量的多模态图像数据，并结合神经网络，有望大大提高青光眼患者的诊断准确性。人工智能与医学影像的结合，为青光眼的临床诊治带来突破性创新。
[0004]迁移学习是一种利用其他相关领域的大量先验知识，在特定领域执行新任务的过程中模仿人类视觉系统的学习方法。采用迁移学习，在医学图像数据集数量较少的情况下，也可以快速训练出理想的效果。因此，实现一种基于迁移学习的多模态青光眼识别网络系统具有重要的现实意义。

技术实现思路

[0005]为解决上述技术问题，本专利技术的目的是提供一种基于迁移学习的青光眼多模态智能识别系统，通过使用文字提取的神经网络提取患者的年龄、性别、主诉、现病史、既往史、视力、眼压、各项专科检查以及诊断的关键词汇信息；使用U
‑
Net网络构建，用于对眼底照片图像中的血管进行分割，输出青光眼血管分布特征，对眼底照片中的青光眼视盘和视杯进
行分割，输出视盘和视杯的面积之比；使用深度学习分类网络构建神经网络，捕捉青光眼全局、局部特征，进行模型参数训练，随后使用梯度加权类激活映射(Grad
‑
CAM)方法标定青光眼识别过程中神经网络重点关注区域；通过以上三条分支综合识别青光眼病型。
[0006]为实现上述技术效果，本专利技术提出的一种基于迁移学习的青光眼多模态智能识别系统，包括多模态数据预处理模块、多模态识别模块；通过多模态数据预处理模块对文本信息进行提取、对图像数据进行预处理，得到青光眼数据集；通过多模态识别模块针对多标签和多模态的数据集构建基于迁移学习方法的青光眼亚型病例识别模型。
[0007]所述数据预处理模块包括关键字提取模块、高斯滤波模块、图像增强模块、图像裁剪模块；所述关键字提取模块使用深度学习(DL)的方法提取数据库电子病历中的青光眼病症关键文字；所述滤波模块用于对图像数据进行高斯滤波处理；所述图像增强模块使用图像增强方法扩大训练样本以避免过拟合；所述裁剪模块基于卷积神经网络(CNN)针对原始图像进行视杯盘周围1.5倍方格像素裁剪。
[0008]所述多模态识别模块包括三个分支，第一个分支为输入经预处理模块处理后的患者电子病志的文本信息，经卷积层、循环层和长短时记忆神经网络(LSTM)处理后得到青光眼关键字的特征矩阵，并将输出与Catboost分类器相接；第二个分支基于U
‑
Net网络构建，用于对眼底照片图像中的血管进行分割，输出青光眼血管分布特征，对眼底照片中的青光眼视盘和视杯进行分割，输出视盘和视杯的面积之比，并将输出与Catboost分类器相接；第三个分支基于深度学习分类网络构建，输入预处理后的数据集，通过深度学习网络捕获海德堡光学相干断层扫描图像和视神经纤维层厚度图像的全局、局部特征，进行模型参数训练，随后使用梯度加权类激活映射(Grad
‑
CAM)方法标定青光眼识别过程中神经网络重点关注区域；第一个分支与第二个分支的输出端进行融合，融合后连接Catboost分类器，Catboost分类器的输出端与第三个分支中的输出端进行多模态信息融合，输出可解释性的视觉分析和青光眼病型。
[0009]所述第三个分支中的深度学习网络包括ResNet、GoogLeNet、DenseNet、ShuffleNet、EfficientNet和Vision Transformer，将预处理后的图像数据分别输入深度学习网络中进行模型参数训练，根据训练样本准确率，选择出准确率最高的深度学习网络，作为与Catboost分类器的输出端进行融合的深度学习网络。
[0010]所述系统执行过程包括：
[0011]步骤1：采集青光眼原始电子病志与医学影像数据，标注数据标签为正常(N)、原发性开角型青光眼(POAG)、原发性闭角型青光眼(PACG)、正常眼压型青光眼(NG)，构建原始青光眼多模态数据集；
[0012]步骤2：将原始青光眼多模态数据集输入数据预处理模块进行预处理，生成青光眼数据集；
[0013]步骤3：输入预处理后的数据集对多模态识别模块进行参数训练，得到基于青光眼分类的多模态识别模块；
[0014]步骤4：将需要进行青光眼亚型分类的患者数据输入到已经训练好的多模态识别模块中，进行青光眼识别。
[0015]所述步骤2包括：
[0016]步骤2.1：基于卷积神经网络，针对患者电子病志中青光眼亚型的文字信息进行提
取，提取的信息包括该人体的年龄、性别、主诉、现病史、既往史、视力、眼压、各项专科检查以及诊断的关键词汇，用来作为多模态识别模块第一个分支的输入；
[0017]步骤2.2：将眼底照片裁剪成以视盘为中心的572
×
572图像，将海德堡光学相关断层图像和视神经纤维层厚度图像裁剪成以视盘为中心的224
×
224图像；
[0018]步骤2.3：对数据进行数据增强，包括垂直和水平镜像、90
°
、180
°
和270
°...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的青光眼多模态智能识别系统，其特征在于，包括多模态数据预处理模块、多模态识别模块；通过多模态数据预处理模块对文本信息进行提取、对图像数据进行预处理，得到青光眼数据集；通过多模态识别模块针对多标签和多模态的数据集构建基于迁移学习方法的青光眼亚型病例识别模型。2.根据权利要求1所述的一种基于迁移学习的青光眼多模态智能识别系统，其特征在于，所述多模态数据预处理模块包括关键字提取模块、高斯滤波模块、图像增强模块、图像裁剪模块；所述关键字提取模块使用深度学习的方法提取数据库电子病历中的青光眼病症关键文字；所述滤波模块用于对图像数据进行高斯滤波处理；所述图像增强模块使用图像增强方法扩大训练样本以避免过拟合；所述裁剪模块基于卷积神经网络针对原始图像进行视杯盘周围1.5倍方格像素裁剪。3.根据权利要求1所述的一种基于迁移学习的青光眼多模态智能识别系统，其特征在于，所述多模态识别模块包括三个分支：第一个分支为输入经预处理模块处理后的患者电子病志的文本信息，经卷积层、循环层和长短时记忆神经网络处理后得到青光眼关键字的特征矩阵，并将输出与Catboost分类器相接；第二个分支基于U
‑
Net网络构建，用于对眼底照片图像中的血管进行分割，输出青光眼血管分布特征，对眼底照片中的青光眼视盘和视杯进行分割，输出视盘和视杯的面积之比，并将输出与Catboost分类器相接；第三个分支基于输入预处理后的数据集，通过深度学习网络捕获海德堡光学相干断层扫描图像和视神经纤维层厚度图像的全局、局部特征，进行模型参数训练，随后使用梯度加权类激活映射方法标定青光眼识别过程中神经网络关注区域；第一个分支与第二个分支的输出端进行融合，融合后连接Catboost分类器，Catboost分类器的输出端与第三个分支中的输出端进行多模态信息融合，输出可解释性的视觉分析和青光眼病型。4.根据权利要求3所述的一种基于迁移学习的青光眼多模态智能识别系统，其特征在于，所述第三个分支中的深度学习网络包括ResNet、GoogLeNet、DenseNet、ShuffleNet、EfficientNet和Vision Transformer，将预处理后的图像数据分别输入深度学习网络中进行模型参数训练，根据训练样本准确率，选择出准确率最高的深度学习网络，作为与Catboost分类器的输出端进行融合的深度学习网络。5.根据权利要求1～4任意一项所述的基于迁移学习的青光眼多模态智能识别系统，其特征在于，所述系统执行过程包括：步骤1：采集青光眼原始电子病志与医学影像数据，标注数据标签为正常、原发性开角型青光眼、原发性闭角型青光眼、正常眼压型青光眼，构建原始青光眼多模态数据集；步骤2：将原始青光眼多模态数据集输入数据预处理模块进行预处理，生成用于神经网络训练的青光眼数据集；步骤3：输入预处理后的数据集对多模态识别模块进行参数训练，得到基于青光眼分类的多模态识别模块；步骤4：将需要进行青光眼亚型分类的患...

【专利技术属性】
技术研发人员：李一，王骄，
申请(专利权)人：东北大学，
类型：发明
国别省市：