一种基于多模态数据的双眼圆锥角膜诊断方法技术

本发明专利技术涉及一种基于多模态数据的双眼圆锥角膜诊断方法，利用双眼角膜屈光四图和角膜绝对高度数据，考虑双眼之间的相互关系，结合了基于深度卷积网络方法、传统机器学习svm方法以及可调整的BSF高度图增强方法来识别病灶的敏感性及特异性，并平衡其敏感性和特异性，多维度综合判断以病人为单位的圆锥角膜发病率，结合双眼数据既包含人工选择特征又包含深度网络自己从大数据中学习，诊断方法有更强的鲁棒性和准确性。

【技术实现步骤摘要】
一种基于多模态数据的双眼圆锥角膜诊断方法
本专利技术涉及一种眼科数据诊断技术，特别涉及一种基于多模态数据的双眼圆锥角膜诊断方法。
技术介绍
人眼圆锥角膜是以角膜扩张、中央变薄向前突出，呈圆锥形为特征的一种临床眼科疾病。该类疾病是屈光手术的禁忌症，发生于单眼或者双眼，且通常会导致视力显著下降。圆锥角膜多由角膜后表面最先发病，进而逐步向角膜前表面缓慢发展。当前圆锥角膜的诊断和治疗已经发展成为角膜病学、屈光手术学、视光学等密切合作的一种临床疾病学。通常基于角膜地形图用于圆锥角膜诊断的方法为临床统计学方法，大多利用角膜地形图的形态特征配合临床参数和病史对圆锥角膜进行确诊和临床分期。统计学的模型得出的结果是一个汇总参数，并根据已获知的诊断结果数据集得出参数分界线，如广泛应用的KISA指数，IS指数，SRI\SAI指数等。这类方法多受限于平台数据，过分依赖有限个人为认定的单眼特征，忽略双眼之间的相互关系，且不同指数敏感性特异性不同对早期圆锥角膜和顿挫性圆锥角膜未能给出很好的判断。
技术实现思路
针对双眼圆锥角膜早期诊断的问题，提出了一种基于多模态数据的双眼圆锥角膜诊断方法，基于多模态屈光地形图矩阵数据，结合神经网络卷积方法，特征值SVM方法，双眼对比法和可调节BFS的增强地形图法，给出双眼综合圆锥角膜诊断结果，尤其对早期后圆锥和顿挫圆锥的筛查和诊断具有更好的鲁棒性和准确性。本专利技术的技术方案为：一种基于多模态数据的双眼圆锥角膜诊断方法，具体包括如下步骤：1)收集双眼多模态数据，数据包括双眼角膜屈光四图和角膜绝对高度数据，角膜屈光四图包括角膜前表面轴向曲率、角膜前表面相对高度地形图、角膜后表面相对高度地形图以及角膜厚度地形图；角膜绝对高度数据包括角膜前后表面绝对高度数据；2)根据已经分类的病例，将其双眼多模态数据与分类类别进行关联，根据具有要求进行数据分类；3)将步骤2)屈光四图中的每幅地形图数据及角膜前后表面高度数据统一为相同大小数据矩阵；4)基于以上数据分四个分支方法分别对双眼早期圆锥进行判断，分别记为A分支方法、B分支方法、C分支方法和D分支方法；其中：A分支方法：所有屈光四图数据矩阵经过数据处理后送入深度卷积网络的分类网络进行识别圆锥角膜的敏感性及特异性，并得到对于某一病例输出分类结果P(A)；B分支方法：所有屈光四图数据矩阵中每个图形数据矩阵进行特征值计算，将特征值数据送入SVM支持向量机二分类方法，识别圆锥角膜的敏感性及特异性，并得到，某一病例输出分类结果P(B)；C分支方法：运用角膜前后表面绝对高度数据与最佳拟合球面数据比较，获取圆锥角膜病例与正常病例的临界阈值，以此评判出某一病例输出分类结果P(C)；D分支方法：将左右眼屈光四图数据矩阵的平均值，最大值，标准差作为特征量，利用临界阈值，或采用SVM分类方法，获取最优敏感性和特异性，以及某一病例双眼发生圆锥的概率P(D)；5)将A、B、C、D分支方法中最后的结果通过加权累和，得到最终某一病例双眼发生圆锥角膜的概率。优选的，所述A分支方法实现具体步骤：A-1数据缩放，将步骤3)处理后的所有屈光四图数据矩阵通过线性插值的方法缩放到224x224大小；A-2数据归一化，将步骤A-1的数据按7：3的比例分成训练集和验证集，然后在训练集上分别计算屈光四图数据矩阵的均值和标准差，对应得到4个均值和4个标准差，然后对所有病例的屈光四图数据矩阵用均值和标准差进行归一化；A-3基于深度卷积网络的分类网络设计，采用Resnet50分类网络对屈光四图数据矩阵进行二分类，以识别单眼的正常和圆锥角膜；A-4分类模型的训练，将屈光四图数据矩阵按照通道连接起来，则得到4通道的输入；数据扩增采用了旋转、平移、随机模糊预处理；损失函数采用二分类的交叉熵函数，用MobileNetV3在IMAGENET数据集上的训练权值作为初始权值，然后做微调训练；最终选取训练集和验证集loss值相差最小的训练权值作为训练结果；A-5模型指标评测,在验证集上进行预测，然后和真值进行对比评估，最后得到该A分支方法识别圆锥角膜的敏感性及特异性；A-6结果输出，若A-5步骤对训练集的测试敏感性和特异性达到要求，则记录本A分支方法对于某一病例双眼发生圆锥的概率分别为p(Al)和p(Ar)；输出分类结果P(A)＝p(Al),(p(Al)>p(Ar))；p(Ar),(p(Al)<p(Ar))。优选的，所述B分支方法实现具体步骤：B-1角膜前表面轴向曲率特征值的计算，在角膜前表面轴向曲率数据矩阵中计算曲率最值点及位置坐标，计算直径6mm位置上下屈光力差IS值，计算直径范围4.5mm范围内的表面不规则性SRI值，表面非对称性SAI值；B-2角膜前表面相对高度特征值计算，在角膜前表面相对高度数据矩阵中计算高度最大值及位置坐标；B-3角膜后表面相对高度特征值计算，在角膜后表面相对高度数据矩阵中计算高度最大值及位置坐标；B-4角膜厚度特征值计算，角膜厚度数据矩阵中计算厚度最小值及位置坐标，计算角膜顶点处的厚度；B-5距离特征值计算，计算步骤B-2中角膜前表面高度最大值位置到B-3中角膜后表面高度最大值位置之间距离，计算步骤B-2中角膜前表面高度最大值位置到B-4中角膜厚度最小值位置之间距离，计算步骤B-3中角膜后表面高度最大值位置到B-4中角膜厚度最小值位置之间距离；B-6角体积特征值计算，将角膜厚度数据矩阵在半径4.5范围内做体积积分以得到角膜体积；B-7将步骤B-1～B-6所有特征值做归一化处理，并将所有归一化后的病例数据特征值按7：3的比例分成训练集和验证集；B-8应用SVM支持向量机二分类方法对对B-7归一化后的训练集特征数据进行特征训练，过程中选用RBFkernel，用cross-validation和grid-search以得到最优的c和g来训练数据；B-9模型指标评测,在验证集上进行预测，然后和真值进行对比评估，最后该分支方法识别圆锥角膜的敏感性及特异性；B-10结果输出，若B-9步骤对训练集的测试敏感性和特异性达到要求，则记录本B分支方法对于某一病例双眼发生圆锥的概率分别为p(Bl)和p(Br)；输出分类结果P(B)＝p(Bl),(p(Bl)>p(Br))；p(Br),(p(Bl)<p(Br))。优选的，所述C分支方法实现具体步骤：C-1角膜前表面标准相对高度数据：针对角膜前后表面绝对高度数据，以角膜前表面直径8mm范围内绝对高度数据做球拟合，得到BFS值，将角膜前表面数据与得到的最佳拟合球面之间的高度差作为角膜后表面标准相对高度数据；C-2角膜前表面特征高度数据：针对角膜前后表面绝对高度数据，以角膜前表面直径8mm范围内绝对高度数据为基准，去除最薄点位置半径2mm范围内的数据做球拟合，得到BFS值；以当前BFS为基准，以0.2mm为步长，上下分别偏移5组数据以得到11本文档来自技高网...

【技术保护点】
1.一种基于多模态数据的双眼圆锥角膜诊断方法，其特征在于，具体包括如下步骤：/n1)收集双眼多模态数据，数据包括双眼角膜屈光四图和角膜绝对高度数据，角膜屈光四图包括角膜前表面轴向曲率、角膜前表面相对高度地形图、角膜后表面相对高度地形图以及角膜厚度地形图；角膜绝对高度数据包括角膜前后表面绝对高度数据；/n2)根据已经分类的病例，将其双眼多模态数据与分类类别进行关联，根据具有要求进行数据分类；/n3)将步骤2)屈光四图中的每幅地形图数据及角膜前后表面高度数据统一为相同大小数据矩阵；/n4)基于以上数据分四个分支方法分别对双眼早期圆锥进行判断，分别记为A分支方法、B分支方法、C分支方法和D分支方法；/n其中：A分支方法：所有屈光四图数据矩阵经过数据处理后送入深度卷积网络的分类网络进行识别圆锥角膜的敏感性及特异性，并得到对于某一病例输出分类结果P(A)；/nB分支方法：所有屈光四图数据矩阵中每个图形数据矩阵进行特征值计算，将特征值数据送入SVM支持向量机二分类方法，识别圆锥角膜的敏感性及特异性，并得到，某一病例输出分类结果P(B)；/nC分支方法：运用角膜前后表面绝对高度数据与最佳拟合球面数据比较，获取圆锥角膜病例与正常病例的临界阈值，以此评判出某一病例输出分类结果P(C)；D分支方法：将左右眼屈光四图数据矩阵的平均值，最大值，标准差作为特征量，利用临界阈值，或采用SVM分类方法，获取最优敏感性和特异性，以及某一病例双眼发生圆锥的概率P(D)；/n5)将A、B、C、D分支方法中最后的结果通过加权累和，得到最终某一病例双眼发生圆锥角膜的概率。/n...

【技术特征摘要】
1.一种基于多模态数据的双眼圆锥角膜诊断方法，其特征在于，具体包括如下步骤：
1)收集双眼多模态数据，数据包括双眼角膜屈光四图和角膜绝对高度数据，角膜屈光四图包括角膜前表面轴向曲率、角膜前表面相对高度地形图、角膜后表面相对高度地形图以及角膜厚度地形图；角膜绝对高度数据包括角膜前后表面绝对高度数据；
2)根据已经分类的病例，将其双眼多模态数据与分类类别进行关联，根据具有要求进行数据分类；
3)将步骤2)屈光四图中的每幅地形图数据及角膜前后表面高度数据统一为相同大小数据矩阵；
4)基于以上数据分四个分支方法分别对双眼早期圆锥进行判断，分别记为A分支方法、B分支方法、C分支方法和D分支方法；
其中：A分支方法：所有屈光四图数据矩阵经过数据处理后送入深度卷积网络的分类网络进行识别圆锥角膜的敏感性及特异性，并得到对于某一病例输出分类结果P(A)；
B分支方法：所有屈光四图数据矩阵中每个图形数据矩阵进行特征值计算，将特征值数据送入SVM支持向量机二分类方法，识别圆锥角膜的敏感性及特异性，并得到，某一病例输出分类结果P(B)；
C分支方法：运用角膜前后表面绝对高度数据与最佳拟合球面数据比较，获取圆锥角膜病例与正常病例的临界阈值，以此评判出某一病例输出分类结果P(C)；D分支方法：将左右眼屈光四图数据矩阵的平均值，最大值，标准差作为特征量，利用临界阈值，或采用SVM分类方法，获取最优敏感性和特异性，以及某一病例双眼发生圆锥的概率P(D)；
5)将A、B、C、D分支方法中最后的结果通过加权累和，得到最终某一病例双眼发生圆锥角膜的概率。


2.根据权利要求1所述基于多模态数据的双眼圆锥角膜诊断方法，其特征在于，所述A分支方法实现具体步骤：
A-1数据缩放，将步骤3)处理后的所有屈光四图数据矩阵通过线性插值的方法缩放到224x224大小；
A-2数据归一化，将步骤A-1的数据按7：3的比例分成训练集和验证集，然后在训练集上分别计算屈光四图数据矩阵的均值和标准差，对应得到4个均值和4个标准差，然后对所有病例的屈光四图数据矩阵用均值和标准差进行归一化；A-3基于深度卷积网络的分类网络设计，采用Resnet50分类网络对屈光四图数据矩阵进行二分类，以识别单眼的正常和圆锥角膜；
A-4分类模型的训练，将屈光四图数据矩阵按照通道连接起来，则得到4通道的输入；数据扩增采用了旋转、平移、随机模糊预处理；损失函数采用二分类的交叉熵函数，用MobileNetV3在IMAGENET数据集上的训练权值作为初始权值，然后做微调训练；最终选取训练集和验证集loss值相差最小的训练权值作为训练结果；
A-5模型指标评测,在验证集上进行预测，然后和真值进行对比评估，最后得到该A分支方法识别圆锥角膜的敏感性及特异性；
A-6结果输出，若A-5步骤对训练集的测试敏感性和特异性达到要求，则记录本A分支方法对于某一病例双眼发生圆锥的概率分别为p(Al)和p(Ar)；输出分类结果P(A)＝p(Al),(p(Al)>p(Ar))；p(Ar),(p(Al)<p(Ar))。


3.根据权利要求1所述基于多模态数据的双眼圆锥角膜诊断方法，其特征在于，所述B分支方法实现具体步骤：
B-1角膜前表面轴向曲率特征值的计算，在角膜前表面轴向曲率数据矩阵中计算曲率最值点及位置坐标，计算直径6mm位置上下屈光力差IS值，计算直径范围4.5mm范围内的表面不规则性SRI值，表面非对称性SAI值；
B-2角膜前表面相对高度特征值计算，在角膜前表面相对高度数据矩阵中计算高度最大值及位置坐标；
B-3角膜后表面相对高度特征值计算，在角膜后表面相对高度数据矩阵中计算高度最大值及位置坐标；
B-4角膜厚度特征值计算，角膜厚度数据矩阵中计算厚度最小值及位置坐标，计算角膜顶点处的厚度；
B-5距离特征值计算，计算步骤B-2中角膜前表面高度最大值位置到B-3中角膜后表面高度最大值位置之间距离，计算步骤B-2中角膜前表面高度最大值位置到B-4中角膜厚度最小值位置之间距离，计算步骤B-3中角膜后表面高度最大值位置到B-4中角膜厚度最小值位置之间距离；
B-6角体积特征值计算，将角膜厚度数据矩阵在半径4.5范围内做体积积分以得到角膜体积；<...

【专利技术属性】
技术研发人员：沈阳，周行涛，李慧杰，王崇阳，陈文光，赵婧，李美燕，冼艺勇，徐海鹏，牛凌凌，赵武校，韩田，
申请(专利权)人：上海美沃精密仪器股份有限公司，复旦大学附属眼耳鼻喉科医院，
类型：发明
国别省市：上海;31