一种基于多维特征融合的圆锥角膜识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于多维特征融合的圆锥角膜识别方法和装置，包括：1)利用了单例病人的多维度的数据，通过设计的标准化流程进行数据处理，并结合进行圆锥角膜的分级，分为正常、亚临床圆锥角膜和圆锥角膜；2)构建多维度模型，并进行多种方式的特征融合，并连接SE模块进行特征重组，再进行模型训练；3)利用梯度反向传播进行了类别判断的可解释性操作，并输出可视化图像；4)出于对圆锥角膜数据样式的特殊性考虑，对比了一维和二维卷积对其的影响；5)通过所设计的模型，选择三个分数中最大分数所在的类别为判别的类别，得到了很好的分类效果。本发明专利技术优化了实际应用中圆锥角膜识别效果不佳的问题。

【技术实现步骤摘要】
一种基于多维特征融合的圆锥角膜识别方法及装置
本专利技术属于医疗数据处理
，具体地说，涉及一种基于多维特征融合的圆锥角膜识别方法及装置。
技术介绍
近年来，深度学习技术在各行各业迅猛发展，结合深度学习技术进行医疗辅助成为了越来越多的人努力的目标和方向。而圆锥角膜是一种缓慢发展的眼病，早期(也就是亚临床圆锥角膜)很难诊断，且没有明显临床表现，病程也因人而异，而当发展到晚期(圆锥角膜)的时候，就会出现明显的角膜扩张、中央变薄向前突出，并且呈圆锥形状，可以通过多种眼科设备进行晚期圆锥角膜的诊断。关键问题在于疾病的早期是很难诊断却可以通过隐形眼镜进行矫正的，当发展到晚期就只能通过角膜交联或角膜移植手术来治疗，严重影响正常生活。本着早发现早治疗的原则，需要利用各种手段尽早发现可疑性的圆锥角膜疾病，而利用当前热点的深度学习技术进行这方面的发现将是一项令人期待的工作。随着2012年深度学习快车的出发，硬件、数据、技术、人才等都为图像分类提供了发展潜力和技术基础。传统的图像分类算法基本都是直接处理一维问题，然后利用传统的线性或非线性的分类器或者寻找分类超平面等找出最佳的分类参数，当图像很大或数量很多时，所获得的模型泛化性很差，且分类的效果只能满足一般人物的需求，随着互联网的进步和数据量的剧增，传统方法完全不能为之做出大量的有效贡献。随着卷积神经网络的提出和发展，越来越多的实际性的问题能够用这样的网络来学习和辅助分类等操作。LeNet是LeCun基于BP网络训练多层神经网络来识别手写体数字的网络，是CNN的开山之作，在手写体数字的识别上面达到了很高的精确率，且能将其用于其他一些需要浅层网络的问题中。AlexNet则是2012年提出的LeNet的加宽加深版本，且做了很多模型和优化上的改进，使得其更加试用于更加复杂的对象。GoogLeNet是来自谷歌的用于减少计算网络开销且利用了多尺度特征融合的网络，并获得了ILSVRC挑战赛冠军。近年来，也有很多研究人员从各个不同的角度，包括深度、宽度、可解释性、特征提取等对网络进行改进，而针对不同的应用场景，我们还需要做的就是要针对不同应用场景克服不同的困难点，并选择最合适的网络进行操作。
技术实现思路
本专利技术的目的为提供一种基于多维特征融合的圆锥角膜识别方法及装置，以解决实际应用中圆锥角膜预测不够准确的问题。为实现上述专利技术目的，本专利技术提供以下技术方案：一种基于多维特征融合的圆锥角膜识别方法，包括以下步骤：(1)采用Pentacam眼前节成像系统拍摄并重构角膜曲面获得角膜地形图数据，并由医生对角膜地形图数据中的包含5个维度数据的独立样本进行综合标注；(2)分别统计角膜地形图数据的5个维度数据的正常尺寸、均值、方差、最值；(3)基于标注数据，按固定比例划分训练集和验证集，对训练集和验证集进行一定的数据变换和归一化处理，但不影响整体数据尺寸和数值范围；(4)利用5个维度的数据整合并构造多种特征融合的浅层卷积神经网络进行分类训练，依次迭代所有训练样本更新模型参数直至收敛，得到最佳模型；(5)利用Grad-CAM中的梯度反向传播得到图像解释的可视化信息；(6)通过训练出的模型对验证数据进行验证，得到了很好的分类验证效果。其中，所述5个维度数据包括角膜曲率前后表面、高度前后表面和厚度这5个维度数据。这些维度信息的有效整合是模型分类效果良好的关键之处。优选地，对训练集和验证集进行数据扩增以扩增数据量。针对圆锥角膜数据并不需要对原始数据做多复杂的数据扩增，只需要最基本的数据扩增，就可以达到更佳的训练效果，此方式异于其他图像分类的处理方式。优选地，所述浅层卷积神经网络中，采用将多块featuremap进行加权整合来进行特征融合，最后均链接SE模块进行特征重组，得到更有利于分类的特征。优选地，所述浅层卷积神经网络中，将多维数据的多块featuremap直接进行concat，以实现对多种特征融。本专利技术中，采用多种可能性的卷积神经网络的多维度特征融合的分类模型得到了很好的分类效果。由于角膜地形图数据的特殊性，在卷积神经网络中，可以采用n*n的卷积核进行卷积操作，也可以采用n*1的卷积核进行卷积操作。上述技术方案中，由Pentacam眼前节成像系统所拍摄的数据尺寸是142*143*5，其中5是指前后曲率、前后高度以及单个厚度。由于整个曲平面是通过拍摄以及仪器自动重构而得到的，因此会有相同的size，其中真实数据的边缘是由0包围的，因为在进行数据裁剪的时候，需要裁剪出有效区域即可，但实际中，有效区域的选择也是一个问题，因此本专利技术会在实验过程中进行多种可能性的尝试，统计大批量数据的最佳效果。另外在统计数据均值和方差的过程中，以不同维度为单位进行分别统计，最后的统计得到5维数据均值和方差。数据的划分是以全部数据的30％作为验证集合，其余是训练集，划分之前需要对数据进行随机扰动，以防相同数据的堆叠。针对模型的构造阶段，假设5个维度的数据分别输入相同的网络(特征不共享)，输出相同维度的特征，经过concat之后，特征将会是5倍大小，而加权特征的融合则与单个分支的特征提取是相同的大小，而SE模块进行特征重组，对不同通道特征赋予权重，得到更有利于分类的特征。针对可视化阶段，通过一个输入得到一个输出之后，利用输出的3个分数进行反向传播，得到不同分数所在的特征位置对其的影响也就是我们所要求的可解释性区域。针对训练阶段，在构造完整个模型和损失之后就可以进行反向传播，以此更新网络的参数，待模型收敛且优化到了一个极限的时候就可以停止模型的迭代，实际使用中，若连续10次验证集的效果一直处于下降的状态，则退出训练。验证效果连续10次一直处于下降状态说明模型的参数已经训练到了最佳或模型参数不正确的状态，应该退出确认。本专利技术还提供了一种基于多维特征融合的圆锥角膜识别装置，包括：存储器，存储计算机可执行指令以及在执行所述计算机可执行指令时使用或生产的数据；处理器，与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，所述计算机可执行指令在被执行时，实现上述基于多维特征融合的圆锥角膜识别方法。与现有技术相比，本专利技术具有以下有益效果：1)将深度学习用于圆锥角膜的分类，提升圆锥角膜的识别精度，并为医生提供解释。2)利用多维特征，并进行多种多维度特征融合来提取更有效的特征，以提升分类效果。3)某种程度上，能有效提升眼科医生的工作效率，为病人的早期治疗提供更大可能性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施中的基于多维融合的圆锥角膜识别方法和装置框架流程图。图2为本专利技术实施中的模型特征(Feature)模块的本文档来自技高网...

【技术保护点】
1.一种基于多维特征融合的圆锥角膜识别方法，包括以下步骤：/n(1)采用Pentacam眼前节成像系统拍摄并重构角膜曲面获得角膜地形图数据，并由医生对角膜地形图数据中的包含5个维度数据的独立样本进行综合标注；/n(2)分别统计角膜地形图数据的5个维度数据的正常尺寸、均值、方差、最值；/n(3)基于标注数据，按固定比例划分训练集和验证集，对训练集和验证集进行一定的数据变换和归一化处理，但不影响整体数据尺寸和数值范围；/n(4)利用5个维度的数据整合并构造多种特征融合的浅层卷积神经网络进行分类训练，依次迭代所有训练样本更新模型参数直至收敛，得到最佳模型；/n(5)利用Grad-CAM中的梯度反向传播得到图像解释的可视化信息；/n(6)通过训练出的模型对验证数据进行验证，得到了很好的分类验证效果。/n

【技术特征摘要】
1.一种基于多维特征融合的圆锥角膜识别方法，包括以下步骤：
(1)采用Pentacam眼前节成像系统拍摄并重构角膜曲面获得角膜地形图数据，并由医生对角膜地形图数据中的包含5个维度数据的独立样本进行综合标注；
(2)分别统计角膜地形图数据的5个维度数据的正常尺寸、均值、方差、最值；
(3)基于标注数据，按固定比例划分训练集和验证集，对训练集和验证集进行一定的数据变换和归一化处理，但不影响整体数据尺寸和数值范围；
(4)利用5个维度的数据整合并构造多种特征融合的浅层卷积神经网络进行分类训练，依次迭代所有训练样本更新模型参数直至收敛，得到最佳模型；
(5)利用Grad-CAM中的梯度反向传播得到图像解释的可视化信息；
(6)通过训练出的模型对验证数据进行验证，得到了很好的分类验证效果。


2.如权利要求1所述基于多维特征融合的圆锥角膜识别方法，其特征在于，所述5个维度数据包括角膜曲率前后表面、高度前后表面和厚度这5个维度数据。<...

【专利技术属性】
技术研发人员：吴健，胡荷萍，陈婷婷，冯芮苇，许哲，王文哲，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33