一种基于深度学习的双视野眼底图像融合方法技术

本发明专利技术提供了一种基于深度学习的双视野眼底图像融合方法，具有这样的特征，包括以下步骤，步骤S1，对两张待测图像进行预处理获得两张预处理图像；步骤S2，搭建卷积神经网络模型，对卷积神经网络模型进行训练，从而得到训练后的卷积神经网络模型，称为M‑net；步骤S3，将M‑net分成两部分，称为M‑net PartⅠ和M‑net PartⅡ；步骤S4，将两张预处理图像分别放入M‑net PartⅠ进行特征提取，获得两张图像特征图；步骤S5，将两张图像特征图进行拼接，得到拼接图像；步骤S6，将拼接图像放入M‑net PartⅡ进行特征融合。

【技术实现步骤摘要】
一种基于深度学习的双视野眼底图像融合方法
本专利技术涉及计算机视觉
，具体涉及到一种基于深度学习的双视野眼底图像融合方法。
技术介绍
医学影像技术迅速发展，已经成为医疗诊断中不可或缺的技术。进入数字影像时代以来，海量数据的产生为医学影像未来的发展提供了更多的可能性。因此，如何对医学影像大数据做进一步分析和挖掘、如何从医学图像高维度数据中提取有价值的信息、如何将现代医学影像的发展与精准医疗紧密结合，成为医学影像未来发展的重要课题。近年来，随着计算能力的增强和数据的爆炸式增加，以深度学习为代表的人工智能技术取得了长足的进步，并开始应用于生产生活中的各个领域。深度学习算法可以自动提取特征，避免了对高维度医学影像数据的复杂处理。在越来越多的公开的医学影像数据资源、开源的人工智能算法资源以及开放的高性能计算资源的共同推动下，深度学习算法将进一步在医学影像领域中飞速发展。糖尿病视网膜病变(diabeticretinopathy,DR)，简称为糖网病，是常见致盲性眼病。中国是全球2型糖尿病患者最多的国家，随着糖尿病患者的增多，糖尿病视网膜病变的患病率、致盲率也逐年升高，是目前工作年龄人群第一位的致盲性疾病。截至2015年，我国糖尿病患者约1.1亿人，按此推算我国糖尿病视网膜病变患者约2700万人。目前，87％的糖尿病患者就诊于县级及以下医疗机构。50％以上糖尿病患者未被告知应定期眼底检查。眼底彩色照相可作为一种糖网病的快速筛查工具，为基层糖网病的防治工作提供一种简便易行的观察检测手段。眼底照相所检查的是整个视网膜的形态学改变。其原理就是用一种特制的照相机记录眼底镜下所看到的景象。眼底照相能够观察到视网膜、视盘、黄斑区、视网膜血管的形态，以及视网膜上有无出血、渗出、血管瘤、视网膜变性区、视网膜裂孔、新生血管、萎缩斑、色素紊乱等改变。眼底照相有两种拍摄位置，分别是单视野拍摄法和双视野拍摄法。单视野拍摄法是以黄斑和视盘连线的中点为拍摄视野的中心，成像至少涵盖60％视网膜区域。双视野拍摄法中视野1以黄斑中心凹为拍摄视野的中心，成像至少涵盖45°视网膜区域，视野2以视盘为拍摄视野的中心，成像至少涵盖45°视网膜区域。《国际临床糖尿病视网膜病变严重程度分级标准》将糖网病分为5个严重等级，分别是无明显糖尿病视网膜病变、轻度NPDR、中度NPDR、中度NPDR、增值性糖尿病视网膜病变PDR。目前公开数据集，例如IDRiD、Messidor、Kaggle数据集，都是采用单视野的图片，而在临床和基层中常采用双视野拍摄法。已有的糖网病分级算法绝大多数也是使用单张图像。在使用卷积神经网络进行分类时，需要对双视野的图像进行融合。
技术实现思路
本专利技术是为了解决上述问题而进行的，目的在于提供一种基于深度学习的双视野眼底图像融合方法。本专利技术提供了一种基于深度学习的双视野眼底图像融合方法，具有这样的特征，包括以下步骤：步骤S1，对两张待测图像进行预处理获得两张预处理图像；步骤S2，搭建卷积神经网络模型，对卷积神经网络模型进行训练，从而得到训练后的卷积神经网络模型，称为M-net；步骤S3，将M-net分成两部分，称为M-netPartⅠ和M-netPartⅡ；步骤S4，将两张预处理图像分别放入M-netPartⅠ进行特征提取，获得两张图像特征图；步骤S5，将两张图像特征图进行拼接，得到拼接图像；步骤S6，将拼接图像放入M-netPartⅡ进行特征融合。在本专利技术提供的基于深度学习的双视野眼底图像融合方法，还可以具有这样的特征：其中，在步骤S1中，两张待测图像为双视野眼底图像，即两个视角下对一只待检查眼球的照片。在本专利技术提供的基于深度学习的双视野眼底图像融合方法，还可以具有这样的特征：其中，在步骤S1中，预处理包括水平翻转，调整亮度、对比度以及饱和度，以及大小归一化。在本专利技术提供的基于深度学习的双视野眼底图像融合方法，还可以具有这样的特征：其中，步骤S2包含如下子步骤，步骤S2-1，构建卷积神经网络模型，其包含的模型参数为随机设置；步骤S2-2，将训练集中的各个训练图像依次输入卷积神经网络模型并进行一次迭代；步骤S2-3，迭代后，计算出损失误差，然后将损失误差反向传播，从而更新模型参数；步骤S2-4，重复步骤S2-2至步骤S2-3直至达到训练完成条件，得到M-net。在本专利技术提供的基于深度学习的双视野眼底图像融合方法，还可以具有这样的特征：其中，步骤S6包含如下子步骤，步骤S6-1，将拼接图像放入M-netPartⅡ进行特征融合；步骤S6-2，在M-netPartⅡ后紧跟全连接层，映射到一个概率向量，该概率向量表示该图像属于糖网病严重程度等级的概率，选取概率最大的等级作为该对双视野图像的糖网病严重程度等级。在本专利技术提供的基于深度学习的双视野眼底图像融合方法，还可以具有这样的特征：其中，步骤S2中，卷积神经网络模型的模型结构为VGG、Resnet以及Inception-ResNet中的一种。专利技术的作用与效果根据本专利技术所涉及的一种基于深度学习的双视野眼底图像融合方法，由于根据双视野的眼底图像进行特征融合，本专利技术所涉及的基于深度学习的双视野眼底图像融合方法能够得到更多特征，眼病分级诊断结果更加准确，且本专利技术所涉及的基于深度学习的双视野眼底图像融合方法实现简单，可用于现有的多种卷积神经网络模型上，简单便捷。附图说明图1是本专利技术的实施例中基于深度学习的双视野眼底图像融合方法流程图；图2是本专利技术的实施例中基于深度学习的双视野眼底图像融合方法的示意图；以及图3是本专利技术的实施例中采用的卷积神经网络的模型结构。具体实施方式为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本专利技术所涉及的基于深度学习的双视野眼底图像融合方法作具体阐述。＜实施例＞本实施例的数据集采用上海市眼病防治中心收集的尚未公开的社区基层数据集，该数据集包含2000名患者的双视野图像以及根据《国际临床糖尿病视网膜病变严重程度分级标准》糖尿病视网膜病变严重程度而分为5个等级的标注。本实施例将数据集分为训练集和测试集。另外，本实施例实现的硬件平台需要一张NVIDIATITANX显卡(GPU加速)。图1为本实施例的基于深度学习的双视野眼底图像融合方法的流程图，图2为本实施例的基于深度学习的双视野眼底图像融合方法的示意图。如图1和图2所示，本实施例的基于深度学习的双视野眼底图像融合方法包括如下步骤：步骤S1，对两张待测图像进行预处理获得两张预处理图像。该两张待测图像为双视野眼底图像，即对患者一只眼睛进行双视野拍摄法得到的两张图像。预处理包括水平翻转，增加获取的图像数量，实现数据扩充；调整亮度、对比度和饱和度，实现图像增强；以及大小归一化到224x224像素。步骤S2，搭建卷积神经网络模型，对卷积神经网络模型进行训练，从而得到训练后的卷积神经网络模型，称为M-net。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的双视野眼底图像融合方法，其特征在于，包括以下步骤：/n步骤S1，对两张待测图像进行预处理获得两张预处理图像；/n步骤S2，搭建卷积神经网络模型，对所述卷积神经网络模型进行训练，从而得到训练后的卷积神经网络模型，称为M-net；/n步骤S3，将所述M-net分成两部分，称为M-net PartⅠ和M-net PartⅡ；/n步骤S4，将两张所述预处理图像分别放入所述M-net PartⅠ进行特征提取，获得两张图像特征图；/n步骤S5，将两张所述图像特征图进行拼接，得到拼接图像；/n步骤S6，将所述拼接图像放入所述M-net PartⅡ进行特征融合。/n

【技术特征摘要】
1.一种基于深度学习的双视野眼底图像融合方法，其特征在于，包括以下步骤：
步骤S1，对两张待测图像进行预处理获得两张预处理图像；
步骤S2，搭建卷积神经网络模型，对所述卷积神经网络模型进行训练，从而得到训练后的卷积神经网络模型，称为M-net；
步骤S3，将所述M-net分成两部分，称为M-netPartⅠ和M-netPartⅡ；
步骤S4，将两张所述预处理图像分别放入所述M-netPartⅠ进行特征提取，获得两张图像特征图；
步骤S5，将两张所述图像特征图进行拼接，得到拼接图像；
步骤S6，将所述拼接图像放入所述M-netPartⅡ进行特征融合。


2.根据权利要求1所述的一种基于深度学习的双视野眼底图像融合方法，其特征在于：
其中，在步骤S1中，两张所述待测图像为双视野眼底图像，即两个视角下对一只待检查眼球的照片。


3.根据权利要求1所述的一种基于深度学习的双视野眼底图像融合方法，其特征在于：
其中，在步骤S1中，所述预处理包括水平翻转，调整亮度、对比度以及饱和度，以及大小归一化。


4.根据权利要求1所述的一种基于深度学习的双视野眼底图像融...

【专利技术属性】
技术研发人员：姜璐璐，侯君临，邵金杰，冯瑞，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31