眼底图像识别方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种眼底图像识别方法、装置、电子设备及存储介质。该方法包括：获取待识别眼底图像，并对待识别眼底图像进行网格分块处理，以形成多个待识别分块网格；将待识别眼底图像的每个待识别分块网格，分别输入预先训练的神经网络模型，以确定待识别分块网格的病灶状态；根据病灶状态和各待识别分块网格在待识别眼底图像中的位置，确定待识别眼底图像的病灶状态。本发明专利技术实施例的技术方案在保证病灶识别准确性和多类型病灶识别的同时，减少需要的眼底图像样本数量以及模型训练过程的数据运算量。

Fundus Image Recognition Method, Device, Electronic Equipment and Storage Media

The embodiment of the present invention discloses a fundus image recognition method, device, electronic device and storage medium. The method includes: acquiring the fundus image to be recognized and meshing the fundus image to be recognized to form multiple blocks of mesh; input each block of mesh to be recognized into a pre-trained neural network model to determine the lesion status of the block mesh to be recognized; and according to the lesion status and each block mesh to be recognized, the lesion status is to be recognized. Do not locate the fundus image, and determine the lesion status of the fundus image to be recognized. The technical scheme of the embodiment of the present invention ensures the accuracy of lesion recognition and multi-type lesion recognition, while reducing the number of required fundus image samples and the amount of data calculation in the model training process.

【技术实现步骤摘要】
眼底图像识别方法、装置、电子设备及存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种眼底图像识别方法、装置、电子设备及存储介质。
技术介绍
眼底图像能够记录患者的视网膜信息，可供医生进行病灶识别和定位，从而进行眼部疾病的诊断。为了避免医生的工作量和主观性，现有技术逐渐引入了计算机的辅助处理功能，对眼底图像进行识别，例如采用基于阈值分割、基于形态学分割、基于分类和基于深度学习的方法来进行图像识别。其中，基于深度学习的方法对眼底图像进行识别，具体是，通过医生对眼底图像的病灶区域进行人工标注，并将标注后的眼底图像和一些正常的眼底图像作为训练样本，输入深度学习模型进行训练，并通过训练后的深度学习模型对未知的眼底图像是否包含病灶进行识别。由于眼底图像中反映出来的病灶类型较多，形态各异，且正常人的眼底图像也是多种多样的，所以如果要实现模型识别准确，且能识别出各种类型病灶，需要在模型训练过程中输入大量训练样本，同时对训练样本进行数据处理的运算量也较大。但是，受限于通过医生标注所获得的样本数量和准确度，使得模型识别的准确性和适用多种病灶类型的目标难以实现。
技术实现思路
本专利技术实施例提供一种眼底图像识别方法、装置、电子设备及存储介质，以在保证病灶识别准确性和多类型病灶识别的同时，减少需要的眼底图像样本数量以及模型训练过程的数据运算量。第一方面，本专利技术实施例提供了一种眼底图像识别方法，包括：获取待识别眼底图像，并对所述待识别眼底图像进行网格分块处理，以形成多个待识别分块网格；将所述待识别眼底图像的每个待识别分块网格，分别输入预先训练的神经网络模型，以确定所述待识别分块网格的病灶状态；根据所述病灶状态和各所述待识别分块网格在待识别眼底图像中的位置，确定所述待识别眼底图像的病灶状态。第二方面，本专利技术实施例还提供了一种眼底图像识别装置，包括：待识别网格分块处理模块，用于获取待识别眼底图像，并对所述待识别眼底图像进行网格分块处理，以形成多个待识别分块网格；网格病灶状态确定模块，用于将所述待识别眼底图像的每个待识别分块网格，分别输入预先训练的神经网络模型，以确定所述待识别分块网格的病灶状态；图像病灶状态确定模块，用于根据所述病灶状态和各所述待识别分块网格在待识别眼底图像中的位置，确定所述待识别眼底图像的病灶状态。第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面实施例所提供的一种眼底图像识别方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所提供的一种眼底图像识别方法。本专利技术实施例通过获取待识别眼底图像，并对待识别眼底图像进行网格分块处理，以形成多个待识别分块网格；将待识别眼底图像的每个待识别分块网格，分别输入预先训练的神经网络模型，以确定待识别分块网格的病灶状态；根据病灶状态和各待识别分块网格在待识别眼底图像中的位置，确定待识别眼底图像的病灶状态。上述技术方案通过对待识别眼底图像进行网格分块，并将分块后的网格作为神经网络模型的输入，降低了神经网络模型的参数数量，进而降低了神经网络模型训练数据运算量；同时，将分块后的网格代替待识别眼底图像进行神经网络模型的训练，减少了模型训练过程中所需眼底图像训练样本的样本数量；另外，通过化整为零的思想，将复杂的眼底图像分割为不同的分块网格，关注图像中的局部细节，进而保证了对待识别眼底图像进行病灶识别的准确性；再者，通过结合待识别分块网格在待识别眼底图像中的位置信息，能够基于各待识别分块网格的具体位置及与相邻待识别分块网格之间的相对位置，辅助进行多类型病灶的识别。附图说明图1是本专利技术实施例一中的一种眼底图像识别方法的流程图；图2是本专利技术实施例二中的一种眼底图像识别方法的流程图；图3A是本专利技术实施例三中的一种眼底图像识别模型的结构示意图；图3B是本专利技术实施例三中的一种神经网络模型的结构示意图；图4A是本专利技术实施例四中的一种神经网络模型训练方法的流程图；图4B是本专利技术实施例四中的一种病灶眼底图像；图4C是本专利技术实施例四中的经预处理和等尺寸方格划分的训练眼底图像；图4D是本专利技术实施例四中的标注后的病灶分块网格和常人分块网格；图4E是本专利技术实施例四中的一种眼底图像识别方法的流程图；图4F是本专利技术实施例四中的一种类激活映射图；图4G是本专利技术实施例四中的最终显示图像；图5是本专利技术实施例五中的一种眼底图像识别装置的结构图；图6是本专利技术实施例六中的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一中的一种眼底图像识别方法的流程图。本专利技术实施例适用于对眼底图像进行病灶状态识别的情况，该方法由眼底图像识别装置执行，该装置采用软件和/或硬件实现，并具体配置于电子设备中，该电子设备可以是具备一定数据处理能力的移动终端或固定终端，还可以是服务器。如图1所示的一种眼底图像识别方法，包括：S110、获取待识别眼底图像，并对所述待识别眼底图像进行网格分块处理，以形成多个待识别分块网格。其中，眼底由视网膜、眼底血管、视神经乳头、视神经纤维、视网膜上的黄斑部，以及视网膜后的脉络膜等构成。眼底图像能够一定程度上反映眼部组织是否存在异常，例如存在微血管瘤、硬性渗出物以及出血等。可选的，获取待识别眼底图像可以是在眼底图像采集装置对待检测对象进行图像采集后，直接实时或定时获取所采集的待识别眼底图像。或者可选的，在电子设备本地、与电子设备相关联的其他存储设备或云端中，预先存储了眼底图像采集装置所采集的待检测对象的待识别眼底图像，在需要获取时，直接从本地、相关联的其他存储设备或云端中进行待识别眼底图像的获取。需要说明的是，当获取的待识别眼底图像由于获取来源不同，例如由于不同型号的眼底图像采集装置进行图像采集，导致各待识别眼底图像的尺寸存在一定的差异时，可以对待识别眼底图像进行尺寸归一化处理。示例性地，可以将所述待识别眼底图像按照设定目标尺寸进行缩放处理，并将缩放处理后的待识别眼底图像替换所述待识别眼底图像。其中，目标尺寸可以由技术人员根据需要或经验值进行设定，保证目标尺寸与后续所使用的神经网络模型进行训练时所获取的眼底图像的目标尺寸一致即可。由于不同的眼底图像采集装置在采集后的眼底图像中的边缘部分会添加不同形状的标记，或者由于图像采集过程中受周围环境光的影响导致眼底图像的边缘部分会由于曝光过度存在较强的噪声，为了避免待识别眼底图像的边缘噪声影响病灶的识别结果，还可以滤除所述待识别眼底图像的眼底边缘的无关信息(例如噪声信息以及标记信息等)，并将滤噪后的待识别眼底图像替换所述待识别眼底图像。示例性地，可以对待识别眼底图像区域进行边缘识别，并将识别的边缘设定宽度范围内的无关信息进行滤除。需要说明的是，进行边缘识别所采用的方法和无关信息滤除所采用的方法需要与神经网络模型训练时对应的边缘识别方法和无关信息本文档来自技高网...

【技术保护点】
1.一种眼底图像识别方法，其特征在于，包括：获取待识别眼底图像，并对所述待识别眼底图像进行网格分块处理，以形成多个待识别分块网格；将所述待识别眼底图像的每个待识别分块网格，分别输入预先训练的神经网络模型，以确定所述待识别分块网格的病灶状态；根据所述病灶状态和各所述待识别分块网格在待识别眼底图像中的位置，确定所述待识别眼底图像的病灶状态。

【技术特征摘要】
1.一种眼底图像识别方法，其特征在于，包括：获取待识别眼底图像，并对所述待识别眼底图像进行网格分块处理，以形成多个待识别分块网格；将所述待识别眼底图像的每个待识别分块网格，分别输入预先训练的神经网络模型，以确定所述待识别分块网格的病灶状态；根据所述病灶状态和各所述待识别分块网格在待识别眼底图像中的位置，确定所述待识别眼底图像的病灶状态。2.根据权利要求1所述的方法，其特征在于，在将所述待识别眼底图像的每个待识别分块网格，分别输入预先训练的神经网络模型之前，还包括：将每个待识别分块网格作为原始待识别分块网格，在所述待识别眼底图像中获取所述原始待识别分块网格的至少一个调整待识别分块网格，其中，所述调整待识别分块网格中至少包括所述原始待识别分块网格的部分区域；将各所述调整待识别分块网格与对应的原始待识别分块网格一并输入所述神经网络模型进行所述原始待识别分块网格的病灶状态识别。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括所述神经网络模型的训练阶段，所述训练阶段包括：获取病灶分块网格和常人分块网格，其中，所述病灶分块网格为在病灶眼底图像中标注包括病灶的分块网格；将所述病灶分块网格和常人分块网格输入所述神经网络模型中进行训练。4.根据权利要求3所述的方法，其特征在于，所述病灶分块网格包括原始分块网格和调整分块网格，其中，所述调整分块网格是在所述病灶眼底图像中提取的，并至少包括所述原始分块网格的部分区域。5.根据权利要求4所述的方法，其特征在于，获取病灶分块网格包括：获取原始病灶眼底图像，并进行网格分块处理，以获取多个原始分块网格；获取针对所述原始分块网格的病灶状态标注结果，其中，所述病灶状态标注结果包括：包括病灶和不包括病灶；在所述原始病灶眼底图像中获取所述病灶分块网格的至少一个调整分块网格，作为病灶分块网格。6.根据权利要求5所述的方法，其特征在于，在所述原始病灶眼底图像中获取所述病灶分块网格的至少一个调整分块网格包括：在所述原始病灶眼底图像中，以所述病灶分块网格为中心区域，将病灶分块网格的边长延长至设定倍数，获取扩大分块网格，作为调整分块网格；和/或，在所述原始病灶眼底图像中，以所述病灶分块网格为中心区域，将病灶分块网格的边长缩小设定比例，获取缩小分块网格，作为调整分块网格。7.根据权利要求3所述的方法，其特征在于，获取常人分块网格包括：将正常人的眼底图像进行网格分块处理，以获取多个常人分块网格。8.根据权利要求4所述的方法，其特征在于，所述神经网络模型包括卷积层、池化层和分类层；其中，所述卷积层包括分别用于处理所述原始分块网格和各调整分块网格的卷积通道，以将各分块网格进行至少一次卷积处理，以形成矩阵尺寸相同的多个特征图，并将各卷积通道所输出的特征图进行级联。9.根据权利要求8所述的方法，其特征在于，所述池化层采用全局平均池化方法，所述分类层为二分类模块，所述神经网络模型的目标函数根据焦点损失目标函数和杰卡德相似系数损失目标函数进行构建。10.根据权利要求9所述的方法，其特征在于，所述目标函数采用如下公式构建：其中，p代表所述分类层输出的包括病灶的模型预测值；y代表分块网格的病灶标注值；t代表分块网格的所属类别，类别包括：包括病灶和...

【专利技术属性】
技术研发人员：刘佳，杨叶辉，许言午，王磊，黄艳，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11