面向OCTA图像的视网膜结构提取方法、系统及应用技术方案

本发明专利技术公开了一种面向OCTA图像的视网膜结构提取方法、系统及应用。所述的面向OCTA图像的视网膜结构提取方法包括：获取OCTA图像；从OCTA图像的多个亚层中提取每个亚层对应的多尺度融合特征；利用多个不同的投票门模块从中提取投票门特征；对投票门特征进行关键点的检测，获得关键点特征；将关键点特征以及可选择的部分投票门特征作为OCTA图像的特征提取结果。本发明专利技术提供的视网膜结构提取方法利用OCTA图像丰富的亚层信息进行综合提取，充分融合了不同亚层的特点，是一种全新的端到端的多任务学习框架，联合学习OCTA图像中的特征图像，为视网膜血管指标的量化分析提供了一种有效且精确的方式。效且精确的方式。效且精确的方式。

【技术实现步骤摘要】
面向OCTA图像的视网膜结构提取方法、系统及应用


[0001]本专利技术涉及图像识别
，特别涉及眼部光学相干断层血管图像识别领域，尤其涉及一种面向OCTA图像的视网膜结构提取方法、系统及应用。

技术介绍

[0002]光学相干断层血管成像(OCTA)是建立在光学相干断层成像(OCT)平台上的一种快速、无创的成像技术，可以生成包含视网膜血管和微血管系统功能信息的图像。从OCTA图像中获得的视网膜指标的量化指标信息在眼病和神经退行性疾病的定量研究和临床决策中起着至关重要的作用。
[0003]例如，与健康对照组相比，阿尔茨海默病(AD)患者的眼睛显示视网膜血管密度显著降低。在一些视网膜疾病中，中央凹无血管区(FAZ)的尺寸和连接密度也与健康对照组存在显著不同。
[0004]基于以上原因，从OCTA中自动、准确地提取这些视网膜结构的特征图像对于早期诊断视网膜循环相关疾病，评估疾病进展具有重要意义。
[0005]然而，现有的OCTA图像中视网膜特征图像的提取工作仅侧重于单任务学习，这意味着如果需要对多个结构指标进行量化，则需要分别训练多个不同的网络。现有技术中，一个可行的解决方案是使用多任务学习(MTL)训练一个模型，它可以同时执行多个任务，而不是建立一组独立的网络。然而，目前的MTL工作是专门为自然图像设计的，由于一些挑战限制了它们对OCTA图像的适用性。最重要的是，上述的这些方法以单一的二维图像作为输入，很难充分利用OCTA图像丰富的亚层信息。

技术实现思路

[0006]针对现有技术的不足，本专利技术的目的在于提供一种面向OCTA图像的视网膜结构提取方法、系统及应用。
[0007]为实现前述专利技术目的，本专利技术采用的技术方案包括：
[0008]第一方面，本专利技术提供一种面向OCTA图像的视网膜结构提取方法，包括：
[0009]1)获取OCTA图像，所述OCTA图像包括多个亚层；
[0010]2)从所述OCTA图像的多个亚层中提取每个所述亚层对应的多尺度融合特征；
[0011]3)利用多个不同的投票门模块从多个所述多尺度融合特征中提取投票门特征；
[0012]4)对所述投票门特征进行关键点的检测，获得关键点特征；
[0013]5)将所述关键点特征以及可选择的部分投票门特征作为OCTA图像的特征提取结果。
[0014]第二方面，本专利技术还提供一种面向OCTA图像的视网膜结构提取系统，包括基于投票机制的多任务特征提取网络，所述多任务特征提取网络包括：
[0015]特征提取模块，其包括多个特征提取器，多个所述特征提取器分别用于从不同输入的OCTA图像亚层中提取每个所述亚层对应的多尺度融合特征，
[0016]多个独立的特定于任务的投票门模块，用于自适应选取对于每个任务最重要的特征；以及
[0017]关键点检测模块，包括：
[0018]基于热图回归的第一任务单元，用于实现关键点的定位，
[0019]基于区域分类的第二任务单元，用于识别关键点的类型。
[0020]第三方面，本专利技术还提供一种神经网络训练方法，包括：
[0021]获取训练图像，并对所述训练图像进行标记，生成标记信息；
[0022]利用上述视网膜结构提取方法对所述训练图像进行特征提取，获得所述训练图像对应的特征提取结果；
[0023]根据所述标记信息和特征提取结果对所述视网膜结构提取方法所用的神经网络进行训练。
[0024]第四方面，本专利技术还提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时上述视网膜结构提取方法的步骤。
[0025]第五方面，本专利技术还提供一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述视网膜结构提取方法的步骤。
[0026]基于上述技术方案，与现有技术相比，本专利技术的有益效果至少包括：
[0027]本专利技术提供的一种OCTA视网膜结构提取方法利用OCTA图像丰富的亚层信息进行综合提取，并利用投票机制从提取得到的多尺度融合特征中提取出投票门特征并依据投票门特征识别其中的部分关键点特征，最终融合关键点特征和部分投票门特征作为最终的特征提取结果，该技术方案充分融合了不同亚层的特点，是一种全新的端到端的多任务学习框架，联合学习OCTA图像中的特征图像，为视网膜血管指标的量化分析提供了另一种有效且精确的方式。
[0028]上述说明仅是本专利技术技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合详细附图说明如后。
附图说明
[0029]图1是本专利技术一典型实施方案提供的一种面向OCTA图像的视网膜结构提取方法的简要流程示意图；
[0030]图2是本专利技术实施例提供的一典型实施方案提供的一种面向OCTA图像的视网膜结构提取方法的提取过程示意图；
[0031]图3是本专利技术实施例提供的一典型实施方案提供的一种面向OCTA图像的视网膜结构提取方法中对所述投票门特征进行关键点的检测步骤的流程示意图；
[0032]图4是本专利技术实施例提供的一典型实施方案提供的一种面向OCTA图像的视网膜结构提取方法所利用的亚层图像以及特征提取结果图像。
具体实施方式
[0033]鉴于现有技术中的不足，本案专利技术人经长期研究和大量实践，得以提出本专利技术的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
[0034]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。
[0035]而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件或方法步骤区分开来，而不一定要求或者暗示这些部件或方法步骤之间存在任何这种实际的关系或者顺序。
[0036]参见图1及图2，本专利技术实施例提供的一种面向OCTA图像的视网膜结构提取方法，包括如下的步骤：
[0037]1)获取OCTA图像，所述OCTA图像包括多个亚层。
[0038]2)从所述OCTA图像的多个亚层中提取每个所述亚层对应的多尺度融合特征。
[0039]3)利用多个不同的投票门模块从多个所述多尺度融合特征中提取投票门特征。
[0040]4)对所述投票门特征进行关键点的检测，获得关键点特征。
[0041]5)将所述关键点特征以及可选择的部分投票门特征作为OCTA图像的特征提取结果。
[0042]在一些实施方案中，步骤1)中的所述亚层可以至少包括浅血管复合体层、深血管复合体层和全神经丛视网膜层。
[0043]在一些实施方案中，步骤4)中的所述关键点可以至少包括血管分叉点和血管交叉点。
[0044]在一些实施方案中，步骤5)中的所述特征提取结果可以至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向OCTA图像的视网膜结构提取方法，其特征在于，包括：1)获取OCTA图像，所述OCTA图像包括多个亚层；2)从所述OCTA图像的多个亚层中提取每个所述亚层对应的多尺度融合特征；3)利用多个不同的投票门模块从多个所述多尺度融合特征中提取投票门特征；4)对所述投票门特征进行关键点的检测，获得关键点特征；5)将所述关键点特征以及可选择的部分投票门特征作为OCTA图像的特征提取结果。2.根据权利要求1所述的视网膜结构提取方法，其特征在于，步骤1)中，所述亚层至少包括浅血管复合体层、深血管复合体层和全神经丛视网膜层；和/或，步骤4)中，所述关键点至少包括血管分叉点和血管交叉点；和/或，步骤5)中，所述特征提取结果至少包括视网膜血管图像、中央凹无血管区图像和视网膜血管分叉点/交叉点图像。3.根据权利要求1或2所述的视网膜结构提取方法，其特征在于，步骤2)具体包括：将所述多个亚层输入多个特征提取器的第一卷积层，获得与每个所述亚层对应的多个第一卷积特征；将多个所述第一卷积特征分别输入多个特征提取器的剩余卷积层，获得每个所述亚层对应的多尺度融合特征；优选的，多个所述特征提取器的权重参数相同。4.根据权利要求3所述的视网膜结构提取方法，其特征在于，所述特征提取器均由ResNet
‑
50网络构成。5.根据权利要求3所述的视网膜结构提取方法，其特征在于，步骤3)具体包括：将所述第一卷积层输出的多个第一卷积特征进行拼接得到拼接特征；将所述拼接特征输入多个独立的与特定任务对应的投票门模块，得到与特定任务对应的投票门信息；其中，所述特定任务选自视网膜血管图像任务、中央凹无血管区图像任务和视网膜血管分叉点/交叉点图像任务中的一种；利用所述投票门信息从所述多尺度融合特征中提取投票门特征；优选的，所述投票门模块根据其对应的特定任务的不同，在多个亚层和多个空间位置上选择特征作为所述投票门信息；优选的，多个所述空间位置至少包括黄斑中心区域、血管相的位置以及血管的边缘。6.根据权利要求5所述的视网膜结构提取方法，其特征在于，所述的，利用所述投票门信息从所述多尺度融合特征中提取投票门特征，具体包括：将所述投票门信息分别与每个所述多尺度融合特征相乘得到相乘特征，并将全部多尺...

【专利技术属性】
技术研发人员：陈方胜，郝晋奎，赵一天，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：