本发明专利技术公开了一种基于计算机视觉和深度学习的眼底疾病可视化分析方法，包括：对现有眼底疾病模型的结果进行可视化处理，标记支持模型做出最终决策的重点区域；将可视化算法生成的类别激活图与原始眼底图像进行叠加，以对模型关注区域内的图像信息进行筛选；根据筛选结果进一步对眼底图像当中的特征利用统计学算法进行分析，将病灶特征与模型得到的眼底疾病分析结果相关联。与现有方法相比，本发明专利技术所设计的眼底疾病可视化方法兼顾网络的深层与浅层输出，从而能够更加全面地分析模型的决策过程，同时本发明专利技术也为眼底病变的机理研究提供了新的分析方法。了新的分析方法。了新的分析方法。
【技术实现步骤摘要】
一种计算机视觉和深度学习的眼底疾病可视化分析方法
[0001]本专利技术属于深度学习模型可视化技术，尤其涉及一种基于计算机视觉和深度学习的眼底疾病可视化分析方法。利用类别激活图映射的方法结合统计学算法对模型的决策过程进行解释和分析。
技术介绍
[0002]临床研究表明，眼底的特异性改变会对人们的生活造成不可避免的影响，严重的视网膜病变甚至会导致失明，因此定期对眼底病变情况进行检测和诊断对于患者的及时发现和治疗有着重要意义。随着时代的发展，计算机视觉及深度学习技术的出现为眼底疾病的诊断和治疗提供了新的技术支持。
[0003]但由于深度学习模型的决策依据缺乏可解释性，因此为了更好的对结果进分析，需要对模型进行可视化处理。对于模型的可视化算法可以总结为过程可视化和结果可视化两大类。过程可视化是对学习过程中所提取的每张特征图进行可视化显示，用以评估模型的特征提取能力。结果可视化是在模型输出结果前对模型进行可视化处理，提取出模型做出决策的类别激活映射图或概率分布图等，用以分析模型的决策过程。因此模型的可视化为深度模型的可解释性提供了重要支持。
[0004]模型的可视化中最为经典的可视化方案是基于CAM(Class ActivationMapping)的可视化方法。它提出对一个深层的卷积神经网络而言，通过多次卷积和池化以后，它的最后一层卷积层包含了最丰富的空间和语义信息。所以说，要让卷积神经网络对其分类结果给出一个合理解释，必须要充分利用好最后一个卷积层。
[0005]然而，单纯的可视化处理只能够从类别激活图大致的找到模型对于图像当中的某些区域的关注程度，如果需要进一步获取图像当中的关键性信息或是对于其中的规律进行归纳总结就需要用到数学的方法。对于不同领域的图像而言，需要找到图像当中最为重要的特征进行统计分析，利用数据之间的关系来推导出存在于图像中的一般性规律。
技术实现思路
[0006]本专利技术采用的技术方案为一种计算机视觉和深度学习的眼底疾病可视化分析方法，该方法与现有的可视化算法相比考虑了更多层次的图像语义信息，同时可将可视化结果与输入图像进行协同分析，利用统计学的方法对关键特征进行统计和归纳，找到模型做出决策所依赖的病理学特征。该方法包括如下步骤：
[0007]步骤1，建立眼底病灶标注图像数据库。
[0008]对医学眼底疾病图像中的病灶以类别为单位进行人工标注，然后对带有病灶类别信息的标注结果进行组合，获得能够完整描述原始图像病灶信息的眼底病灶标注图像数据库。
[0009]步骤2，模型关注区域可视化处理。
[0010]以眼底病灶标注图像数据库为输入对眼底疾病图像分析模型进行多层次可视化
处理，类别激活图的生成是基于CAM的思想，通过不同通道不同位置的特征值的线性组合得到的，改进之处在于：不仅不同特征图的权重不同，同一特征图内不同位置特征值的权重也不同。具体来说，设最后卷积层的输出t维特征图为T
t
，该特征图中每个像素对应的权重设为为表示特定空间位置 (i,j)处的对于最终第x类的重要性。则由此获得的第x类对应的激活图计算公式为：
[0011][0012]与此同时，在保留相对位置靠后的深层特征图输出权重的同时，还保留相对位置靠前的浅层特征图输出权重。这样就可以利用深浅层次的类别激活映射图更完整的显示模型在决策过程中对眼底疾病标注图像当中不同区域的关注程度。
[0013]进行模型关注区域可视化处理的步骤如下：
[0014]步骤2.1，选择一个可用于眼底疾病图像分析的深度学习模型对眼底疾病图像进行训练，得到模型的输出权重。
[0015]步骤2.2，加载得到的模型输出权重，利用对应的眼底病灶标注图像对模型进行多层次可视化处理，得到不同层次的类别激活映射图(热力图)。
[0016]步骤3，可视化区域叠加。
[0017]对可视化处理生成的多层次类别激活映射图进行二值化处理，得到模型的主要关注区域，再将其作为掩膜与眼底病灶标注图像进行叠加，保留图像中具有更高关注度的病灶信息。
[0018]进行可视化区域叠加的步骤如下：
[0019]步骤3.1，对不同层次的彩色热力图按照RGB三个分量的选定加权指数进行灰度化处理，然后对得到的灰度化图像选取统一的阈值进行二值化处理，得到不同层次下模型的主要关注区域。
[0020]步骤3.2，将包含不同层次下模型主要关注区域的二值化图像依次与其对应的眼底病灶标注图像进行图像与操作，得到仅保留模型主要关注区域内病灶信息的区域化图像。
[0021]步骤4，区域化图像特征筛选与统计。
[0022]为了将模型的决策依据由区域性特征关联到病理性特征，就需要结合眼底的组织结构对不同层次区域化图像中的病灶细节信息进行筛选，寻找其中可能与疾病的产生和发展相关的特征。分别以图像和图像中的具体病灶为单位对选择的特征进行数据统计。
[0023]进行区域化图像特征筛选与统计的步骤如下：
[0024]步骤4.1，结合眼底中的主要组织结构以及病灶本身的特征，对可能与疾病的产生和发展相关的特征做出假设。例如：病灶的形态与面积，病灶与黄斑之间的距离，病灶与主干血管之间的距离等。
[0025]步骤4.2，将区域化图像根据眼底疾病图像分析模型的输出结果进行分类整理，便于后续的统计分析。
[0026]步骤4.3，以各个类别中的图像为单位，统计各个图像中筛选特征的各项数据。
[0027]步骤4.4，以图像中的病灶类型为单位，统计各个类别中所有图像相同类型病灶的筛选特征的各项数据。
[0028]步骤5，统计数据关联分析。
[0029]对统计得到的各组数据进行相关分析、均值
‑
方差分析、聚类分析等，并结合模型输入的眼底病灶图像以及相关医学知识进一步找到模型做出决策所依赖的病理学特征。
[0030]进行统计数据关联分析的步骤如下：
[0031]步骤5.1，对选定特征的统计数据利用相关分析的方法对数据间的关系进行分析，从而衡量选定的特征之间的相关密切程度以及模型关注区域内的病灶和关注区域外的病灶数据之间的相关性和差异性。
[0032]步骤5.2，对选定特征的统计数据求取其方差与均值，从而衡量选定特征的普遍性表现和组间数据的离散程度。
[0033]步骤5.3，将选定特征的统计数据使用聚类算法分到不同的类或者簇，同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性，从而衡量不同组别的数据之间的差异性。
[0034]综上所述，本专利技术利用神经网络的多层次可视化算法对眼底疾病进行可视化处理，获得多层次的类别激活映射图，并将其与模型的输入图像进行协同分析，从而进一步获得模型做出决策所依赖的病理学特征。与现有技术相比，本专利技术具有以下优点：
[0035](1)本方法与现有的可视化算法相比考虑了更多层次的图像语义信息，通过将深层与浅层信息相结合，能够更全面的对模型的决策过程进行解释。
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种计算机视觉和深度学习的眼底疾病可视化分析方法，其特征在于：该方法包括如下步骤：步骤1，建立眼底病灶标注图像数据库；对医学眼底疾病图像中的病灶以类别为单位进行人工标注，然后对带有病灶类别信息的标注结果进行组合，获得能够完整描述原始图像病灶信息的眼底病灶标注图像数据库；步骤2，模型关注区域可视化处理；以眼底病灶标注图像数据库为输入对眼底疾病图像分析模型进行多层次可视化处理，设最后卷积层的输出t维特征图为T
t
，该特征图中每个像素对应的权重设为表示特定空间位置(i,j)处的对于最终第x类的重要性；则由此获得的第x类对应的激活图计算公式为：在保留相对位置靠后的深层特征图输出权重的同时，还保留相对位置靠前的浅层特征图输出权重；利用深浅层次的类别激活映射图更完整的显示模型在决策过程中对眼底疾病标注图像当中不同区域的关注程度；步骤3，可视化区域叠加；对可视化处理生成的多层次类别激活映射图进行二值化处理，得到模型的主要关注区域，再将其作为掩膜与眼底病灶标注图像进行叠加，保留图像中具有更高关注度的病灶信息；步骤4，区域化图像特征筛选与统计；为了将模型的决策依据由区域性特征关联到病理性特征，就需要结合眼底的组织结构对不同层次区域化图像中的病灶细节信息进行筛选，寻找其中可能与疾病的产生和发展相关的特征；分别以图像和图像中的具体病灶为单位对选择的特征进行数据统计；步骤5，统计数据关联分析；对统计得到的各组数据进行相关分析、均值
‑
方差分析、聚类分析，并结合模型输入的眼底病灶图像以及相关医学知识进一步找到模型做出决策所依赖的病理学特征。2.根据权利要求1所述的一种计算机视觉和深度学习的眼底疾病可视化分析方法，其特征在于：进行模型关注区域可视化处理的步骤如下：步骤2.1，选择一个可用于眼底疾病图像分析的深度学习模型对眼底疾病图像进行训练，得到模型的输出权重；步骤2.2，加载得到的模型输出权重，利...
【专利技术属性】
技术研发人员：李煜，朱美龙，孙光民，陈佳阳，李侨宇，汤长新，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。