【技术实现步骤摘要】
本专利技术涉及一种眼底图像识别方法，具体是一种基于交互式的眼底图像无灌注区域智能识别方法，属于医学图像处理和计算机视觉。
技术介绍
1、近年来，医学人工智能取得了显著的进展，深度神经网络在各种应用中已经匹配或超过了临床专家的准确性。尤其是卷积神经网络的广泛应用，卷积神经网络在图像分类、目标检测和分割等任务上取得了令人印象深刻的结果，也在眼底图像分析领域表现出了强大的潜力。其中医学图像分割已被广泛认为是临床诊断、分析和治疗计划的关键程序。
2、目前很多眼底的血管性疾病都会导致患者出现眼底的无灌注区(眼底的缺血区)，比如糖尿病性视网膜病变、视网膜静脉阻塞、视网膜静脉周围炎等。眼底无灌注区的出现非常危险，如果不及时治疗，则会造成血管大量生长、渗透压减低、血浆外溢，进而会造成眼压升高、并且会很快失明，因此医生需要准确判断出患者眼底的所有无灌注区域并进行治疗。传统的医生手动标注无灌注区不仅工作量大、效率低、费时费力，而且容易出错或遗漏，近年来随着医学人工智能的专利技术，利用经过训练的人工智能模型来自动识别眼底的无灌注区可以大大提升效率，这些模型通过深度学习和图像分析能够准确识别出眼底的无灌注区，便于医生进行诊断。
3、图像分割技术在眼底的无灌注区识别中扮演着关键的角色，分割任务的本质是像素级分类。采用人工智能模型来自动识别眼底的无灌注区时，一方面，传统分割方法往往在离散地区分像素标签，但是无灌注区可能与周围存在模糊边界，这可能无法有效捕捉像素值及其相关特征的连续和平滑分布，除此之外，由于眼底图像的多样性以及复杂性，
技术实现思路
1、针对上述现有技术存在的问题，本专利技术提供一种基于交互式的眼底图像无灌注区域智能识别方法，能够实现提高眼底无灌注区分割的效率和准确度，进而可帮助医生更快速、准确和高效地识别患者的眼底无灌注区域并进行有针对性的及时治疗。
2、为实现上述目的，本基于交互式的眼底图像无灌注区域智能识别方法具体包括以下步骤：
3、step1，通过图像预处理模块对输入的眼底图像进行预处理；
4、step2，搭建补丁拉锯对比正则化网络模型，通过重新定义多尺度补丁级别对，并将离散互斥二分的定义放宽为连续软权重，将对比学习扩展到监督分割任务；
5、step3，搭建交互记忆网络模型，交互记忆网络模型由交互网络fin和记忆网络fmn两个子网络结合而成，交互网络fin采用级联结构实现以粗到细的方式产生分割，记忆网络fmn从交互切片中学习、并在其他切片中分割出期望的目标，利用迭代改进、通过多轮推理实现提高分割性能；
6、step4，进行预训练，将u-net分割模型结合补丁拉锯对比正则化模型和交互记忆网络模型进行预训练，预训练过程中，交互记忆网络学习前一轮的训练并用于下一轮；
7、step5，投入使用，用户使用过程中进行多轮交互、迭代改进，交互记忆网络根据用户对小区域识别修改后进行学习并记忆，通过多轮推理逐步提升分割性能。
8、进一步的，step2具体过程如下：
9、step2-1，分割补丁对：在图像内构建补丁级对，将输入空间中的局部补丁与隐藏特征映射中的隐藏向量进行关联，进行网格采样，从每个隐藏层中选择n个隐藏向量，记为v；
10、step2-2，亲和力得分：给定一对向量(vi,vj)，相关的亲和性得分wij∈[0,1]是一个标量，将vi的感知域表示为ri，最后的亲和力得分wij计算公式如下：
11、
12、式中：m表示类别的数量，表示向量vi的第m类的前景比例，表示向量vj的第m类的前景比例；
13、step2-3，补丁拉锯对比损失：首先计算出一对向量(vi,vj)的余弦相似度，计算公式如下：
14、
15、式中：sim(·)表示余弦相似度，vi和vj分别表示两个向量，t表示求转置的运算；
16、接下来计算一对向量的补丁拉锯对比损失，计算公式如下：
17、
18、
19、式中：sij是来自目标层l的两个隐藏向量vi和vj的余弦相似度，sik是来自目标层l的两个隐藏向量vi和vk的余弦相似度，wij是这两个向量的亲和力得分、表示它们之间的相似性，表示vi和vk的相异性，τ是对比学习框架中的变换集合；
20、最后得到整个补丁拉锯对比损失，计算公式如下：
21、
22、式中：lij表示向量对(vi,vj)的补丁拉锯对比损失。
23、进一步的，step3中，利用迭代改进，在每一轮中，交互记忆网络模型对输入图像的处理分为三个步骤：
24、①初始化：对眼底无灌注区进行初始识别后，医生根据识别结果进行小区域调整，根据医生的指导，利用二维交互分割网络生成指定目标的初始二维分割；
25、②分割：将初始掩码按顺序双向传播到整个卷，同时预测每个切片的分割质量；
26、③记忆：对医生的小区域结果进行学习并记忆。
27、进一步的，step3中交互网络fin构建过程如下：
28、①输入被馈送到类fpn的网络中，通过横向连接将来自更深层的高级语义信息与来自更早层的低级细节融合在一起，以产生信息表示；
29、②应用多尺度融合来聚合fpn网络中不同层次的信息；
30、③使用1×1卷积层生成初始分割掩码。
31、进一步的，输入被馈送到类fpn的网络中时，在最深层附加一个金字塔场景解析模块以收集全局上下文信息。
32、进一步的，step3具体过程如下：
33、step3-1，键嵌入和值嵌入：给定一个查询切片iq，网络从内存m中挖掘出有用的信息用于分割，每个存储单元mj∈m是由切片图像inj及其分割掩码ynj组成，其中下标nj表示原始图像中切片的索引；
34、首先使用专用编码器对查询切片iq以及每个存储单元mj＝{inj,ynj}进行编码：
35、kq,vq＝εq(iq)
36、
37、式中：和表示查询切片iq的键和值嵌入，和表示存储单元mj的键和值嵌入，w和c分别表示来自骨干网络的特征图的宽度和通道尺寸，εq表示查询编码器，εm表示存储器编码器；
38、然后将来自不同存储单元切片的键和值映射堆叠在一起以构建一对3d键和值特征，即和其中n＝|m|表示内存大小；
39、step3-2，进行记忆读取：控制器从存储器中检索与当前查询相关的有用信息，
40、首先计算查询键kq本文档来自技高网...
【技术保护点】
1.一种基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，Step2具体过程如下：
3.根据权利要求2所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，Step3中，利用迭代改进，在每一轮中，交互记忆网络模型对输入图像的处理分为三个步骤：
4.根据权利要求3所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，Step3中交互网络fIN构建过程如下：
5.根据权利要求4所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，输入被馈送到类FPN的网络中时，在最深层附加一个金字塔场景解析模块以收集全局上下文信息。
6.根据权利要求3所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，Step3具体过程如下：
7.根据权利要求6所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，Step3-4中记忆网络fMN执行多轮交互时，在第一轮中，向交互网络fIN提供用户提示
8.根据权利要求1所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，Step1中图像预处理模块包括用于在目标眼底图像中检测特定眼底区域的区域检测单元、用于对目标眼底图像进行裁剪和尺寸调整以达到适应网络输入的调整单元、以及用于对目标眼底图像和参考眼底图像进行归一化处理的归一化单元。
...【技术特征摘要】
1.一种基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，step2具体过程如下：
3.根据权利要求2所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，step3中，利用迭代改进，在每一轮中，交互记忆网络模型对输入图像的处理分为三个步骤：
4.根据权利要求3所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，step3中交互网络fin构建过程如下：
5.根据权利要求4所述的基于交互式的眼底图像无灌注区域智能识别方法，其特征在于，输入被馈送到类fpn的网络中时，在最深层附加一个金字塔场景解析模块以收集全局上下文信息。
6.根据权利要求3所述的基于交互式的眼底图像无灌注区域智能...
【专利技术属性】
技术研发人员：李甦雁，杨旭，吴梦楚，徐晓，尹雨晴，牛强，余颖，廖弘，
申请(专利权)人：徐州市第一人民医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。