【技术实现步骤摘要】
本专利技术涉及深度学习及医学图像处理领域，具体涉及基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法、系统及存储介质。
技术介绍
1、糖尿病性视网膜病变(dr)作为一种严重并发症，是糖尿病患者中主要的视力威胁之一。随着全球糖尿病患者数量的增加，dr的发病率也呈上升趋势。据研究资料显示，糖尿病性视网膜病变致盲的可能性约为非糖尿病患者的25倍。然而，提早发现并及时干预可以极大降低dr对患者视力的影响，因此实现dr的早期筛查与诊断具有重要意义。医疗资源的分布不均衡导致很多患者无法获得及时的诊断服务。尤其是在偏远地区，缺乏专业的眼科医生和设备，造成了医疗资源的短缺，从而限制了患者的就医机会。现有的基于深度学习的糖尿病性视网膜病变检测方法，模型对早期dr病变区域关注度不足易导致漏诊或误诊，导致病变在进展到晚期时才被发现，从而贻误了最佳的治疗时机；而中晚期视网膜病变明显，与早期病变相差较大，不适合与早期病变采用同样的模型进行检测。
技术实现思路
1、本专利技术要解决的技术问题是：
2、现有的糖尿病性视网膜病变分析方法对早期病变区域关注度不足易导致漏诊或误诊，而中晚期视网膜病变与早期相差较大，不适用于早期病变同样的检测模型。
3、本专利技术为解决上述技术问题所采用的技术方案：
4、本专利技术提供基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，包括如下步骤：
5、s1、采集糖尿病患者眼底图像，对图像进行预处理，构建早期与中晚期糖尿病性视网
6、s2、构建眼底血管语义分割模型对早期糖尿病视网膜病变图像的眼底血管进行分割提取，计算静脉分形维数与分支角度作为生物标志物；
7、s3、构建多模态融合的早期糖尿病视网膜病变检测模型，以早期糖尿病视网膜病变图像与生物标志物为输入，利用眼底图像特征提取器提取视网膜眼底图像特征向量，编码眼底血管生物标志物特征向量，通过投票门控机制计算眼底图像特征向量与生物标志物特征向量的融合权重，将眼底图像特征向量与生物标志物特征向量进行加权融合，对早期糖尿病性视网膜病变类型进行检测；
8、s4、构建病变注意力生成器，将中晚期糖尿病视网膜病变图像输入病变注意力生成器生成病变注意力图，基于病变注意力图对病变原图进行通道病变注意力加权；
9、s5、构建晚期糖尿病性视网膜病变检测模型，将病变注意力加权的中晚期糖尿病视网膜病变图像作为模型输入，对中晚期糖尿病性视网膜病变类型进行检测。
10、进一步地，s1中所述对图像进行预处理，包括：对数据进行裁剪、旋转、缩放和翻转操作。
11、进一步地，步骤s2包括如下步骤：
12、s21、构建眼底血管语义分割模型，将眼底血管语义分割模型训练至收敛；
13、s22、利用眼底血管语义分割模型对早期糖尿病视网膜病变图像的眼底血管进行分割提取；
14、s23、对血管进行骨骼化处理，利用盒计数法计算血管的静脉分形维数，具体为：
15、利用不同大小的滑动窗口对骨骼化的静脉血管进行覆盖，记录盒子的大小以及包含静脉血管的盒子数量；
16、对盒子大小与盒子数量分别取对数，采用最小二乘法拟合散点得到血管直线方程：
17、y＝wx+b
18、其中w为拟合直线斜率，b为拟合直线偏差；
19、直线的斜率为静脉分形维数，最小二乘法拟合直线的公式为：
20、
21、其中n为血管的像素点数，与分别为血管横坐标与纵坐标的平均值，xi与yi分别表示第i个像素点的横坐标与纵坐标；
22、s24、利用8邻域计数法确定血管分叉点，计算血管的分支角度，具体为：
23、在骨骼化血管中搜索所有8邻域血管像素点，将8邻域像素点数大于l的像素点确定为分叉点，分别连接分叉点到分叉血管端点构建子血管向量u与v，计算子血管分支角度，即：
24、
25、其中u与v分别表示子血管向量，θ为血管分支角度。
26、进一步地，s3包括如下步骤：
27、s31、构建多模态融合的早期糖尿病视网膜病变检测模型，以早期糖尿病视网膜病变图像与生物标志物为输入，利用以resnet50为主干结构的眼底图像特征提取器提取视网膜眼底图像特征向量，即：
28、fimg＝fimg(i)
29、其中fimg表示眼底图像特征向量，fimg表示眼底图像特征提取器，i表示视网膜眼底图像；
30、s32、编码眼底血管生物标志物为生物标志物特征向量，通过投票门控机制自动学习特征融合权重，即：
31、λ＝sig(bn(σ(conv1×1(cat(fimg,fbiomarker))))
32、其中λ表示特征融合权重，sig表示sigmoid激活函数，bn表示批归一化，conv1×1表示1×1卷积，cat表示拼接操作，fimg表示眼底图像特征向量，fbiomarker表示生物标志物特征向量；
33、s33、将眼底图像特征向量与生物标志物特征向量加权融合，将其输入到分类器中进行分类，得到早期糖尿病性视网膜病变类型分类结果，即：
34、c＝fcls(λfimg+(1-λ)fbiomarker)
35、其中c表示病变类型分类结果，fcls表示分类器，λ表示特征融合权重，fimg表示眼底图像特征向量，fbiomarker表示生物标志物特征向量。
36、进一步地，s4包括如下步骤：
37、s41、构建病变注意力生成器，将中晚期糖尿病视网膜病变图像分割为m×m大小的切片，并输入到病变注意力生成器中，获得每个切片对应区域各病变严重程度的概率；
38、s42、将每个切片中每病变严重程度的概率进行复制和扩充，使其与切片大小保持一致，并按照这些切片在原始中晚期糖尿病视网膜病变图像上的位置进行排列，得到四种病变严重程度的患病概率图，即病变注意力图；
39、s43、基于病变注意力图对原图进行通道病变注意力加权，即：
40、
41、s.t.,k＝0,1,...,j×c-1,
42、p＝0,1,...,j-1
43、q＝0,1,...,c-1
44、其中，表示添加了注意力的图像的第k通道，lp表示第p个病变的注意力图，表示原始图像的第q个通道，c表示原始图像的通道数，j表示病变类别数，表示像素级别的相乘运算。
45、进一步地，步骤s41中所述病变注意力生成器的训练过程包括如下步骤：
46、s411、构建中晚期糖尿病视网膜病变图像数据集，将图像进行切片，切片大小为m×m；
47、s412、基于微动脉瘤(ma)、出血(he)、硬性渗出物(ex)和软性渗出物(se)四种病变，本文档来自技高网...
【技术保护点】
1.基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，S1中所述对图像进行预处理，包括：对数据进行裁剪、旋转、缩放和翻转操作。
3.根据权利要求1所述的基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，步骤S2包括如下步骤：
4.根据权利要求1所述的基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，S3包括如下步骤：
5.根据权利要求1所述的基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，S4包括如下步骤：
6.根据权利要求5所述的基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，步骤S41中所述病变注意力生成器的训练过程包括如下步骤：
7.一种基于多模态融合与注意力机制的糖尿病性视网膜病变检测系统，其特征在于，该系统具有与上述权利要求1～6任一项权利要求的步骤对应的程序模块，运行时执行上述的基于多模态融合与注意
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1～6中任一项所述的基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法中的步骤。
...【技术特征摘要】
1.基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，s1中所述对图像进行预处理，包括：对数据进行裁剪、旋转、缩放和翻转操作。
3.根据权利要求1所述的基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，步骤s2包括如下步骤：
4.根据权利要求1所述的基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，s3包括如下步骤：
5.根据权利要求1所述的基于多模态融合与注意力机制的糖尿病性视网膜病变检测方法，其特征在于，s4包括如...
【专利技术属性】
技术研发人员：郝明，匡洪宇，谢怡宁，龙俊，张天雨，王雪宁，
申请(专利权)人：哈尔滨医科大学附属第一医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。