【技术实现步骤摘要】
本专利技术涉及计算机视觉，更具体地说，它涉及一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法。
技术介绍
1、在现代医学中，磁共振成像(mri)和计算机断层扫描(ct)被广泛用于从患者的潜在病变区域连续获取一系列二维图像切片，从而辅助医学诊断。然而，由于患者安全和扫描效率等因素，在临床实践中获得具有足够深度信息的高分辨率医学图像具有挑战性。在高分辨率的mri图像采集过程中，通常需要更长的扫描时间来减轻患者运动引起的运动伪影，因此通常采用稀疏采样来获取更少的切片以加快图像采集过程。虽然ct图像采集速度比mri快得多，但是使用的电离x射线辐射可能会增加患者细胞癌变的风险。因此，通常在确保诊断正确的情况下尽量采用较大宽度的层厚扫描，并通过大层厚的稀疏采样来减少扫描次数，从而减少对患者的辐射量。
2、医学图像体积超分辨率是计算机辅助手术和智能手术机器人的关键技术。它的目的是提高医学成像中深度维度上的分辨率，提供更多的切片信息，增强三维模型的清晰度，为医生提供额外的病理细节，提高诊断的准确性，并降低误诊风险。
3、通过体积超分辨率挖掘医学图像中隐藏的细节信息是一件非常具有挑战性的任务。与传统的自然图像超分辨率方法不同的是，体积超分辨率算法需要同时处理多张具有先后顺序的的图像，并自行学习到与之最相关的特征进行图像重建。与传统视频插帧算法不同的是，连续视频帧间的变化一般相对较小，而医学图像连续层间的变化较大，一般视频插帧算法所采用的小卷积方法并不可行。大部分体积超分辨率工作采用传统卷积来进行重建，感受野较小，
技术实现思路
1、本专利技术的目的在于克服低分辨率的各向异性医学图像无法给医生或计算机辅助诊断算法提供细节信息，从而导致医学诊断困难的问题，提供了一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法。
2、本专利技术的上述技术目的是通过以下技术方案得以实现的：一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，所述方法包括以下步骤：
3、s1：构建包含编码器、位置编码块和解码器的多尺度图像体积超分辨模型；
4、s2：保持原始输入图像尺寸不变，通过线性映射对图像进行浅层特征提取，扩张通道数；
5、s3：利用编码器中的混合注意与傅里叶卷积感知块(hfpb)对原始输入图像进行特征提取，输出不同阶段的结果，编码器在各阶段输出的结果尺度不同；
6、s4：对编码器最后一个阶段输出的结果进行重塑，然后基于需要扩充的图像层数量插入空白层，空白层数量为完整图像集数量减去初始输入图像层数量，然后加入具有层间序列顺序的位置编码；
7、s5：各阶段特征图将与编码器对应尺度的输出进行拼接后，利用解码器将经过位置编码后的结果通过hfpb进行特征增强，再通过反卷积进行上采样，解码器中子模块的阶段数与编码器中子模块的阶段数一致；
8、s6：利用线性投影对解码器输出进行重构，形成重构图像；
9、s7：利用最小化l1像素损失来优化网络参数，通过和真实图像进行比较，计算损失。
10、本专利技术进一步设置为：所述s3中，各阶段编码器中利用hfpb进行特征增强，编码器的具体过程包括：
11、除编码器的最后一个阶段外，将融合局部与全局特征的hfpb和下采样块进行结合作为每个编码器不同阶段的模块；数学表达式为：
12、t0＝hhfpb(x)# (1)
13、tk＝hhfpb(ek-1)，k＝1，2# (2)
14、ek＝φ(tk)，k＝0，1# (3)
15、e2＝t2# (4)
16、其中，x表示输入到hfpb的原始特征，tk表示经过hfpb生成的编码器的特征，φ(tk)表示下采样模块。
17、本专利技术进一步设置为：所述hfpb由窗口转换块(wcb)、重叠交叉注意块(ocab)和傅里叶域融合卷积块(fcb)三部分构成，通过连续多个wcb块对输入的特征图激活更多的非局部上下文信息来进行特征增强，数学表达式为：
18、
19、通过一个ocab块使用重叠窗口进行交叉关注，从而聚集跨窗口信息，并使用一个fcb模块捕获不同分支上不同感知场的互补信息，从而增强空间域特征，数学表达式为：
20、fi，out＝hfcb(hocab(fi，l))# (6)
21、其中，fi，j-1表示经过第i个编码器中hfpb模块的第j个wcb模块输入的特征图，fi，out表示第i个编码器中hfpb模块的最终输出特征图，式中，hocab(·)、hfcb(·)分别表示第j个wcb模块、ocab模块和fcb模块。
22、本专利技术进一步设置为：所述wcb块由swin transformer layer(stl)和channelattention(ca)两部分构成，数学表达式为：
23、
24、
25、
26、其中，代表第i个wcb的第j个stl层；表示ca模块，代表网络的第i个分支；fi，2为将两层自关注计算的结果；fi，ca为通道权重；代表矩阵乘法运算。
27、本专利技术进一步设置为：所述ocab块通过使用重叠的窗口执行自关注计算，并生成比查询使用的窗口更大的键/值对，数学表达式为：
28、
29、其中，查询矩阵qo、键矩阵和值矩阵vo均使用线性映射计算的，在该网络中，ko/vo使用1.5放大因子计算。
30、本专利技术进一步设置为：所述fcb块由频域分支和空间分支两个分支构成；
31、所述频域分支由聚合信息的卷积、傅里叶变换和傅里叶逆变换三部分构成；首先将xin经过一个3*3的卷积层进行浅层特征提取，随后通过傅里叶变换将输入转换到频域，然后对频谱数据进行高效的全局更新，最后通过fft逆运算将数据转换回空间格式，公式表示如下：
32、yf＝hifft(conv(hfft(conv(xin))))# (11)
33、其中conv(·)表示卷积层，hfft(·)表示傅里叶变换，hifft(·)表示傅里叶逆变换；
34、所述空间分支由聚合局部信息的深度卷积、捕获长程依赖扩张卷积以及通道注意se模块三部分构成；首先通过3*3的卷积提取局部信息，然后使用5*5的深度卷积(depthwise c本文档来自技高网...
【技术保护点】
1.一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述方法包括以下步骤：
2.根据权利要求1所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述S3中，各阶段编码器中利用HFPB进行特征增强，编码器的具体过程包括：
3.根据权利要求1所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述HFPB由窗口转换块(WCB)、重叠交叉注意块(OCAB)和傅里叶域融合卷积块(FCB)三部分构成，通过连续多个WCB块对输入的特征图激活更多的非局部上下文信息来进行特征增强，数学表达式为：
4.根据权利要求3所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述WCB块由Swin Transformer Layer(STL)和Channel Attention(CA)两部分构成，数学表达式为：
5.根据权利要求3所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述OCAB块通过使用重叠的窗口执行自关注计算，并生成比查询
6.根据权利要求3所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述FCB块由频域分支和空间分支两个分支构成；
7.根据权利要求1所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：为了使模型能够利用三维医学图像层已知的序列顺序，所述S4中的位置编码模块需要合并有关相对或绝对位置的信息，具体方法为：
8.根据权利要求1所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述S5中，各阶段解码器将上一阶段解码器的输出与对应编码器的输出合并，然后利用HFPB进行特征增强，并使用反卷积模块进行尺寸的恢复，公式表示如下：
9.根据权利要求1所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述S7中，使用最小化L1像素损失来优化网络的参数，输出是L1像素损失公式表示为：
...【技术特征摘要】
1.一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述方法包括以下步骤：
2.根据权利要求1所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述s3中，各阶段编码器中利用hfpb进行特征增强，编码器的具体过程包括：
3.根据权利要求1所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述hfpb由窗口转换块(wcb)、重叠交叉注意块(ocab)和傅里叶域融合卷积块(fcb)三部分构成，通过连续多个wcb块对输入的特征图激活更多的非局部上下文信息来进行特征增强，数学表达式为：
4.根据权利要求3所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征是：所述wcb块由swin transformer layer(stl)和channel attention(ca)两部分构成，数学表达式为：
5.根据权利要求3所述的一种基于混合注意与傅里叶卷积网络的医学图像体积超分辨率方法，其特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。