System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 对抗卷积神经网络模型、OCT图像重建算法及存储介质制造技术_技高网

对抗卷积神经网络模型、OCT图像重建算法及存储介质制造技术

技术编号:41299471 阅读:3 留言:0更新日期:2024-05-13 14:47
本发明专利技术公开了一种对抗卷积神经网络模型、OCT图像重建算法及存储介质,包括生成器和鉴别器,生成器包括频域图像特征提取模块和上采样超分辨率重建模块,频域图像特征提取模块将输入的空间域图像转换为复频域图像,在经过频谱平移实现低分辨率图像频谱特征提取,以提取图像频域重要信息,上采样超分辨率重建模块将频域图像特征提取模块输出的像进行上采样生成高分辨率图像,再进行特征提取学习最后生成超分辨率图像,鉴别器对比生成器生成的超分辨率图像和真实的高分辨率图像判别超分辨率图像真实性;通过在频域中进行特征提取,加强了对频域信息的保留,有效提高了泛化能力,使模型更好地适应不同类型的OCT图像,从而更好地重建图像细节信息。

【技术实现步骤摘要】

本专利技术涉及图像重建,具体涉及对抗卷积神经网络模型、oct图像重建算法及存储介质。


技术介绍

1、光学相干断层扫描(oct)在诊断和治疗心脏和眼科疾病等医学领域有广泛应用。oct的主要优势在于其卓越的深度分辨能力,更高的分辨率使其能够更精确地捕捉微观结构特征,从而有助于深入分析患者的病理问题。目前关于提高oct分辨率的方法主要从创新硬件设备和oct图像算法重建两个方面展开。创新硬件方法提高oct分辨率方法有微oct、合成孔径、用于横向超分辨率的结构照明和多顿超分辨率等,这些物理方法往往伴随高昂的成本。oct图像算法重建主要包含传统算法重建和深度学习算法重建。传统算法大多通过比较基线组织的衰减估计值和ivoct图像与钙、脂肪和纤维斑块,找到最佳增强系数,有效克服了以往算法的组织衰减和伪影变化问题。深度学习方法主要是采用,卷积神经网络和对抗卷积神经网络(gan)实现oct图像分辨率提高和去噪。

2、现有技术的缺陷和不足:

3、(1)成本高:硬件方法用于提高oct分辨率,例如微oct、合成孔径、用于横向超分辨率的结构照明和多顿超分辨率,这些方法需要昂贵的材料成本和高新技术成本,从而提高了系统的整体成本。

4、(2)频域信息的提取尚不充分:目前的oct图像频域包含丰富的光谱特征,这对于超分辨率重建中的图像细节至关重要。提取频域信息的不足可能导致虚假信息引入和图像过度平滑。

5、(3)频域和空间域信息融合不足:现有算法主要在空间域进行细节信息提取以进行图像重建,或在频域对频谱进行分析以实现图像重建。这些方法未能有效融合两个域的信息,导致图像细节信息的丧失。

6、(4)适应性不足:针对不同类型的oct图像和不同成像条件,一些方法可能适应性不足,导致在特定情境下性能下降。

7、(5)模型泛化性不强:训练得到的模型可能在未见过的数据上表现不佳,这可能归因于模型在训练阶段过度拟合特定数据,难以很好地推广到其他数据集,形成了模型的泛化性不强的问题。


技术实现思路

1、针对现有技术存在的不足,本专利技术的目的在于提供一种对抗卷积神经网络模型、oct图像重建算法及存储介质。

2、为了实现上述目的,本专利技术提供如下技术方案:

3、对抗卷积神经网络模型,包括生成器和鉴别器,所述生成器包括频域图像特征提取模块和上采样超分辨率重建模块,

4、所述频域图像特征提取模块将输入的空间域图像转换为复频域图像,在经过频谱平移实现低分辨率图像频谱特征提取,以提取图像频域重要信息,

5、所述上采样超分辨率重建模块包括上采样单元和fcbr单元,所述上采样单元将所述频域图像特征提取模块输出的图像进行上采样生成高分辨率图像,再通过fcbr单元进行特征提取学习最后生成高分辨率重建图像,

6、鉴别器对比生成器生成的超分辨率图像和真实的高分辨率图像判别超分辨率图像真实性。

7、在本专利技术中,优选的,所述频域图像特征提取模块依次包括第一fft层、相位谱处理第一fftshift层、第一conv层、第一bn层、第一relu层、第二conv层、第一ifftshift层、第一ifft层和第一sum层。

8、在本专利技术中,优选的,所述上采样超分辨率重建模块依次包括第三conv层、pxilshuffler层、第二relu层、第二fft层、第二fftshift层、第四conv层、第二bn层、第三relu层、第五conv层、第二ifftshift层、第二ifft层和第二sum。

9、在本专利技术中,优选的,所述生成器依次包括总一conv层、总一relu层、16个所述频域图像特征提取模块、cbr层、sum层、2个所述上采样超分辨率重建模块、总二conv层。

10、在本专利技术中,优选的,所述鉴别器依次包括总三conv层、总二relu层、7个cbr层、总一dense层、总三relu层、总二dense层、sigmoid层。

11、在本专利技术中,优选的,所述cbr层内依次包括卷积处理、归一化处理和激活函数处理。

12、对抗卷积神经网络模型的oct图像重建算法,包括如下步骤:

13、将输入的低分辨率图像转换为复频域图像;

14、对复频域图像进行频谱平移;

15、对平移后的图像进行特征提取;

16、对提取后的特征图像进行频谱逆平移以及相位谱的傅里叶逆变换,逆变换后的特征图像与原低分辨率图像相加;

17、对相加后的图像进行上采样以及进一步特征提取学习生成超分辨率重建图像;

18、计算超分辨率重建图像为真实图像的概率。

19、在本专利技术中,优选的,由所述频域图像特征提取模块将输入的属于空间域的低分辨率图像通过傅里叶变换转换为复频域图像,并生成相应的相位谱和频谱,利用平移特征,将高频信号和低频信号分别排列,通过对平移后的频谱图进行特征提取,以加强网络对图像频域分布信息的学习。

20、在本专利技术中,优选的,所述上采样超分辨率重建模块对所述频域图像特征提取模块输出的相加后的图像通过pxilshuffler实现低分辨率图像上采样的过程,以将输入的低分辨率图像转换为超分辨率图像,然后进一步进行频域信息提取和空间信息融合,以提升重建后图像的相似度和峰值信噪比。

21、一种存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上述一项二元协同的数据平衡优化方法的步骤。

22、与现有技术相比,本专利技术的有益效果是:

23、本专利技术的模型通过在频域中进行特征提取,加强了对频域信息的保留,有效提高了泛化能力,使模型更好地适应不同类型的oct图像,从而更好地重建图像细节信息;

24、低分辨率图像特征提取后使用傅里叶逆变换得到空间域图像,并与原始输入图像相加,实现了空间与频域信息的有效保留,加强了频域信息和空间域信息的融合,确保频域特征信息的提取的同时减少空间信息的丢失,提升重建图像质量;

25、通过跨层信息的传递,进一步加强信息的流动,有效防止由于网络深度增加而导致的梯度消失问题,从而进一步提升了重建图像的质量;

26、模型在增强oct影像的细节表达和图像质量方面具有显著的优势,模型生成的超分辨率sr图像的频率分布与原高清hr图像极为相似,从而显著提高了oct影像质量和图像细节恢复。

本文档来自技高网...

【技术保护点】

1.对抗卷积神经网络模型,其特征在于,包括生成器和鉴别器,所述生成器包括频域图像特征提取模块和上采样超分辨率重建模块,

2.根据权利要求1所述的对抗卷积神经网络模型,其特征在于,所述频域图像特征提取模块依次包括第一FFT层、相位谱处理第一FFTShift层、第一CONV层、第一BN层、第一RELU层、第二CONV层、第一IFFTShift层、第一IFFT层和第一SUM层。

3.根据权利要求2所述的对抗卷积神经网络模型,其特征在于,所述上采样超分辨率重建模块依次包括第三CONV层、Pxilshuffler层、第二RELU层、第二FFT层、第二FFTShift层、第四CONV层、第二BN层、第三RELU层、第五CONV层、第二IFFTShift层、第二IFFT层和第二SUM。

4.根据权利要求1所述的对抗卷积神经网络模型,其特征在于,所述生成器依次包括总一CONV层、总一RELU层、16个所述频域图像特征提取模块、CBR层、SUM层、2个所述上采样超分辨率重建模块、总二CONV层。

5.根据权利要求4所述的对抗卷积神经网络模型,其特征在于,所述鉴别器依次包括总三CONV层、总二RELU层、7个CBR层、总一Dense层、总三RELU层、总二Dense层、Sigmoid层。

6.根据权利要求5所述的对抗卷积神经网络模型,其特征在于,所述CBR层内依次包括卷积处理、归一化处理和激活函数处理。

7.采用所述权利要求1-6任意一项所述的对抗卷积神经网络模型的OCT图像重建算法,其特征在于,包括如下步骤:

8.根据权利要求7所述的OCT图像重建算法,其特征在于,由所述频域图像特征提取模块将输入的属于空间域的低分辨率图像通过傅里叶变换转换为频域图像,并生成相应的相位谱和频谱,利用平移特征,将高频信号和低频信号分别排列,通过对平移后的频谱图进行特征提取,以加强网络对图像频域分布信息的学习。

9.根据权利要求7所述的OCT图像重建算法,其特征在于,所述上采样超分辨率重建模块对所述频域图像特征提取模块输出的相加后的图像通过Pxilshuffler实现低分辨率图像上采样的过程,以将输入的低分辨率图像转换为超分辨率图像,然后进一步进行频域信息提取和空间信息融合,以提升重建后图像的相似度和峰值信噪比。

10.一种存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上述权利要求7-9任意一项所述的OCT图像重建算法的步骤。

...

【技术特征摘要】

1.对抗卷积神经网络模型,其特征在于,包括生成器和鉴别器,所述生成器包括频域图像特征提取模块和上采样超分辨率重建模块,

2.根据权利要求1所述的对抗卷积神经网络模型,其特征在于,所述频域图像特征提取模块依次包括第一fft层、相位谱处理第一fftshift层、第一conv层、第一bn层、第一relu层、第二conv层、第一ifftshift层、第一ifft层和第一sum层。

3.根据权利要求2所述的对抗卷积神经网络模型,其特征在于,所述上采样超分辨率重建模块依次包括第三conv层、pxilshuffler层、第二relu层、第二fft层、第二fftshift层、第四conv层、第二bn层、第三relu层、第五conv层、第二ifftshift层、第二ifft层和第二sum。

4.根据权利要求1所述的对抗卷积神经网络模型,其特征在于,所述生成器依次包括总一conv层、总一relu层、16个所述频域图像特征提取模块、cbr层、sum层、2个所述上采样超分辨率重建模块、总二conv层。

5.根据权利要求4所述的对抗卷积神经网络模型,其特征在于,所述鉴别器依次包括总三conv层、总二relu层、7个cbr层、总一dense层、总三re...

【专利技术属性】
技术研发人员:韩婷婷夏巍范永臻窦淑伟刘如倩刘锐孙加奎
申请(专利权)人:天津师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1