基于对比学习的纤维显微内镜图像重建方法及存储介质技术

本发明专利技术的一种基于对比学习的纤维显微内镜图像重建方法及存储介质，该方法包括：获取批量光纤显微内镜图片，按其是否有网格进行图像配对，再对网格图像进行像素过滤处理得到近似网格的图片与陷波滤波处理得到没有网格的图片；基于卷积自动编码器、卷积自动解码器、注意力机制和门控卷积等构建去网格模型，并优化模型；通过获取图像输入到优化模型，生成清晰图片；本发明专利技术通过使神经网络学习无网格图像和有网格图像及其经过处理的图像，结合有网格图像和无网格图像，针对网格和无网格的粗糙纹理特征的学习，在对抗学习的监督下使生成的图像更接近无网格图像且远离有网格图像，能够将有网格结构的光纤显微内镜图像转化为无网格的光纤显微内镜图像。光纤显微内镜图像。光纤显微内镜图像。

【技术实现步骤摘要】
基于对比学习的纤维显微内镜图像重建方法及存储介质


[0001]本专利技术光纤显微内镜图像
，具体涉及基于对比学习的纤维显微内镜图像重建方法及存储介质。

技术介绍

[0002]光纤显微内镜是采用激光扫描共聚焦成像技术和荧光标记物的新型内窥镜，它能够呈现与活检病理成像高度一致的细胞形态，从而使医生能够在给病人带来最小不适的前提下，原位准确判断癌症、癌前病变或者健康状态。光纤显微内镜具有微米级分辨率，是目前唯一一种能够进行细胞成像的内窥镜仪器。这种仪器的出现使内窥镜技术向前迈进了一大步。研究表明，光纤显微内镜在早期结肠癌病变、溃疡性结肠炎、Barrett食管、胃食管反流病、非糜烂性反流病和消化道其他疾病的诊断中具有极大的临床价值和潜力。但成像过程中受到光纤影响出现网格结构，使图像存在部分信息被遮挡，且亮度不均匀，非常影响基于图像的疾病诊断、或基于图像进行的人工智能识别、诊治等方法的效果。

技术实现思路

[0003]本专利技术提出的一种基于对比学习的纤维显微内镜图像重建方法存储介质，能够很好地适应于不同的光纤显微内镜图像，从而能够对有网格图片进行处理获取清晰的无网格图像。
[0004]为实现上述目的，本专利技术采用了以下技术方案：
[0005]一种基于对比学习的纤维显微内镜图像重建方法，包括以下步骤：
[0006]获取批量光纤显微内镜图片，按其是否有网格进行图像配对，再对网格图像进行像素过滤处理得到近似网格的图片与陷波滤波处理得到没有网格的图片；
[0007]基于卷积自动编码器、卷积自动解码器、注意力机制和门控卷积等构建去网格模型，并根据数据集对去网格模型进行参数优化得到优化模型；
[0008]通过获取待优化图像与其陷波滤波图像输入到优化模型，生成清晰图片。
[0009]进一步的，所述获取批量光纤显微内镜图片，按其是否有网格进行图像配对，再对网格图像进行像素过滤处理得到近似网格的图片与陷波滤波处理得到没有网格的图片，具体包括：
[0010]获取光纤显微内镜的图片与从有网格图片中转换来的过滤图像，其中获得过滤图像的步骤具体为：首先对有网格图像进行参数为1的高斯滤波，去除掉黑暗条件拍摄下图像包含的噪声，再对有网格图片进行置像素值大于30的像素点为0的像素过滤操作，得到近似只包含网格的图像C，过滤的步骤为：
[0011][0012]其中pixel代表有网格图像I中的所有像素；
[0013]再对有网格图像进行过滤范围为200
‑
500的陷波滤波处理，得到近似无网格的图
像F，过滤的步骤为：
[0014]F1＝FFT(I)
[0015][0016]F＝IFFT(F2)
[0017]其中FFT是傅里叶变换，Pixe是F1中的像素点，center是F1的中心点，根据像素点与中心点的欧几里得距离判断是否需要进行过滤。
[0018]进一步的，所述基于卷积自动编码器、卷积自动解码器、注意力机制和门控卷积等构建去网格模型，并根据数据集对去网格模型进行参数优化得到优化模型，具体包括：
[0019]利用获得到的特征图优化去网络模型，其中去网络模型包含用于恢复被网格遮挡部分的蜂窝特征编码器CFE和用于提取无网格特征的滤波编码器FFE，其中蜂窝特征编码器CFE的输入为像素过滤图像C和图像I，蜂窝编码器的具体步骤包含：
[0020]F
c
＝GatedConv Upsample(ResNetBlock(GatedConv Downsample(C
⊙
I)))
[0021]其中F
c
表示蜂窝特征编码器学习到的特征，GatedConv Downsample和GatedConv upsample为用门限卷积进行的下采样和上采样，门限卷积为对同一特征图进行不同的卷积编码操作，然后对其中一个编码后的特征图进行sigmoid激活再与另一个编码的特征图进行点乘，公式化以上过程为：
[0022]F
G
(I)＝Conv1(I)+Simoid(Conv2(I))
[0023]GatedConv Downsample(I)＝Conv3(F
G
(F
G
(I)))
[0024][0025]其中Conv1、Conv2、Conv3代表不同的卷积网络均无填充，其中Conv1、Conv2为卷积核大小为3*3步长为1的卷积，Conv3为卷积核大小为3*3步长为4的卷积，提取到高层特征后进行残差学习，残差学习包含三个残差学习块；
[0026]滤波编码器FFE的输入为滤波图片F，滤波编码器FFE的具体步骤包含：
[0027]F
c
＝Conv Upsample(FABlock(Conv Downsample(F)))
[0028]其中Conv Upsample和Conv Downsample指用实现缩小特征图尺寸的普通上/下采样卷积编码，FABlock指在普通卷积编码上添加通道注意力机制和像素注意力机制的卷积编码，具体包含：
[0029]FABlock(F)＝Pixel((Channel(F)+F))+(Channel(F)+F)
[0030]其Channel(F)为添加的通道注意力卷积编码，Pixel(F)为对F添加的像素注意力卷积编码，其用公式表示分别为：
[0031]Channel(F)＝Pooling(Conv6(ReLU(Conv7(F))))
[0032]Pixel(F)＝Conv7(ReLU(Conv7(F)))
[0033]其中Pooling为平均池化层，其他两个Conv为卷积核大小为3*3步长为1的普通卷积编码；
[0034]最后将蜂窝特征编码器CFE和滤波编码器FFE提取到的特征按通道进行相加融合，通过卷积得到与原图大小、通道数一致的特征图I
F
，并进行损失函数计算，其中损失函数为：
[0035][0036]其中FFT为傅里叶变换，在L1损失的基础上，添加基于对抗学习的傅里叶变换的对抗损失，通过权重超参数β调节学习到的特征函数与GT的相似度，并使其远离含网格的图像，在迭代训练中减少损失，在损失不再缩小时，保存当前网络权重用于进行图像去网格。
[0037]进一步的，残差学习块具体步骤用公式表示为：
[0038]F
ResBlock
(Feature)＝Conv4(Feature)+Conv5(ReLU(Conv4(Feature)))
[0039]ReLU(x)＝max(0，z)
[0040]其中Feature为门限卷积得到的特征图，Conv4和Conv5为卷积核大小为3*3步长为1的卷积。
[0041]再一方面，一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
[0042]由上述技术方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的纤维显微内镜图像重建方法，其特征在于，包括以下步骤：获取批量光纤显微内镜图片，按其是否有网格进行图像配对，再对网格图像进行像素过滤处理得到近似网格的图片与陷波滤波处理得到没有网格的图片；基于卷积自动编码器、卷积自动解码器、注意力机制和门控卷积等构建去网格模型，并根据数据集对去网格模型进行参数优化得到优化模型；通过获取待优化图像与其陷波滤波图像输入到优化模型，生成清晰图片。2.根据权利要求1所述的基于对比学习的纤维显微内镜图像重建方法，其特征在于：所述获取批量光纤显微内镜图片，按其是否有网格进行图像配对，再对网格图像进行像素过滤处理得到近似网格的图片与陷波滤波处理得到没有网格的图片，具体包括：获取光纤显微内镜的图片与从有网格图片中转换来的过滤图像，其中获得过滤图像的步骤具体为：首先对有网格图像进行参数为1的高斯滤波，去除掉黑暗条件拍摄下图像包含的噪声，再对有网格图片进行置像素值大于30的像素点为0的像素过滤操作，得到近似只包含网格的图像C，过滤的步骤为：其中pixel代表有网格图像I中的所有像素；再对有网格图像进行过滤范围为200
‑
500的陷波滤波处理，得到近似无网格的图像F，过滤的步骤为：F1＝FFT(I)F＝IFFT(F2)其中FFT是傅里叶变换，Pixe是F1中的像素点，center是F1的中心点，根据像素点与中心点的欧几里得距离判断是否需要进行过滤。3.根据权利要求2所述的基于对比学习的纤维显微内镜图像重建方法，其特征在于：所述基于卷积自动编码器、卷积自动解码器、注意力机制和门控卷积等构建去网格模型，并根据数据集对去网格模型进行参数优化得到优化模型，具体包括：利用获得到的特征图优化去网络模型，其中去网络模型包含用于恢复被网格遮挡部分的蜂窝特征编码器CFE和用于提取无网格特征的滤波编码器FFE，其中蜂窝特征编码器CFE的输入为像素过滤图像C和图像I，蜂窝编码器的具体步骤包含：F
c
＝GatedConv Upsample(ResNetBlock(GatedConv Downsample(C
⊙
I)))其中F
c
表示蜂窝特征编码器学习到的特征，GatedConv Downsample和GatedConv upsample为用门限卷积进行的下采样和上采样，门限卷积为对同一特征图进行不同的卷积编码操作，然后对其中一个编码后的特征图进行sigmoid激活再与另一个编码的特征图进行点乘，公式化以上过程为：F
G
(I)＝Conv1(...

【专利技术属性】
技术研发人员：韩军伟，屈亚威，程鹏飞，张贺晔，张鼎文，韩龙飞，徐晨初，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：