仿鹰视顶盖的眼底OCT图像重建模型、方法、设备及存储介质技术

本发明专利技术公开了一种仿鹰视顶盖的眼底OCT图像重建模型、方法、设备及存储介质，重建模型由特征提取块、信息处理块和重建块构成，特征提取块，用于从低分辨率OCT图像中进行浅层特征的提取；信息处理块，仿照鹰视顶盖信息处理机制从纵、横两个维度逐步扩大感受野进行高频特征的提取；重建块，用于对提取的浅层特征和高频特征进行初步重建，再进行上采样操作后进行深层重建，得到重建的高分辨率OCT图像。本发明专利技术重建的OCT图像对比度高，边缘特征明显，能够真实反应眼底健康状况。实反应眼底健康状况。实反应眼底健康状况。

【技术实现步骤摘要】
仿鹰视顶盖的眼底OCT图像重建模型、方法、设备及存储介质


[0001]本专利技术属于图像重建
，涉及一种仿鹰视顶盖的眼底OCT图像重建模型、方法、设备及存储介质。

技术介绍

[0002]开展眼底疾病筛查，尽早提出诊断和预防方案，避免患者丧失劳动能力对促进社会发展具有重要意义。光学相干断层扫描(OpticalCoherenceTomography,OCT)作为检查青光眼、黄斑水肿、糖尿病性视网膜病变等视网膜异常疾病的重要手段，其通过将病人的眼位固定后连续快速采集多张图片经配准和平均而成。实际应用中，由于设备自身不足以及拍摄过程中病人身体无意的抖动，所获取的图像往往较为模糊，视觉效果较差，对病情分析和诊疗方案的提出产生很大影响。当前，在不提高硬件设备的情况下，超分辨率重建为提高OCT图像的清晰度和对比度提供了新的方案。
[0003]随着深度学习热潮的兴起，利用卷积神经网络进行图像超分辨率重建的思想受到学者们的广泛关注。Dong等人首次将深度学习知识应用到重建技术中，提出了SRCNN，避免了人工设计特征提取方法，实现图像自身的学习，从而实现图像重建，详见“C.Dong,C.C.Loy,K.He,X.Tang,Imagesuper
‑
resolutionusingdeepconvolutionalnetworks,inProc.IEEEConf.Comput.Vis.PatternRecognit.(CVPR),2014,pp.184
‑
199”。Ledig等提出基于生成对抗网络的重建模型SRGAN，其通过生成器和判别器之间的竞争完成图像的重建，详见“C.Ledigetal.,"Photo
‑
RealisticSingleImageSuper
‑
ResolutionUsingaGenerativeAdversarialNetwork,"2017IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2017,pp.105
‑
114”。Zheng等提出信息蒸馏网络(IMDN)，它通过挖掘深度特征，在不增加模型复杂度的前提下提高重建速度，详情见“H.Zheng,X.Gao,Y.Yang,andX.Wang,"LightweightImageSuper
‑
ResolutionwithInformationMulti
‑
distillationNetwork,"Proceedingsofthe27thACMInternationalConferenceonMultimedia(ACM),2019,pp.2024
‑
2032”。Liu等提出通道分离特征蒸馏结构RFDN，通过减小参数量实现提速，详情见“J.Liu,J.Tang,andG.Wu,"ResidualFeatureDistillationNetworkforLightweightImageSuper
‑
Resolution,"ComputerVision
‑
ECCV2020Workshops,2020,pp.41
‑
55”。Zhu等提出轻量级图像超分辨率重建网络EMASRN，利用期望最大化注意机制提高网络速度，详情见“X.Zhu,K.Guo,S.Ren,B.Hu,M.HuandH.Fang,"LightweightImageSuper
‑
ResolutionWithExpectation
‑
MaximizationAttentionMechanism,"inIEEETransactionsonCircuitsandSystemsforVideoTechnology,vol.32,no.3,2022.pp.1273
‑
1284”。上述基于学习的方法虽然可以重建出高分辨率图像，但卷积层间缺乏相应的联系，空间上无法突出显著特征，在灰度级变化不大、层次特征不明显、对比度较低的OCT图像中应用较差。
[0004]鹰眼技术在图像识别中具有显著的优势，如Fu等仿照鹰视觉系统提出一种用于目标检测和识别的轻型视觉系统，详见“Q.Fu,ST.Wang,J.Wang,SN.LiuandYB.Sun,"A
Lightweight Eagle
‑
Eye
‑
Based Vision System for Target Detection and Recognition,"in IEEESensors Journal,vol.21,no.22,2021,pp.26140
‑
26148”。Liu等提出用于航拍图像分类的鹰眼多任务CNN模型，以区分不同航拍图像间微小的差别，详见“Y.Liu,Z.Han,C.Chen, L.Ding and Y.Liu,"Eagle
‑
Eyed Multitask CNNs for Aerial Image Retrieval and SceneClassification,"in IEEE Transactions on Geoscience and Remote Sensing,vol.58,no.9,2020, pp.6699
‑
6721”。在鹰眼的视觉系统中，利用视觉注意机制分析图像场景中的信息，更容易选取感兴趣的特定区域，可用于解决OCT图像病灶区域边缘模糊、细节信息不明显问题。
[0005]经专利技术人研究发现，现有的基于深度学习的单幅图像超分辨率重建方法的重建效果不佳，主要存在以下缺陷：(1)现有网络大多通过增加卷积层的深度来追求好的效果，造成网络运行速度缓慢；(2)卷积核互补不足、重建后的图像边缘轮廓信息不明显，细节信息存在丢失的情况；(3)重建后图像与原图相比颜色较暗，对比度较差，视觉效果不佳。如何从低分辨率的眼底OCT图像中获取更多有用信息，高效的提高图像分辨率、还原眼底健康状况真实场景，最大限度呈现图像所包含的信息，促进眼底疾病筛查的智能化成为当前急需解决的问题。

技术实现思路

[0006]为了解决上述问题，本专利技术提供一种仿鹰视顶盖的眼底OCT图像重建模型，图像对比度高，病变区域细节特征丰富，在保证图像清晰度的同时能丰富图片的内容，解决了现有技术中存在的问题。
[0007]本专利技术的第二目的是，提供一种仿鹰视顶盖的眼底OCT图像重建方法。
[0008]本专利技术的第三目的是，提供一种电子设备。
[0009]本专利技术的第四目的是，提供一种计算机存储介质。
[0010]本专利技术所采用的技术方案是，一种仿鹰视顶盖的眼底OCT图像重建模型，包括特征提取块、信息处理块和重建块；
[0011]所述特征提取块，用于从低分辨率OCT图像中进行浅层特征的提取，获取有用信息；
[0012]所述信息处理块，仿照鹰视顶盖信息处理机制从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种仿鹰视顶盖的眼底OCT图像重建模型，其特征在于，依次包括特征提取块、信息处理块和重建块；所述特征提取块，用于从低分辨率OCT图像中进行浅层特征的提取，获取有用信息；所述信息处理块，仿照鹰视顶盖信息处理机制从纵、横两个维度逐步扩大感受野进行高频特征的提取；所述重建块，用于对提取的浅层特征和高频特征进行初步重建，再进行上采样操作后进行深层重建，得到重建的高分辨率OCT图像。2.根据权利要求1所述一种仿鹰视顶盖的眼底OCT图像重建模型，其特征在于，所述信息处理块的纵向维度由6个仿鹰视顶盖块(EVB)组成，负责挖掘高频特征；所述信息处理块的纵向维度上的EVB负责对各通道的特征图进行高频特征提取，并利用通道注意力机制促进不同通道间的融合；所述EVB模块包括信息深层提取和信息融合两部分；所述信息深层提取部分利用四个卷积核大小为3
×
3，空洞率分别为1、1、2、3的空洞卷积组成，每个卷积核输出时将原有特征的通道数减半以减少参数量，同时前一卷积核的输出向后层卷积核逐层传播形成密集连接，以便于后层卷积核对特征的深层次学习；所述信息融合部分将四个卷积核的输出通过concat融合，利用1
×
1卷积核进行通道数的变换，引入通道注意力机制挖掘显著信息；所述通道注意力机制分为全局上下文嵌入、通道规范化和门适应三个部分；所述全局上下文嵌入使用l2准则进行规范化操作，并引入训练参数α助力l2规范化的自适应输出；所述通道规范化使用l2准则进行特征之间的跨通道规范以减少参数量；所述门适应通过权重γ和偏置β控制神经元之间的竞争与协同关系。3.根据权利要求1所述一种仿鹰视顶盖的眼底OCT图像重建模型，其特征在于，所述信息处理块的横向维度负责融合纵向维度提取的高频特征，深层挖掘显著信息，利用空间注意力机制强化深层特征，清晰表达病变区域水肿轮廓等细节信息，并将提取的高频特征传送至重建模块；所述空间注意力机制将提取的特征在空间上分为64个子空间，每个子空间首先使用深度可分离卷积对每组特征进行新特征的提取以减少通道范围内的冗余，通过最大池化后再利用逐点卷积减少空间范围内的冗余，最后使用softmax函数对特征图进行H维的缩放，保证权重和为1，经与原始特征融合后得到64个子空间特征；所述不同的子空间之间通过concat连接得到最后的输出。4.根据权利要求1所述一种仿鹰视顶盖的眼底OCT图像重建模型，其特征在于，所述重建块使用一层3
×
3卷积核获得基本重建图像，经上采样操作后利用3
×
3卷积核进行深层重建，得到清晰的眼底OCT重建图像。5.一种仿鹰视顶盖的眼底OCT图像重建方法，其特征在于，按照以下步骤进行：S1、将低分辨率的眼底OCT图像输入特征提取块，完成浅层特征的提取，并送入信息处理块；S2、信息处理块的纵向维度负责完成提取高频特征，信息处理块的横向维度融合纵向维度提取的高频特征并突出显著信息后，送至重建块；
S3、重建块利用特征提取块和信息处理块提取的浅层特征和高频特征，完成图像重建，得到清晰的眼底OCT图像。6.根据权利要求5所述一种仿鹰视顶盖的眼底OCT图像重建方法，其特征在于，所述S2的信息处理块在纵向维度按照以下公式进行高频特征特征提取，F1...

【专利技术属性】
技术研发人员：贾晓芬，梁镇洹，赵佰亭，王云，余燕，朱少进，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：