【技术实现步骤摘要】
一种基于生成对抗网络的模糊视网膜眼底图像增强方法
本专利技术涉及一种基于生成对抗网络的模糊视网膜眼底图像增强方法，属于图像增强
技术介绍
视网膜眼底图像被眼科医生用于诊断多种视网膜病变。由于成像过程的缺陷或眼部病变，造成了一些眼底图像质量不高，主要包括图像模糊、焦点不正确、照明不均匀和对比度低等。所得到的眼底图像不能满足临床诊断的需求，并且不适用于计算机辅助诊断视网膜疾病。因此，有必要改善这些图像的解剖结构可见性，使得处理后的图像质量适用于进一步的临床诊断和智能处理需求。现有研究提出了一些灰度或者彩色视网膜图像增强方法，这些增强方法可大致分为3类：基于变换函数、基于滤波器和基于统计直方图的方法。这些方法可以通过转换函数使得眼底背景与血管之间的灰度差变大，令眼底图像对比度得到提升。然而这样的增强方法使得到的彩色眼底图像丢失重要的图像特征和颜色信息，并且在提升对比度的同时，眼底图像局部的噪声也被增强，不利于眼科医生准确诊断疾病。另外，传统增强方法大多利用先验知识，设计的模型复杂，并且需要人为根据数据特点对算法进行调整，算法的扩展性不强，所以在应用不同数据时难...
【技术保护点】
1.一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：包括如下步骤：步骤一：构建训练集和测试集；其中，训练集及测试集中的图像是临床采集的视网膜眼底图像；训练集中包含白内障手术的术前图像和术后拍摄的眼底图像，图像为配对的视网膜眼底图像，即每张模糊图像均有对应的清晰图像作为参照；测试集中的图像是因成像过程缺陷或眼部病变造成的模糊视网膜眼底图像，且测试集不需要参照图像；术前图像以及术后图像称为手术前后图像对；构建训练集过程中，对图像进行筛选，剔除过度模糊、病变严重、过暗的图像对；步骤二：分别对步骤一构建的训练集和测试集中的眼底图像进行预处理，具体包括如下子步骤：步骤2...
【技术特征摘要】
1.一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：包括如下步骤：步骤一：构建训练集和测试集；其中，训练集及测试集中的图像是临床采集的视网膜眼底图像；训练集中包含白内障手术的术前图像和术后拍摄的眼底图像，图像为配对的视网膜眼底图像，即每张模糊图像均有对应的清晰图像作为参照；测试集中的图像是因成像过程缺陷或眼部病变造成的模糊视网膜眼底图像，且测试集不需要参照图像；术前图像以及术后图像称为手术前后图像对；构建训练集过程中，对图像进行筛选，剔除过度模糊、病变严重、过暗的图像对；步骤二：分别对步骤一构建的训练集和测试集中的眼底图像进行预处理，具体包括如下子步骤：步骤2.1对于训练集中的手术前后图像对进行配准，保证手术前后图像对的视盘位置与血管分布逐像素对应，输出配准后的手术前后图像；其中，优选的配准方法为基于Harris-PIIFD特征点的眼底图像配准方法，该配准方法以术后图像为基准配准术前图像，包括如下子步骤：步骤2.1A利用Harris检测器来检测手术前后图像对包含的特征角点，并通过向中心缩进的方式剔除视网膜与黑色背景边界处的背景点；步骤2.1B采用平均平方梯度的方法，为步骤2.1A中每一个特征角点指派主方向；步骤2.1C以每一个特征角点为中心，提取该特征角点邻域内的PIIFD特征向量；步骤2.1D采用Best-Bin-First算法对手术前后图像对中每一个特征角点提取的PIIFD特征向量进行匹配，术后图像中特征角点为基准点，术前图像对应的特征角点为匹配点；步骤2.1E对于步骤2.1D中所有匹配点，其中存在匹配不正确的点，称为误匹配点，通过特征角点的主方向以及几何分布，检测出误匹配点并剔除；步骤2.1F对步骤2.1E剔除误匹配点后的匹配点位置进行微调，具体为：搜索匹配点周围M*M像素范围内所有特征角点，比较基准点与匹配点的PIIFD特征向量，选取匹配度最高的点代替原匹配点；步骤2.1G根据匹配点个数选择对术后图像进行几何变换，输出配准后的手术前后图像，具体为：2.1GA若只存在两对匹配点，则对术后图像采用线性保角变换；2.1GB若匹配点对的个数在[3,6)范围内，则对术后图像采用仿射变换；2.1GC若匹配点对的个数大于等于6，则对术后图像采用二次多项式变换；其中，匹配点对指匹配点与对应基准点组成的点对；至此，配准后的手术前后眼底图像视盘以及血管在图像中的位置逐像素对应；步骤2.1的操作原因是为了克服由于拍摄角度的因素导致前后图像视盘以及血管分布的差异性；步骤2.2采用阈值法提取配准后的手术前后图像对的ROI区域，再截取重叠区域，得到截取重叠区域后的图像对，具体包括如下子步骤：步骤2.2A提取手术前后图像对中的红色通道并对红色通道选取阈值T进行阈值分割处理；步骤2.2B应用数学形态学算子开操作、闭操作以及腐蚀操作依次作用于步骤2.2A阈值分割处理后的红色通道；步骤2.2C判断经过步骤2.2B处理后的阈值分割图是否存在黑色孔洞，若不存在，则输出二值化后的ROI区域；若存在则进行孔洞填充，再输出二值化后ROI区域；步骤2.2C的操作原因是部分眼底图像亮度不均、亮度较低，经步骤2.2B处理可能会存在黑色孔洞；至此，经步骤2.2A到步骤2.2C完成了采用阈值法提取配准后的手术前后图像对的ROI区域操作；步骤2.2D对配准后提取的二值化后ROI区域进行与操作，得到重叠区域模板，将重叠区域模板与配准后的结果相乘，得到截取重叠区域后的图像对；步骤2.3统一步骤2.2D中的重叠区域以及测试集模糊眼底图像边框，并调整训练集中手术前后图像对以及测试集模糊眼底图像的分辨率到2K*2K像素，具体为：对于截取重叠区域后的图像以及测试集中的模糊眼底图像，利用步骤2.2A到步骤2.2C提取其ROI区域，再将多余的边框去除，留取ROI区域边界为图像边界，更好的保留原图的信息，将图像分辨率调整至为2K*2K像素；步骤2.4当训练集中的手术前后图像对小于N时，对训练集中的手术前后图像对进行旋转、翻转以扩充训练集；步骤三：构建用于增强的生成对抗网络模型；其中，该生成对抗网络模型，简称模型，包括生成器、判别器以及损失函数，步骤三包括如下子步骤：步骤3.1采取U-Net结构构建生成器；进行K次降采样，将2K*2K*3像素降采样至1*1*2K，再进行K次升采样，还原至2K*2K*3，并且将卷积层连接至对应的反卷积层；卷积核大小为S*S，步长为2，降采样通道数...
【专利技术属性】
技术研发人员：李慧琦，杨邴予，杨卫华，赵赫，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。