本发明专利技术涉及一种眼底图像域转换方法及系统，属于医学图像处理技术领域。所述方法提取多光谱眼底图像并根据不同波段眼底图像的细节信息特性，生成三通道伪彩色眼底图像；提取视网膜区域的ROI掩模；将三波段单通道眼底图像增强后合成为三通道伪彩色图像；依托真彩色和伪彩色眼底图像构成训练集；使用伪彩色眼底图像构成测试集；将训练集输入生成对抗网络并输出判别结果，基于损失函数计算损失并不断优化生成器和判别器的参数，获得训练好的生成对抗网络；基于训练好的生成对抗网络输出经过风格转换的眼底图像；所述系统完成所述方法的实施，保留眼底图像的线条和轮廓，解决了眼底图像稀缺的问题，便于临床诊断且消耗计算资源更少、训练速度更快。少、训练速度更快。少、训练速度更快。
【技术实现步骤摘要】
一种眼底图像域转换方法及系统
[0001]本专利技术涉及一种眼底图像域转换方法及系统，属于医学图像处理
技术介绍
[0002]多光谱眼底照相机可以获得多种波长的光照射下的单光谱影像，从而获取一些肉眼观察不到或在真彩色眼底图像中不能显示的病灶信息。单光谱下的影像是灰度图像，将三个包含重要信息的单光谱眼底图像结合起来，可以获取人工合成的多光谱伪彩眼底图像，从而获得接近于普通眼底图像的视觉效果。这项技术可以使单张眼底图像包含更多病理信息，同时减少互补波段成像造成的信息冗余，便于医务人员进行病灶的诊断，也更加符合医务人员的阅片习惯。
[0003]尽管使用多个通道的单波段图像合成的伪彩色眼底图像通过滤波器和统计直方图等方式减少了光照不均等因素，但仍会存在一定的问题，如视盘外围普遍存在黑色阴影、图像全局色彩异常、图像中存在格栅状噪声、图像整体对比度较低等，来自于这些因素的质量退化将不利于医务人员进行疾病诊断，从而增加漏诊和误诊的可能。
[0004]生成对抗网络(GAN,Generative Adversarial Networks)是在图像域转换领域中的前沿技术。其中，如现有的CycleGAN使用对抗损失函数和循环一致性损失函数，可以在保留内容的前提下转换图像风格。对于单方向将伪彩眼底图像转换为真彩色风格的任务而言，现有图像域转换算法在训练中所使用的损失函数引入了过度的限制，使得大量计算资源被浪费在辅助网络上；此外，由于涉及到个人信息及隐私问题，眼底图像数据往往是非公开的，因此伪彩与真彩色眼底图像有时很难获取，导致训练数据稀缺。因此，将多光谱眼底图像转换为真彩色眼底图像，从而使图像包含更多病理信息且符合医务人员的阅片习惯，是本申请的目标。
技术实现思路
[0005]本专利技术的目的在于针对眼底图像数据的伪彩与真彩色眼底图像有时很难获取，导致训练数据稀缺，以及针对单波段眼底图像合成伪彩色眼底图像时，合成图像会存在一定质量退化，提出了一种眼底图像域转换方法及系统，采用图像增强对多波段眼底图像进行增强并合成伪彩色眼底图像，随后采用神经网络模型将眼底图像从伪彩域转换为真彩域，获取真彩眼底图像特征。
[0006]为了达到上述目的，本专利技术采取如下技术方案：
[0007]所述一种眼底图像域转换方法，包括多光谱图像增强并合成伪彩色眼底图像以及基于深度学习的将伪彩色眼底图像风格转换为真彩色风格两部分；
[0008]所述多光谱图像增强并合成伪彩色眼底图像，包括如下步骤：
[0009]步骤1：提取多光谱眼底图像并根据不同波段眼底图像的细节信息特性，选取三种波段图像用作生成伪彩色眼底图像的红色、绿色和蓝色通道；
[0010]其中，多光谱眼底图像，即在不同波段拍摄的眼底图像；
[0011]步骤2：提取步骤1生成的红色、绿色和蓝色通道图像中的视网膜区域的ROI掩模；
[0012]步骤3：增强红色、绿色和蓝色通道图像并合成伪彩色眼底图像，包括如下子步骤：
[0013]步骤3.1：对红色、绿色和蓝色通道的眼底图像进行亮度修正，生成亮度修正后的红色、绿色和蓝色通道眼底图像；
[0014]所述亮度修正基于高斯低通滤波去除图像的灰度不均匀性；
[0015]步骤3.2：对步骤3.1亮度修正后的红色、绿色和蓝色通道图像使用反遮罩锐化，生成锐化后的红色、绿色和蓝色通道眼底图像；
[0016]步骤3.3：对锐化后的红色、绿色和蓝色通道眼底图像进行亮度均衡，生成亮度均衡后的红色、绿色和蓝色通道眼底图像；
[0017]步骤3.4：对亮度均衡后的红色、绿色和蓝色通道眼底图像进行CLAHE直方图均衡，生成直方图均衡后的红色、绿色和蓝色通道眼底图像；
[0018]步骤3.5：对直方图均衡后的红色、绿色和蓝色通道眼底图像进行灰度均衡，生成灰度均衡后的红色、绿色和蓝色通道眼底图像；
[0019]步骤3.6：将步骤2提取的视网膜区域的ROI掩模分别与步骤3.5生成的灰度均衡后的红色、绿色和蓝色通道眼底图像相乘并合并为伪彩色眼底图像；
[0020]至此，从步骤1到步骤3.6，完成了多光谱图像增强并合成伪彩色眼底图像；
[0021]所述基于深度学习的将伪彩色眼底图像风格转换为真彩色风格依托的神经网络模型为生成对抗网络，所述生成对抗网络，包括生成器和判别器；
[0022]所述生成器包括使用跳跃连接的若干层，包括编码器和解码器；
[0023]其中，编码器包括多个卷积层，将输入图像降采样并获取高维度的图像特征；解码器的结构与编码器相反，将获取的高维度图像特征进行升采样处理以获得输出图像；
[0024]生成器的输入为经步骤1到步骤3.6合成的伪彩色眼底图像，所述生成器提取不同层特征数据并将不同层特征数据进行负样本提取与对比学习，并调整特征数据的风格信息，拼接输出为增强图像；
[0025]所述判别器将生成器的输出图像转换成一维向量，并基于该一维向量判别生成器的输出图像是否为真实眼底图像，具体通过训练判别器，根据损失函数优化生成器和判别器的参数进行判别；
[0026]所述损失函数包括对抗损失函数GAN Loss和多图像块对比损失函数PatchNCE Loss；
[0027]GAN Loss的作用是使得生成的图像能和目标域的图像尽可能相似；将输入输出对应位置的图像块进行匹配，同一张图像其他位置的图像块作为负样本，将损失记为PatchNCE Loss，其作用是保证输入输出图像之间具有相同的结构；
[0028]所述基于深度学习的将伪彩色眼底图像风格转换为真彩色风格，包括眼底图像风格转换模型训练和眼底图像风格转换模型实施；
[0029]所述眼底图像风格转换模型训练，包括如下步骤：
[0030]步骤4、使用眼底照相机拍摄真彩色眼底图像，和从多光谱眼底图像中合成的伪彩色眼底图像，并共同构成训练集；使用从多光谱眼底图像中合成的伪彩色眼底图像构成测试集，
[0031]所述训练集中的伪彩色眼底图像与真彩色眼底图像之间无需一一配对；所述测试
集中的图像为伪彩色眼底图像，无真彩色眼底图像；
[0032]步骤5、将训练集输入生成对抗网络，输入伪彩色眼底图像先后经过生成器的编码器和解码器，生成的输出图像经过判别器并输出判别结果，基于损失函数计算损失并不断优化生成器和判别器的参数，获得训练好的生成对抗网络；
[0033]所述眼底图像风格转换模型实施，包括如下步骤：
[0034]步骤6、将测试集输入训练好的生成对抗网络，测试集中的伪彩色眼底图像先后经过生成器的编码器和解码器，生成的输出图像经过判别器并输出判别结果，并得到训练好的生成对抗网络；
[0035]步骤7、获得训练好的生成对抗网络输出的经过风格转换的眼底图像；
[0036]一种眼底图像域转换系统，包括：处理器、与所述处理器通信连接的存储器和存储在存储器并可在处理器上执行的指令；所述指令被执行时，可完成上述多光谱图像增强并合成本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种眼底图像域转换方法，其特征在于：包括多光谱图像增强并合成伪彩色眼底图像以及基于深度学习的将伪彩色眼底图像风格转换为真彩色风格两部分；所述多光谱图像增强并合成伪彩色眼底图像，包括如下步骤：步骤1：提取多光谱眼底图像并根据不同波段眼底图像的细节信息特性，选取三种波段图像用作生成伪彩色眼底图像的红色、绿色和蓝色通道；步骤2：提取步骤1生成的红色、绿色和蓝色通道图像中的视网膜区域的ROI掩模；步骤3：增强红色、绿色和蓝色通道图像并合成伪彩色眼底图像，包括如下子步骤：步骤3.1：对红色、绿色和蓝色通道的眼底图像进行亮度修正，生成亮度修正后的红色、绿色和蓝色通道眼底图像；步骤3.2：对步骤3.1亮度修正后的红色、绿色和蓝色通道图像使用反遮罩锐化，生成锐化后的红色、绿色和蓝色通道眼底图像；步骤3.3：对锐化后的红色、绿色和蓝色通道眼底图像进行亮度均衡，生成亮度均衡后的红色、绿色和蓝色通道眼底图像；步骤3.4：对亮度均衡后的红色、绿色和蓝色通道眼底图像进行CLAHE直方图均衡，生成直方图均衡后的红色、绿色和蓝色通道眼底图像；步骤3.5：对直方图均衡后的红色、绿色和蓝色通道眼底图像进行灰度均衡，生成灰度均衡后的红色、绿色和蓝色通道眼底图像；步骤3.6：将步骤2提取的视网膜区域的ROI掩模分别与步骤3.5生成的灰度均衡后的红色、绿色和蓝色通道眼底图像相乘并合并为伪彩色眼底图像；所述基于深度学习的将伪彩色眼底图像风格转换为真彩色风格，包括眼底图像风格转换模型训练和眼底图像风格转换模型实施；所述眼底图像风格转换模型训练，包括如下步骤：步骤4、使用眼底照相机拍摄真彩色眼底图像，和从多光谱眼底图像中合成的伪彩色眼底图像，并共同构成训练集；使用从多光谱眼底图像中合成的伪彩色眼底图像构成测试集；步骤5、将训练集输入生成对抗网络，输入伪彩色眼底图像先后经过生成器的编码器和解码器，生成的输出图像经过判别器并输出判别结果，基于损失函数计算损失并不断优化生成器和判别器的参数，获得训练好的生成对抗网络；所述眼底图像风格转换模型实施，包括如下步骤：步骤6、将测试集输入训练好的生成对抗网络，测试集中的伪彩色眼底图像先后经过生成器的编码器和解码器，生成的输出图像经过判别器并输出判别结果，并得到训练好的生成对抗网络；步骤7、获得训练好的生成对抗网络输出的经过风格转换的眼底图像。2.根据权利要求1所述的一种眼底图像域转换方法，其特征在于：步骤1中，多光谱眼底图像，即在不同波段拍摄的眼底图像。3.根据权利要求1所述的一种眼底图像域转换方法，其特征在于：所述基于深度学习的将伪彩色眼底图像风格转换为真彩色风格依托的神经网络模型为生成对抗网络，所述生成...
【专利技术属性】
技术研发人员：李慧琦，杨晟铸，曹绿晨，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。