眼底图像转换方法及设备技术

本发明专利技术提供一种眼底图像转换方法及设备，其中涉及的模型训练方法包括获取多个训练数据，所述训练数据包括第一眼底图像和第二眼底图像，所述第一眼底图像和第二眼底图像是通过不同眼底相机所拍摄的同一眼球的视网膜图像，并且所述第一眼底图像经过脱敏处理去除了眼底相机属性对图像内容的影响；利用所述多个训练数据对神经网络进行训练，使其根据所述第一眼底图像生成与所述第二眼底图像相似的眼底图像。

【技术实现步骤摘要】
眼底图像转换方法及设备
本专利技术涉及医学图像处理领域，具体涉及一种眼底图像转换方法及设备。
技术介绍
随着机器学习技术的发展，尤其以深度学习为代表的机器学习技术在医疗影像领域得到了广泛的应用。如何提高机器学习模型的准确性和训练效率依然是非常具有挑战性的工作。现有技术通过优化模型结构，以及通过对眼底图像进行预处理的手段，对模型的训练效率和识别准确性产生了一定的促进作用。具体就眼底图像识别领域而言，无论是用于识别眼底病变类型的神经网络还是用于分割异常区域的神经网络，都需要大量的眼底图像样本作为训练数据。然而不同的眼底相机由于相机结构不同、参数不同，甚至是成像原理不同，所拍摄的眼底图像的视觉效果有着明显的区别。根据神经网络的原理，如果在训练阶段固定地使用某种相机拍摄的样本图像作为训练数据，而在使用时应用该神经网络去识别另一种眼底相机拍摄的图像，其准确性可能会下降。因此，应当尽可能地使用各种眼底相机拍摄的图像作为训练数据对网络进行训练以提高其适应能力，并且应当尽可能地均衡各种眼底图像的数量。但是现实中眼底图像并不是一种公开的数据集，本领域技术人员很难获取到各种相机拍摄的眼底图像，更难获取到具有各种病灶特征且是通过不同相机拍摄的眼底图像，训练数据稀缺一直是眼底图像识别领域需要攻克的难题之一。
技术实现思路
有鉴于此，本专利技术提供一种眼底图像转换模型训练方法，包括：获取多个训练数据，所述训练数据包括第一眼底图像和第二眼底图像，所述第一眼底图像和第二眼底图像是通过不同眼底相机所拍摄的同一眼球的视网膜图像，并且所述第一眼底图像经过脱敏处理去除了眼底相机属性对图像内容的影响；利用所述多个训练数据对神经网络进行训练，使其根据所述第一眼底图像生成与所述第二眼底图像相似的眼底图像。可选地，所述神经网络为生成对抗网络，包括生成器和鉴别器，所述生成器用于根据所述第一眼底图像生成眼底图像，所述鉴别器用于判断生成的眼底图像是否是属于所述第二图像的眼底相机域特征的真实图像，训练过程中根据损失函数优化所述生成器和所述鉴别器的参数。可选地，所述损失函数包括三个部分，第一部分用于协调所述生成器和所述鉴别器同步地进行改进，第二部分用于保证生成的眼底图像与所述第二眼底图像具备对应关系，第三部分用于确保眼底图像关键区域的信息不被修改。可选地，所述生成器包括具有跳跃连接的层的神经网络，用于对所述第一眼底图像提取特征数据，并将不同深度的层所提取的特征数据进行拼接，以根据拼接后的特征数据生成眼底图像。可选地，所述鉴别器用于将生成的眼底图像划分为图像块，通过分别判断各个图像块来判断生成的眼底图像是否是属于所述第二图像的眼底相机域特征的真实图像。可选地，获取训练数据包括：获取两种不同眼底相机所拍摄的同一眼球的原始眼底图像；分别在两张原始眼底图像中识别同一目标；基于所述目标将两张眼底图像的位置对齐；对其中一张眼底图像进行脱敏处理去除眼底相机属性对图像内容的影响。本专利技术还提供一种眼底图像转换方法，包括：获取眼底图像；对所述眼底图像进行脱敏处理去除眼底相机属性对图像内容的影响；利用上述方法训练的神经网络对脱敏后的眼底图像进行处理得到转换后的眼底图像。可选地，所述神经网络为生成对抗网络，利用所述生成对抗网络中的生成器根据所述眼底图像生成眼底图像。相应地，本专利技术还提供一种眼底图像转换模型训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像转换模型训练方法。相应地，本专利技术还提供一种眼底图像转换设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像转换方法。根据本专利技术提供的眼底图像转换模型训练方法及设备，通过两种不同眼底相机所拍摄的同一眼球的视网膜图像对神经网络进行训练，可以使神经网络学习如何将其中一种相机拍的眼底图像的色彩属性转换为另一种相机的色彩属性，并且可使其保留眼底中的所有线条和轮廓，本方案训练的模型可以有效解决训练数据稀缺的问题。根据本专利技术提供的眼底图像转换方法及设备，先对某种相机拍摄的、具有任何特征的眼底图像进行脱敏处理，去除相机属性对图像内容的影响,然后将处理后的图像作为经过训练的神经网络的输入数据，从而得到色彩属性转换后的眼底图像，转换后的图像可保留输入的眼底图像的线条和轮廓，该图像可被视为另一种相机所拍摄的图像，本方案可作为本领域中十分有效的数据增强手段，从而优化眼底图像识别模型的性能。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中所使用的一组训练数据；图2为本专利技术实施例中对眼底图像进行脱敏处理的对比图；图3为本专利技术实施例中的一种优选的神经网络模型的结构示意图；图4为本专利技术实施例中对眼底图像进行预处理的示意图；图5为本专利技术实施例中转换眼底图像的示意图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。本专利技术实施例提供一种眼底图像转换模型训练方法，本方法可以由计算机或服务器等电子设备执行，使用训练数据训练一个用于处理眼底图像的神经网络作为所述模型。首先获取多个训练数据，各个训练数据分别包括两张眼底图像，两张眼底图像是通过不同眼底相机所拍摄的同一眼球的视网膜图像，所谓不同的眼底相机可以是不同型号的、不同厂商的等等，由于相机的镜片结构不同、光源不同、各种参数不同，甚至可能是成像原理不同，所拍摄出的眼底图像通常在色彩上有一定的区别，或者是在对比度、亮度等方面存在区别，因此可以解释为眼底相机的属性会对图像内容产生影响，也即眼底图像具有眼底相机域特征。本实施例所使用的如图1所示的训练数据中，位于左侧的是通过佳能公司(Canon)的眼底相机拍摄的图像(第一眼底图像)，并且经过了脱敏处理，去除了眼底相机属性对图像内容的影响，或者称为去除了眼底相机域特征。本申请所述脱敏处理有多种可选的实施方式，比如可以直接本文档来自技高网...

【技术保护点】
1.一种眼底图像转换模型训练方法，其特征在于，包括：/n获取多个训练数据，所述训练数据包括第一眼底图像和第二眼底图像，所述第一眼底图像和第二眼底图像是通过不同眼底相机所拍摄的同一眼球的视网膜图像，并且所述第一眼底图像经过脱敏处理去除了眼底相机属性对图像内容的影响；/n利用所述多个训练数据对神经网络进行训练，使其根据所述第一眼底图像生成与所述第二眼底图像相似的眼底图像。/n

【技术特征摘要】
1.一种眼底图像转换模型训练方法，其特征在于，包括：
获取多个训练数据，所述训练数据包括第一眼底图像和第二眼底图像，所述第一眼底图像和第二眼底图像是通过不同眼底相机所拍摄的同一眼球的视网膜图像，并且所述第一眼底图像经过脱敏处理去除了眼底相机属性对图像内容的影响；
利用所述多个训练数据对神经网络进行训练，使其根据所述第一眼底图像生成与所述第二眼底图像相似的眼底图像。


2.根据权利要求1所述的方法，其特征在于，所述神经网络为生成对抗网络，包括生成器和鉴别器，所述生成器用于根据所述第一眼底图像生成眼底图像，所述鉴别器用于判断生成的眼底图像是否是属于所述第二图像的眼底相机域特征的真实图像，训练过程中根据损失函数优化所述生成器和所述鉴别器的参数。


3.根据权利要求2所述的方法，其特征在于，所述损失函数包括三个部分，第一部分用于协调所述生成器和所述鉴别器同步地进行改进，第二部分用于保证生成的眼底图像与所述第二眼底图像具备对应关系，第三部分用于确保眼底图像关键区域的信息不被修改。


4.根据权利要求2所述的方法，其特征在于，所述生成器包括具有跳跃连接的层的神经网络，用于对所述第一眼底图像提取特征数据，并将不同深度的层所提取的特征数据进行拼接，以根据拼接后的特征数据生成眼底图像。


5.根据权利要求2或3所述的方法，其特征在于，所述鉴别器用于将生成的眼底图像划分为图像块，通过分别判断各个图像块来判断生成的眼底图像是否为是属于所述第二图像的...

【专利技术属性】
技术研发人员：张伊凡，付萌，郭子扬，熊健皓，戈宗元，赵昕，和超，张大磊，
申请(专利权)人：上海鹰瞳医疗科技有限公司，
类型：发明
国别省市：上海;31