基于深度学习处理眼底图像的相关方法及设备技术

本发明专利技术实施例提供基于深度学习处理眼底图像的相关方法及设备。其中，一种基于深度学习的眼底图像处理方法包括：以预设分割方式分割待处理眼底图像，获得至少一个分析图像；通过眼底图像深度学习网络模型对至少一个分析图像进行分析，获得至少一个中间图像；融合至少一个中间图像，以获得包含特征标记的待处理眼底图像；其中，眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图。

Relevant Methods and Equipment for Eye Fundus Image Processing Based on Deep Learning

The embodiment of the present invention provides a method and device for processing fundus image based on deep learning. Among them, a method of fundus image processing based on depth learning includes: segmenting the processed fundus image by preset segmentation method to obtain at least one analysis image; analyzing at least one analysis image through the depth learning network model of fundus image to obtain at least one intermediate image; and fusing at least one intermediate image to obtain the processed fundus containing feature marks. Image; in which, the depth learning network model of fundus image is obtained by iteratively updating the depth learning network model through multi-layer convolution calculation of at least one training image through the depth learning network; in the process of updating the depth learning network model, the feature map obtained by combining the last layer convolution calculation and at least one updating feature map are used to update the depth learning. Network model; updating feature graph is the feature graph obtained by convolution calculation of one layer of convolution.

【技术实现步骤摘要】
基于深度学习处理眼底图像的相关方法及设备
本专利技术涉及医学图像处理领域，尤其涉及基于深度学习处理眼底图像的相关方法及设备。
技术介绍
眼底是眼球内后部的组织，眼底的图像即眼底图像。通常，眼底图像分辨率较大，并且其中的各个特征区域形状大小无规则，边界不平滑且模糊，人工标注眼底图像中的特征区域的方式费时费力。近些年计算机视觉、机器学习和人工智能在医学图像处理领域已取得令人瞩目的成果。其中，深度学习领域是机器学习领域中最新且有影响力的前沿领域。传统的医学图像处理方法需要人工标注特征区域，这不仅需要相关医学经验，还需要消耗人力资源，并且，拍摄眼底图像时的拍照环境、光照、拍摄角度等因素都会对标注结果造成影响。现有技术中，存在基于深度学习网络分析眼底图像的技术方案，但目前基于深度学习网络分析眼底图像的技术方案效果较差，只能分析出眼底图像中面积较大的特征区域，但针对面积较小的特征区域，现有的基于深度学习网络分析眼底图像的技术方案无法识别。可见，现有技术存在无法识别眼底图像中较小特征区域的技术问题。
技术实现思路
本专利技术实施例提供基于深度学习处理眼底图像的相关方法及设备，用以解决现有技术中的图像处理方法无法识别眼底图像中较小特征区域的技术问题。第一方面，提供一种基于深度学习的眼底图像处理方法，所述方法包括：以预设分割方式分割待处理眼底图像，获得至少一个分析图像；通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像；所述至少一个中间图像包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像；特征标记用于标记图像中的像素点为何种特征区域；其中，所述眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记。在一种可能的实现方式中，通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像，包括：针对所述至少一个分析图像中的每个分析图像执行以下操作：通过眼底图像深度学习网络模型对分析图像进行分析，确定并标记分析图像的每个像素点的背景特征概率值和至少一种目标特征概率值；其中，背景特征概率值表示像素点不为任何目标特征区域的概率，目标特征概率值表示像素点为某种目标特征区域的概率。在一种可能的实现方式中，融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像，包括：以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像；针对包含特征概率标记的待处理眼底图像中的每个像素点执行以下操作：确定像素点的背景特征概率值、至少一种目标特征概率值中的最大值概率值；以与最大概率值对应的标记方式，标记像素点。在一种可能的实现方式中，以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像，包括：以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像；在叠加拼接所述至少一个中间图像的过程中，确定所述包含特征概率标记的待处理眼底图像中发生重叠的像素点的背景特征概率值、至少一种目标特征概率值，分别为发生重叠的像素点在中间图像中的对应概率值的均值。第二方面，提供一种眼底图像深度学习网络模型的生成方法，所述方法包括：通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算，获得所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图；其中，更新特征图为对一层卷积计算得到的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，以获得眼底图像深度学习网络模型。在一种可能的实现方式中，结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，包括：叠加计算所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，以获得所述各训练图像的特征概率标记图；特征概率标记图包含特征概率标记；比较所述各训练图像的特征概率标记图和所述各训练图像的参考标准groundtruth图像，获得所述各训练图像的比较结果；其中，groundtruth图像包含特征标记，特征标记用于标记图像中的像素点为何种特征区域；根据所述各训练图像的比较结果，迭代更新深度学习网络模型。在一种可能的实现方式中，在通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算之前，所述方法还包括：以预设处理方式处理至少一个眼底图像和所述至少一个眼底图像的groundtruth图像，以获得所述至少一个训练图像和所述各训练图像的groundtruth图像。在一种可能的实现方式中，所述至少一个训练图像包括至少一个背景特征训练图像、至少一个目标特征训练图像和至少一个易错训练图像；其中，易错训练图像为通过眼底图像深度学习网络模型进行图像处理时，处理结果容易和目标特征训练图像的处理结果混淆的图像。在一种可能的实现方式中，所述深度学习网络为16层卷积的VGG深度学习网络，所述至少一个更新特征图为对所述深度学习网络中conv3层、conv4层、conv5层、conv6层和conv7层卷积计算得到的5个特征图，再次进行卷积计算获得的5个更新特征图。第三方面，提供一种基于深度学习的眼底图像处理设备，所述设备包括：分割模块，用于以预设分割方式分割待处理眼底图像，获得至少一个分析图像；分析模块，用于通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像；所述至少一个中间图像包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；融合模块，用于融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像；特征标记用于标记图像中的像素点为何种特征区域；其中，所述眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记。在一种可能的实现方式中，分析模块用于：针对所述至少一个分析图像中的每个分析图像执行以下操作：通过眼底图像深度学习网络模型对分析图像进行分析，确定并标记分析图像的每个像素点的背景特征概率值和至少一种目标特征概率值；其中，背景特征概率值表示像素点不为任何目标特征区域的概率，目标特征概率值表示像素点为某种目标特征区域的概率。在一种可能的实现方式中，融合模块用于：以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像；针对包含特征概率标记的待处理眼本文档来自技高网...

【技术保护点】
1.一种基于深度学习的眼底图像处理方法，其特征在于，所述方法包括：以预设分割方式分割待处理眼底图像，获得至少一个分析图像；通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像；所述至少一个中间图像包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像；特征标记用于标记图像中的像素点为何种特征区域；其中，所述眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记。

【技术特征摘要】
1.一种基于深度学习的眼底图像处理方法，其特征在于，所述方法包括：以预设分割方式分割待处理眼底图像，获得至少一个分析图像；通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像；所述至少一个中间图像包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像；特征标记用于标记图像中的像素点为何种特征区域；其中，所述眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记。2.如权利要求1所述的方法，其特征在于，通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像，包括：针对所述至少一个分析图像中的每个分析图像执行以下操作：通过眼底图像深度学习网络模型对分析图像进行分析，确定并标记分析图像的每个像素点的背景特征概率值和至少一种目标特征概率值；其中，背景特征概率值表示像素点不为任何目标特征区域的概率，目标特征概率值表示像素点为某种目标特征区域的概率。3.如权利要求1或2所述的方法，其特征在于，融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像，包括：以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像；针对包含特征概率标记的待处理眼底图像中的每个像素点执行以下操作：确定像素点的背景特征概率值、至少一种目标特征概率值中的最大值概率值；以与最大概率值对应的标记方式，标记像素点。4.如权利要求3所述的方法，其特征在于，以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像，包括：以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像；在叠加拼接所述至少一个中间图像的过程中，确定所述包含特征概率标记的待处理眼底图像中发生重叠的像素点的背景特征概率值、至少一种目标特征概率值，分别为发生重叠的像素点在中间图像中的对应概率值的均值。5.一种眼底图像深度学习网络模型的生成方法，其特征在于，所述方法包括：通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算，获得所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图；其中，更新特征图为对一层卷积计算得到的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，以获得眼底图像深度学习网络模型。6.如权利要求5所述的方法，其特征在于，结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，包括：叠加计算所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，以获得所述各训练图像的特征概率标记图；特征概率标记图包含特征概率标记；比较所述各训练图像的特征概...

【专利技术属性】
技术研发人员：寿文卉，马文婷，徐青青，张志鹏，许利群，徐玲，樊庆侠，韦世奎，
申请(专利权)人：中国移动通信有限公司研究院，中国移动通信集团公司，沈阳何氏眼科医院有限公司，
类型：发明
国别省市：北京,11