基于信息迁移和有序分类的视网膜图像智能分析系统及方法技术方案

本发明专利技术提出一种基于信息迁移和有序分类的视网膜图像智能分析系统，包括：眼底图像预处理模块、基于信息迁移的眼底图像血管分割网络模块、基于有序分类的智能分析预测模块，其中图像预处理模块基于视觉图像增强算法，多算法协同工作有效增强图像质量；基于信息迁移的眼底图像血管分割网络有效地实现视网膜血管分割；结合了有序分类的智能分析预测模块准确预测视网膜状态变化等级；有效快捷的实现视网膜图像的智能分析。膜图像的智能分析。膜图像的智能分析。

【技术实现步骤摘要】
基于信息迁移和有序分类的视网膜图像智能分析系统及方法


[0001]本专利技术属于人工智能图像处理领域，具体涉及一套基于信息迁移和有序分类的视网膜图像智能分析系统。

技术介绍

[0002]眼底图像是通过眼底照相机拍摄到的眼底结构，主要包括视网膜、脉络膜、黄斑和视神经等。视网膜图像采集是指使用采集设备来采集视网膜图像数据的过程，涉及成像设备、成像系统等问题。采集到的视网膜眼底图像根据成像原理的不同通常分为两种：荧光眼底图像和常规源眼底图像。
[0003]在采集视网膜图像过程中，读入的视网膜图像出于光线明暗、距离远近、采集图像的角度以及人眼固有相差的局限等原因的影响，通常采集到的视网膜图像有大量噪声，其中部分还包含病灶，图像像素对比度低、局部光照不均、血管分布复杂密集，存在多种纹理背景，图像质量不高。
[0004]现有技术的图像处理过程中，一般基于神经网络进行图像处理，由于眼底图像采集成像的质量，以及常规算法普适性不足，导致当前眼底图像视网膜血管分割不准确，继而增加了眼底图像智能分析的实际应用的约束。

技术实现思路

[0005]本专利技术的目的是针对现有技术问题，本申请提出一种基于信息迁移和有序分类的视网膜图像智能分析系统,进行图像预处理增强，然后基于信息迁移眼底图像分割网络进行视网膜血管分割，最后使用结合有序分类的神经网络进行智能分析预测，以达到视网膜图像智能分析目的。
[0006]本申请技术方案如下：
[0007]一种基于信息迁移和有序分类的视网膜图像智能分析系统，包括眼底图像预处理模块、眼底图像血管分割网络模块和眼底图像智能分析预测模块；
[0008]所述眼底图像预处理模块对采集到的眼底图像进行图像预处理，目的是改善图像质量，突出有用特征；
[0009]所述眼底图像血管分割网络模块基于信息迁移对预处理后的眼底图像进行血管分割，获得血管图像，所述眼底图像血管分割网络模块中定义引导网络和仿生网络；
[0010]所述眼底图像智能分析模块基于有序分类对血管图像进行状态变化预测。
[0011]所述眼底图像预处理模块包括图像增强子模块、掩码生成子模块和多尺度线性滤波器子模块；
[0012]所述图像增强子模块对采集的原始眼底图像进行双树复小波和改进后的top
‑
hat变换，获得图像增强后的眼底图像；图像增强子模块有效改善视网膜图像质量，提高血管对比度，突出特征元素(血管结构、视盘、黄斑)；
[0013]双树复小波变换(DT
‑
CWT)克服了常用的离散小波变换的缺陷，当对应小波基近似
满足Hilbert变换关系时，双树复小波变换能够减小通常的实小波变换中的平移敏感性，改善方向选择性，在有效提升图像质量的同时，保留细节信息；原始眼底图像进行双树复小波变换后，对复小波变换后的眼底图像进行改进后的top
‑
hat变换；
[0014]改进后的top
‑
hat变换具体包括以下步骤：对复小波变换后的眼底图像进行开运算，获得开运算眼底图像，变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果；
[0015]本申请改进后的top
‑
hat变换是在复小波变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果，经过改进的top
‑
hat变换，图像灰度差值明显增大，一些幅度变化小的边缘也可以得到有效的保护；
[0016]所述掩码生成子模块基于空间亮度信息进行视场提取，把图像增强后的眼底图像(彩色图像,经过复小波变换和top
‑
hat变换进行局部细节增强和图像质量改善之后的图像)从RGB格式转换到YIQ格式，设置分割阈值，提取周围黑色视场，通过腐蚀操作得到有用信息区域，实现眼底区域和背景区域的分离，得到掩膜图像，用掩膜图像和图像增强后眼底图像进行相乘得到眼底区域图像；
[0017]掩膜图像基于空间亮度信息的视场提取，具体包括以下步骤：
[0018]第一步：将图像增强后的眼底图像从RGB格式转换到YIQ格式：
[0019][0020]上式(1)求得YIQ格式的眼底图像的3个分量；
[0021]第二步：设置分割阈值，提取周围黑色视场，通过腐蚀操作得到感兴趣区域；
[0022]获得掩膜图像为：
[0023][0024]其中，“1”代表背景边框图，“0”代表眼球血管；Y为图像的亮度信息，等于图像亮度分量的灰度值(YIQ格式的眼底图像的Y分量)，M(x,y)为提取的背景边框，x,y表示像素坐标；
[0025]所述多尺度线性滤波器子模块基于Hessian矩阵的多尺度线性滤波器，根据眼底区域图像中血管的灰度值和特征值不同设置参数，滤波之后消除噪声，进一步突出血管特征，获得滤波后血管特征图像。
[0026]眼底图像血管分割网络模块训练过程包括以下步骤：
[0027]步骤201，使用滤波后血管特征图像和分割标签作为引导网络和仿生网络的共同输入，训练引导网络进行血管分割任务，引导网络迭代训练的过程中，每隔A次迭代之后在验证集上进行分割准确率测试，保存分割精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为引导网络的最优权重；
[0028]步骤202，仿生网络迭代训练的过程中，引导网络加载201中保存的引导网络最优权重，对滤波后血管特征图像生成引导编解码矩阵和引导残差相似度，仿生网络对滤波后血管特征图像生成对应的仿生编解码矩阵和仿生相似度矩阵，仿生网络拟合分割标签、引导编解码矩阵和引导残差相似度，拟合过程中使用损失函数作为约束条件；
[0029]步骤203，通过反向传播方法向所述损失函数值变小的方向更新仿生网络的仿生编解码矩阵、仿生残差相似度参数和分割网络参数，并跳转至步骤202进行迭代训练，每隔A次迭代，在验证集上进行分割准确率测试，保存精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为仿生网络的最终最优权重。
[0030]步骤202中引导编解码矩阵和仿生编解码矩阵为G∈R
m
×
n
，G∈R
m
×
n
通过引导/仿生编码器和引导/仿生解码器的特征图生成，编码器层的输出特征图为F1∈R
h
×
w
×
m
，其中h，w，m分别F1特征图的高、宽和通道数，解码器层的输出特征图为F2∈R
h
×
w
×
n
，其中h，w，n分别表示F2特征图的高，宽和通道数，引导编解码矩阵和仿生编解码矩阵G∈R
m
×
n
计算为：
[0031][0032]其中，s＝1,...,h，t＝1,...,w，x和W分别代表输入图像和引导/仿生网络的权重；G
i,j
(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息迁移和有序分类的视网膜图像智能分析系统，其特征在于，包括眼底图像预处理模块、眼底图像血管分割网络模块和眼底图像智能分析预测模块；所述眼底图像预处理模块对采集到的眼底图像进行图像预处理；所述眼底图像血管分割网络模块基于信息迁移对预处理后的眼底图像进行血管分割，获得血管图像，所述眼底图像血管分割网络模块中定义引导网络和仿生网络；所述眼底图像智能分析模块基于有序分类对血管图像进行状态变化预测。2.根据权利要求1所述的一种基于信息迁移和有序分类的视网膜图像智能分析系统，其特征在于，所述眼底图像预处理模块包括图像增强子模块、掩码生成子模块和多尺度线性滤波器子模块；所述图像增强子模块对采集的原始眼底图像进行双树复小波和改进后的top
‑
hat变换，获得图像增强后的眼底图像；改进后的top
‑
hat变换具体包括以下步骤：对双树复小波变换后的眼底图像进行开运算，获得开运算眼底图像，双树复小波变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果；所述掩码生成子模块基于空间亮度信息进行视场提取，把图像增强后的眼底图像从RGB格式转换到YIQ格式，设置分割阈值，提取周围黑色视场，通过腐蚀操作得到有用信息区域，进行眼底区域和背景区域的分离，得到掩膜图像，用掩膜图像和图像增强后眼底图像进行相乘得到眼底区域图像；掩膜图像基于空间亮度信息的视场提取，具体包括以下步骤：第一步：将图像增强后的眼底图像从RGB格式转换到YIQ格式：式(1)求得YIQ格式的眼底图像的3个分量；第二步：设置分割阈值，提取周围黑色视场，通过腐蚀操作得到感兴趣区域；获得掩膜图像为：其中，“1”代表背景边框图，“0”代表眼球血管；Y为图像的亮度信息，等于图像亮度分量的灰度值，M(x,y)为提取的背景边框，x,y表示像素坐标；所述多尺度线性滤波器子模块基于Hessian矩阵的多尺度线性滤波器，根据眼底区域图像中血管的灰度值和特征值不同设置参数，滤波之后消除噪声，获得滤波后血管特征图像。3.根据权利要求1所述的一种基于信息迁移和有序分类的视网膜图像智能分析系统，其特征在于，眼底图像血管分割网络模块训练过程包括以下步骤：步骤201，使用滤波后血管特征图像和分割标签作为引导网络和仿生网络的共同输入，训练引导网络进行血管分割任务，引导网络迭代训练的过程中，每隔A次迭代之后在验证集
上进行分割准确率测试，保存分割精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为引导网络的最优权重；步骤202，仿生网络迭代训练的过程中，引导网络加载步骤201中保存的引导网络最优权重，对滤波后血管特征图像生成引导编解码矩阵和引导残差相似度，仿生网络对滤波后血管特征图像生成对应的仿生编解码矩阵和仿生相似度矩阵，仿生网络拟合分割标签、引导编解码矩阵和引导残差相似度，拟合过程中使用损失函数作为约束条件；步骤203，通过反向传播方法向所述损失函数值变小的方向更新仿生网络的仿生编解码矩阵、仿生残差相似度参数和分割网络参数，并跳转至步骤202进行迭代训练，每隔A次迭代，在验证集上进行分割准确率测试，保存精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为仿生网络的最终最优权重。4.根据权利要求3所述的一种基于信息迁移和有序分类的视网膜图像智能分析系统，其特征在于，步骤202中引导编解码矩阵和仿生编解码矩阵为G∈R
m
×
n
，G∈R
m
×
n
通过引导/仿生编码器和引导/仿生解码器的特征图生成，编码器层的输出特征图为F1∈R
h
×
w
×
m
，其中h，w，m分别F1特征图的高、宽和通道数，解码器层的输出特征图为F2∈R
h
×
w
×
n
，其中h，w，n分别表示F2特征图的高，宽和通道数，引导编解码矩阵和仿生编解码矩阵G∈R
m
×
n
计算为：其中，s＝1,...,h，t＝1,...,w，x和W分别代表输入图像和引导/仿生网络的权重；G
i,j
(x；W)表示引导编解码矩阵或者仿生编解码矩阵的第i行第j列。5.根据权利要求3所述的一种基于信息迁移和有序分类的视网膜图像智能分析系统，其特征在于，步骤202具体包括以下步骤：对于第i个输入特征向量Y
(i)
，通过每个中心像素P
center
与其相邻的d
×
d区域里面像素P
j
之间的元素乘法计算相似度值P
j
′
，公式为：P
j
′
＝P
j
×
P
center
ꢀꢀꢀ⑷
其中j表示d
×
d区域的坐标，对图像滤波后血管特征图像中每个像素，获得局部表示，然后沿着通道维度对所述局部表示进行连接，得到第i个输入的特征向量的残差相似度其中d代表区域的大小，H和W分别表示特征向量的高和宽，获取相应的残差相似度选取不同的d值，将对应的残差相似度相加求和，得到第i个特征向量的最终残差相似度为6.根据权利要求3所述的一种基于信息迁移和有序分类的视网膜图像智能分析系统，其特征在于:引导网络生成的引导编解码矩阵为引导残差相似度为仿生网络生成的仿生编解码矩阵仿生网络生成的仿生残差相似度为和i＝1,...,n；所述信息迁移任务的损失函数为：
其中，W
t
为引导网络权重，W
s
仿生网络权重，G
iT
代表引导网络第i个编解码矩阵，G
iS
代表仿生网络第i个编解码矩阵，n表示编解码矩阵个数；λ
i
和β
i
代表对应损失项的权重因子，N代表数据点的数量。7.根据权利要求1所述的一种基于信息迁移和有序分类的视网膜图像智能分析系统，其特征在于，所述基于有序分类的眼底图像智能分析模块对分割后的血管图像进行状态变...

【专利技术属性】
技术研发人员：姚新明，陈洁，张靖，赵腾飞，何俊俊，
申请(专利权)人：皖南医学院第一附属医院皖南医学院弋矶山医院，
类型：发明
国别省市：