一种针对肾小球免疫荧光图像的分类系统技术方案

该发明专利技术公开了一种针对肾小球免疫荧光图像的分类系统，涉及医学图像处理领域。针对当前该项工作对人工的高度依赖和高级病理医生的普遍缺乏进一步加剧了基层医疗机构对肾活检样本的诊断难度，而应用辅助系统，将能够显著改善识别的效率和准确性。本发明专利技术荧光强度和分布形态的分类准确率分别达到了90.48％和90.87％。从推断时间的角度来看，系统在荧光强度分类和分布形态分类中处理每张图像分别仅需要13毫秒和12毫秒，这比初级病理医生分别需要的11.06秒和7.84秒以及独立的高级病理医生分别需要的17.14秒和18.26秒要快得多。从Kappa分数的角度看，系统给出的结论与标签几乎完全一致(Almost perfect)，与独立的高级病理医生给出的结论高度的一致(Substantial agreement，对于荧光强度分类为0.6494，对于分布形态为0.7184)。布形态为0.7184)。布形态为0.7184)。

【技术实现步骤摘要】
一种针对肾小球免疫荧光图像的分类系统


[0001]本专利技术涉及医学图像处理领域。

技术介绍

[0002]如今，随着深度学习在图像诊断领域的广泛应用，一些研究者已经将基于深度学习的方法引入由光学显微镜获取的肾脏组织图像的诊断工作。然而，仅仅使用光学显微镜图像不足以获取确定的诊断结果，免疫荧光图像也是肾脏疾病病理诊断的最重要的资料之一。Zhao等人构建了一个肾脏免疫荧光全切片图像的数据集，并使用边界框标注图像中的肾小球[1]。他们的研究证明了现有的深度学习方法在评估肾小球免疫荧光图像上的可用性，然而他们未提出关于肾小球描述性指标分类的详细方法。Ligabue等人微调了预训练后的ResNet
‑
101网络来对肾小球描述性指标进行分类，这些描述性指标包括：外观、分布、位置、强度[2]。Kitamura等人使用计算机软件自动建立的卷积神经网络从糖尿病肾病患者的免疫荧光图像中提取特征[3]。总的来说，大部分现有的研究没有基于肾小球免疫荧光图像的特点设计专用的图像预处理方法和分类网络，这限制了针对肾小球免疫荧光图像的自动诊断性能的提升。
[0003][1]Zhao K,Yu J,Teng Z,et al.DGDI:A Dataset for Detecting Glomeruli on Renal Direct Immunofluorescence[C]//2018Digital Image Computing:Techniques and Applications(DICTA).2018.
[0004][2]Ligabue G,Pollastri F,Fontana F,et al.Evaluation of the Classification Accuracy of the Kidney Biopsy Direct Immunofluorescence through Convolutional Neural Networks[J].Clinical Journal of the American Society of Nephrology,2020,15(10).
[0005][3]Kitamura S,Takahashi K,Sang Y,et al.Deep learning could diagnose diabetic nephropathy with renal pathological immunofluorescent images[J].Diagnostics,2020,10(7):466。

技术实现思路

[0006]现存的深度学习模型在面对肾小球免疫荧光图像时表现不佳，主要源于以下固有的挑战：
①
肾小球免疫荧光图像分类是一种细粒度分类任务。图像的纹理和色彩的差异决定了描述性指标的类别，并且这些差异十分细微以至于难以提取；
②
荧光强度是不平衡的，由于染色操作和沉积物的位置不同，不平衡的荧光强度广泛存在于不同的图像之间以及同一张图像的不同部分之间；
③
图像中存在不同类型的噪声。残余的染料及非特异性染色将会在图像中形成混杂的噪声，这将会干扰对肾小球免疫荧光图像的观察；
④
尽管针对肾脏免疫荧光图像的特征有标准化的分类规则，分析免疫荧光图像仍然因为其复杂性和多变性而相对主观。当前该项工作对人工的高度依赖和高级病理医生的普遍缺乏进一步加剧了基层医疗机构对肾活检样本的诊断难度。而应用辅助系统，将能够显著改善识别的效率和准
确性。
[0007]本专利技术技术方案为一种针对肾小球免疫荧光图像的分类系统，该系统包括：语义分割模块、强度均衡模块、分类模块、可视化模块；
[0008]将同一张肾小球免疫荧光图像分别输入语义分割模块和强度均衡模块，进行处理后，语义分割模块和强度均衡模块的输出再输入给分类模块，分类结果通过可视化模块进行可视化；
[0009]所述语义分割模块是进行荧光强度分类，其作用是将肾小球免疫荧光图像中肾小球以外的组织分割移除，所述强度均衡模块是进行分布形态分类，其作用是消除图像间的强度差异；分类模块结合语义分割模块和强度均衡模块的输出图像，对两个图像进行分类，分类完毕后进行可视化；
[0010]所述分类模块采用层级特征融合注意力网络对输入图像进行分类，所述层级特征融合注意力网络包括图像依次经过的：特征提取模块、层级特征融合注意力模块、分类器，分类器输出分类结果；所述特征提取模块包括：第一到第六共6个卷积块，第一到第四卷积块都依次包括：卷积层、批标准化层、最大池化层，第一到第四卷积块中的卷积层的滤波器依次增大，第五、第六卷积块都依次包括：最大池化层和卷积层；第一到第四卷积块顺次连接，第二卷积块的输出连接第五卷积块，第三卷积块的输出连接第六卷积块；第四到第六卷积块的输出为特征提取模块的输出，所以特征提取模块包括三个输出，且这三个输出的特征图尺寸相同；
[0011]所述层级特征融合注意力模块包括：拼接模块、分支代表性特征图计算模块、分支的重要性计算模块、特征融合注意力掩模计算模块、哈达玛积模块；所述拼接模块对特征提取模块的三个输出进行拼接后分为三路，其中第一路输入分支代表性特征图计算模块，第二路输入分支的重要性计算模块，分支代表性特征图计算模块和分支的重要性计算模块的输出输入特征融合注意力掩模计算模块，特征融合注意力掩模计算模块与拼接模块的第三路一起输入哈达玛积模块，哈达玛积模块的输出为层级特征融合注意力模块的输出。
[0012]进一步的，所述强度均衡模块的处理方法为：
[0013]步骤1：初始化阳性像素列表V，迭代因子n＝0；
[0014]步骤2：设定目标强度水平k，调节因子N，阈值M，常数α；
[0015]步骤3：提取图像中阳性像素的红、黄、蓝通道的值，并将其中的最大值和最小值的平均值添加至阳性像素列表V；阳性像素表示红、黄、蓝通道的值不全为0的像素；
[0016]步骤4：针对图像中的所有阳性像素重复执行步骤3，每执行一次，迭代因子n递增1；
[0017]步骤5：对阳性像素列表V降序排列，并计算列表中第<2n/N>个至第<6n/N>个元素值的总和Sum，其中操作符<
·
>表示向下取整；
[0018]步骤6：计算该图像的全局强度水平IF＝αSum/(<6n/N>
‑
<2n/N>)，并进一步；计算图像的强度水平调节系数k/IF；
[0019]步骤7：将图像的强度水平调节系数分别与像素的红、黄、蓝通道的值相乘，若相乘后的结果大于步骤2中设定的阈值M，则将结果定为M；
[0020]步骤8：针对图像中的所有像素重复执行步骤7以得到强度均衡后的图像；
[0021]步骤9：保存强度均衡后的图像。
[0022]进一步的，所述分类模块中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对肾小球免疫荧光图像的分类系统，该系统包括：语义分割模块、强度均衡模块、分类模块、可视化模块；将同一张肾小球免疫荧光图像分别输入语义分割模块和强度均衡模块，进行处理后，语义分割模块和强度均衡模块的输出再输入给分类模块，分类结果通过可视化模块进行可视化；所述语义分割模块是进行荧光强度分类，其作用是将肾小球免疫荧光图像中肾小球以外的组织分割移除，所述强度均衡模块是进行分布形态分类，其作用是消除图像间的强度差异；分类模块结合语义分割模块和强度均衡模块的输出图像，对两个图像进行分类，分类完毕后进行可视化；所述分类模块采用层级特征融合注意力网络对输入图像进行分类，所述层级特征融合注意力网络包括图像依次经过的：特征提取模块、层级特征融合注意力模块、分类器，分类器输出分类结果；所述特征提取模块包括：第一到第六共6个卷积块，第一到第四卷积块都依次包括：卷积层、批标准化层、最大池化层，第一到第四卷积块中的卷积层的滤波器依次增大，第五、第六卷积块都依次包括：最大池化层和卷积层；第一到第四卷积块顺次连接，第二卷积块的输出连接第五卷积块，第三卷积块的输出连接第六卷积块；第四到第六卷积块的输出为特征提取模块的输出，所以特征提取模块包括三个输出，且这三个输出的特征图尺寸相同；所述层级特征融合注意力模块包括：拼接模块、分支代表性特征图计算模块、分支的重要性计算模块、特征融合注意力掩模计算模块、哈达玛积模块；所述拼接模块对特征提取模块的三个输出进行拼接后分为三路，其中第一路输入分支代表性特征图计算模块，第二路输入分支的重要性计算模块，分支代表性特征图计算模块和分支的重要性计算模块的输出输入特征融合注意力掩模计算模块，特征融合注意力掩模计算模块与拼接模块的第三路一起输入哈达玛积模块，哈达玛积模块的输出为层级特征融合注意力模块的输出。2.如权利要求1所述的一种针对肾小球免疫荧光图像的分类系统，其特征在于，所述强度均衡模块的处理方法为：步骤1：初始化阳性像素列表V，迭代因子n＝0；步骤2：设定目标强度水平k，调节因子N，阈值M，常数α；步骤3：提取图像中阳性像素的红、黄、蓝通道的值，并将其中的最大值和最小值的平均值添加至阳性像素列表V；阳性像素表示红、黄、蓝通道的值不全为0的像素；步骤4：针对图像中的所有阳性像素重复执行步骤3，每执行一次，迭代因子n递增1；步骤5：对阳性像素列表V降序排列，并计算列表中第<2n/N&...

【专利技术属性】
技术研发人员：刘浩然，李西峰，彭雷，谢永乐，毕东杰，彭礼彪，汤沈杰，李贵森，张萍，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：