一种基于小样本学习的结直肠癌的计算机辅助诊断方法技术

本发明专利技术公开一种基于小样本学习的结直肠癌的计算机辅助诊断方法，包括步骤：通过两个结构相同的骨干网分别抽取出预处理之后的查询图像与支持图像集的特征；对上述特征经余弦相似度计算后将得到所有支持像素间的最大相似度作为响应值进行归一化后转换成图像大小，得到相似度矩阵corr作为响应值特征图；利用响应值特征图与查询图像的特征及支持图像的特征，传递给后续的卷积网络得到分割与诊断结果，计算出相应损失，再将误差反向传播对网络参数进行优化更新。本发明专利技术采用最大相似度响应值特征图，对分割的指导作用更精简，更有效，而且还利用了医学诊断方面的先验知识做约束，提升模型在诊断方面的专业性与准确度。升模型在诊断方面的专业性与准确度。升模型在诊断方面的专业性与准确度。

【技术实现步骤摘要】
一种基于小样本学习的结直肠癌的计算机辅助诊断方法


[0001]本专利技术涉及图像处理
，特别是涉及一种基于小样本学习的结直肠癌的计算机辅助诊断方法。

技术介绍

[0002]病理切片图像是医学图像领域的范畴，在光镜下细胞核的形态表现仍然是目前肿瘤诊断的主要依据。癌症是人类难以攻克的顽疾，而结直肠癌作为消化道疾病中常见的一种恶性肿瘤，相关数据表明其发病率、致死率都在我国癌症前三位，严重影响着人们的生活和健康，而结直肠癌的早期检测对提高其治愈率有着很大的帮助。
[0003]目前的检测方法多是依赖显微镜与病理学家们的个人经验，使得检测结果具有主观性与差异性。随着图像处理技术的发展，有关病理图像计算机辅助检测系统应运而生，结直肠癌病理切片显微图像的自动分割与诊断是一个亟待解决的关键问题，好的分割诊断算法能够给病理学家提供客观精确的“第二意见”。
[0004]自20世纪中后期起，研究人员就开始进行医学图像分割相关技术的研究,希望通过计算机辅助技术减轻病理学家的沉重负担，但是这些算法通常鲁棒性较差，过程复杂且无法提供方便人类理解的语义信息。
[0005]众所周知，大多数视觉任务的深度学习网络模型都需要大规模的标注数据来训练。而与自然图像相比，医学图像的数据样本相对较少，且精细的图像标注往往需要大量的专家进行人工操作，费时耗力，高昂的人工标注成本也限制着深度学习在医学图像分割领域的应用。因此，实现基于小样本学习的结直肠癌诊断技术不仅可以挽救无数患者的生命，而且对于节约医疗资源成本,缓解医患矛盾等问题也有重大意义。

技术实现思路

[0006]本专利技术的目的是为了尽量减少标注工作，实现计算机辅助医师实现结直肠癌的诊断，而提供一种基于小样本学习的结直肠癌的计算机辅助诊断方法，能同时实现细胞核分割，良恶性的判别，分化程度的诊断，为病理学家实现辅助诊断的目的。
[0007]为实现本专利技术的目的所采用的技术方案是：
[0008]一种基于小样本学习的结直肠癌的计算机辅助诊断方法，包括步骤：
[0009]通过两个结构相同的骨干网分别抽取出预处理之后的查询图像与支持图像集的特征；
[0010]对上述特征经余弦相似度计算后将得到所有支持像素间的最大相似度作为响应值进行归一化后转换成图像大小，得到相似度矩阵corr，作为响应值特征图；
[0011]利用响应值特征图与查询图像的特征及支持图像的特征，传递给后续的卷积网络得到分割与诊断结果，通过损失函数计算出相应的损失，再将误差反向传播对网络参数进行优化更新。
[0012]本专利技术提出的基于小样本学习的结直肠癌的计算机辅助诊断方法，通过利用支持
图像与支持图像掩码的信息和诊断结果之间相关的医学诊断先验知识，模型在小样本数据集上也能实现准确的分割与诊断，减少了人工标注的高昂成本；在分割结直肠癌病理切片显微图像中的细胞核的同时，能根据细胞核形态表现判断结直肠癌的良恶性，并给出细胞的分化程度，能自动地为病理学家和诊断人员标记出不同形态表现的细胞核，给出该结直肠癌病理切片的良恶性与分化程度结果，为病理学家和诊断人员提供客观可参考的病理诊断意见，实现计算机辅助诊断的目的；不仅减轻了病理学家的负担，为病理学家提供客观精确的参考意见，且在小样本数据的基础上还能够提升模型的准确性和泛化性。
[0013]本专利技术通过支持图像与支持图像掩码特征的提取，为小样本数据集下的查询图像提供了增强信息；支持图像特征与查询图像特征之间的最大相似度特征响应图提升了模型的泛化能力，增强了模型的性能；任务分支的解耦及分类任务之间医学先验知识的约束，避免了任务分支之间可能出现的特征冲突和大相径庭的诊断结果，实现了分割与诊断这两个任务的同时完成，为病理学家和诊断人员提供客观准确的细胞核定位与良恶性分类及细胞分化程度结果，达到辅助诊断的目的。
[0014]本专利技术采用最大相似度响应值特征图，对分割的指导作用更精简，更有效，而且还利用了医学诊断方面的先验知识做约束，提升模型在诊断方面的专业性与准确度。
附图说明
[0015]图1是本专利技术实施例的基于小样本实现结直肠癌自动分割与诊断方法处理流程图。
[0016]图2
‑
图3分别是图1的两个部分的放大图。
具体实施方式
[0017]以下结合附图和具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0018]由于基于深度学习的模型通常需要海量的数据样本进行学习，但是大规模的数据及数据标注需要高昂的人工成本和时间成本，因此发展基于小样本的深度学习对医学图像处理而言尤为重要。另外目前的大多数结直肠癌诊断方法多是依赖显微镜与病理学家们的个人经验,使得诊断结果具有主观性与差异性，而已有的医学图像分割方面的算法技术通常鲁棒性较差,且任务单一，例如通常只关注分割，而忽略良恶性与分化结果的诊断。因此结直肠癌病理切片显微图像的自动分割与诊断是一个亟待解决的关键问题,需要在自动分割出各种类型的细胞核的同时，能够给病理学家提供客观精确的病理诊断意见做参考，减轻病理学家的负担，节约医疗成本，规范医疗诊断。
[0019]本专利技术针对目前结直肠癌病理切片显微数据的数量不足和标注困难等问题，创新地提出了基于小样本学习的结直肠癌自动分割与诊断方法，通过神经网络提取的支持图像集的特征与查询图像集的特征做余弦相似度计算，将得到的最大相似度归一化处理后生成响应值特征图，继而指导查询集的分割与诊断。
[0020]由于本专利技术是将从查询图像中提取到的特征向量与支持图像集中提取到的特征向量做相似度计算生成响应值特征图，指导查询图像的分割与诊断，因此模型可以广泛地学习不同类型图像的特征分布，生成对应的响应值特征图，从而使模型获得更好的泛化性，
为病理学家提供更精确的分割结果。而在诊断阶段，利用已知的医学诊断方面的先验知识做约束，模型在分类诊断方面更具有专业性和可靠性，为病理学家提供更可信的诊断结果。
[0021]本专利技术实施例的基于小样本实现结直肠癌自动分割与诊断方法的输入是结直肠癌的病理切片显微数据，图像数据分别经过相同结构的骨干网抽取图像特征；将抽取的特征处理后所形成的相应的特征输入进不同的任务分支，得到所需要的结果。
[0022]本专利技术提出的基于小样本实现结直肠癌自动分割与诊断方法，通过两个结构相同的骨干网抽取出预处理之后的查询图像与支持图像集的特征，
[0023]该步骤可表示为Fq＝M(Iq
pre
),Fs＝M(Is
pre
),
[0024]其中Iq
pre
与Is
pre
分别代表经过预处理操作后的查询图像与支持图像集，M代表骨干网，Fq与Fs分别代表骨干网从预处理的查询图像与支持图像集中提取得到的查询图像的特征与支持图像集的特征；
[0025]其中，数据预处理操作主要包括随机旋转，随机高斯模糊，随机缩放，随机水平翻转及归一化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，包括步骤：通过两个结构相同的骨干网分别抽取出预处理之后的查询图像与支持图像集的特征；对上述特征经余弦相似度计算后将得到所有支持像素间的最大相似度作为响应值进行归一化后转换成图像大小，得到相似度矩阵corr，作为响应值特征图；利用响应值特征图与查询图像的特征及支持图像的特征，传递给后续的卷积网络得到分割与诊断结果，通过损失函数计算出相应的损失，再将误差反向传播对网络参数进行优化更新。2.根据权利要求1所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，所述的相似度矩阵corr的计算方式如下：corr＝Upsample(sim)，其中，sim1为余弦相似度计算后得到的所有像素间的最大相似度，sim代表归一化后的最大相似度值，||
·
||2表示L2范数，即向量各元素的平方和然后求平方根，max是计算最大值，min是计算最小值，∈是非零常数,Upsample代表双线性插值上采样操作，即将sim进行双线性插值上采样缩放至所需的图像大小，Fq与Fs分别代表骨干网从预处理的查询图像与支持图像集中提取得到的查询图像的特征与支持图像集的特征。3.根据权利要求2所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，所述损失函数如下：其中，g表示深度卷积神经网络对输入图像的推理输出，g
t
表示数据集标注的标签。4.根据权利要求3所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，所述骨干网采用的resnet50。5.根据权利要求4所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，查询图像利用骨干网分别得到五个卷积块{Q0,Q1,Q2,Q3,Q4}的输出{q0,q1,q2,q3,q4}，将特征图q2双线性插值上采样操作缩放到特征图q3大小之后与特征图q3进行通道拼接，得到特征图Q_feat,然后再经过一层卷积层Qd得到特征图qd，特征图qd经过一个平均池化层的操作得到Q_avg；支持图像经过resnet50的五个卷积块{S0,S1,S2,S3,S4}处理后得到输出{s0,s1,s2,s3,s4}，将特征图s2双线性插值上采样缩放到特征图s3的大小之后与特征图s3进行通道拼接，然后将拼接的特征图经过一个卷积层Sd得到特征图sd；支持图像的掩码图像y与特征图s3乘法操作，乘法操作的结果作为卷积块S4的输入，特征图s4与支持图像的掩码图像y乘法操作得到特征图S_feat,计算特征图S_feat与查询图像的特征图q4的余弦相似度，再将得到的余弦相似度最大值进行归一化处理后，双线性插值上采样成特征图Q_avg大小的相似度矩阵corr。6.根据权利要求5所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，将特征图sd与支持图像的掩码图像y进行加权全局平均池化操作，得到Sgap_feat，其中
加权全局平均池化操作具体为特征图sd与...

【专利技术属性】
技术研发人员：孙哲南，伍湘琼，王云龙，
申请(专利权)人：天津中科智能识别产业技术研究院有限公司，
类型：发明
国别省市：