一种基于EUS的粘膜下肿瘤细粒度分类方法技术

本发明专利技术涉及一种基于EUS的粘膜下肿瘤细粒度分类方法，其特征在于，包括以下步骤：建立多尺度的关系注意力网络；分两个阶段对关系注意力网络进行训练；将实时获得的EUS图像输入训练后的关系注意力网络，由关系注意力网络输出对应的类别标签。与现有技术相比，本发明专利技术能够有效提升基于EUS的粘膜下肿瘤的识别准确率，并有效减少了EUS识别过程中对目标级数据标签的依赖，能够有效对EUS图像中的粘膜下肿瘤区域进行识别。域进行识别。域进行识别。

【技术实现步骤摘要】
一种基于EUS的粘膜下肿瘤细粒度分类方法


[0001]本专利技术涉及一种面向粘膜下肿瘤在线检测的视觉系统校准方法，属于实例细粒度图像分类


技术介绍

[0002]消化道粘膜下病变(SMTs)是指来源于消化道粘膜层以下各层次的病变，常见的消化道SMTs共有5种，包含胃肠道间质瘤、异位胰腺、脂肪瘤、平滑肌瘤、神经内分泌肿瘤。因它们在内镜下都表现为粘膜正常的隆起性病变，普通的内镜检查技术无法判断它的来源层次及性质。因此，在利用白光内镜找到粘膜正常的隆起性病变后，需要结合其他成像手段来进一步判断肿瘤的类别。
[0003]其中，EUS便是目前评估消化道SMT最准确的影像学方法之一。在EUS的成像过程中，换能器通过发送短脉冲，超声能量进入组织并接收组织反射信号形成组织的超声图像，从而帮助医生进一步判断粘膜下肿瘤的性质。然而，EUS的图像内容复杂多变，通常呈现出1
‑
5层环状层次结构，并在肿瘤区域表现为对层次结构的破坏，临床医生通常依靠观察感兴趣区域内病变的起源层次及其在超声内镜表现(如形状、高低回声、回声模式等)来做出诊断。
[0004]随着科技的不断进步，计算机技术与医疗的联系越来越来紧密，而将计算机视觉应用到医疗领域的例子也越来越多，云阅片和机器人无接触送药等事实也证明这些技术确实提供了非常大的助力。而在医疗过程中，基于EUS的SMTs人工诊断具有陡峭的学习曲线，人工读图需要多年的学习实践并凝聚成经验知识。通过计算机辅助临床医生进行诊断，能够减小EUS的学习成本，提升临床医生的工作效率，因此具有重要的研究意义。
[0005]但是，基于EUS的SMTs识别共存在以下几大挑战。首先，由于超声成像操作难度高、成像不稳定，导致EUS图像通常伴有大量的斑点噪声，部分时候还伴有伪像。这种高噪声、强干扰的图像特点给有效信息的提取带来了巨大的挑战。其次，EUS图像能够反映胃肠道壁的层次结构信息，而这些信息被用来判断病变的起源层次，从而进一步为病变定性。然而，EUS成像经常会出现层次密集、界限不清的情况，且其层次结构形状不规则变化，这种现象非显著，高变化的层次特点进一步增加了层次起源信息提取的难度。最后，EUS图像具有十分复杂的语义关系，包含病变区域肿瘤形状、回声模式以及肿瘤起源层次等多种语义，而这些语义及它们之间存在的耦合关系，对于判断肿瘤的类别起着不同程度的重要作用，但也进一步增加了基于视觉SMTs识别的难度。

技术实现思路

[0006]本专利技术的目的是：实现仅在图像级标签的基础上对SMTs进行分类。
[0007]为了达到上述目的，本专利技术的技术方案是提供了一种基于EUS的粘膜下肿瘤细粒度分类方法，其特征在于，包括以下步骤：
[0008]步骤1、建立多尺度的关系注意力网络，该关系注意力网络包括基于卷积神经网络
结构实现的编码器以及关系注意力模块，由编码器提取输入的EUS图像多个尺度特征，由关系注意力模块获得特征的注意力图，并将注意力图与编码器提取的特征进行逐元素相乘，以增强空间域中的感兴趣区域，抑制无关区域，基于感兴趣区域输出类别标签，类别为预先定义的不同肿瘤类别；
[0009]步骤2、分两阶段对模型进行训练，采用基于图像修复的自监督学习预训练方法来训练肿瘤分类的特征提取器，并在下游加入多尺度特征关系注意力网络进一步训练模型直至收敛，具体包括以下步骤：
[0010]步骤201、获得不同类别的EUS图像样本；
[0011]步骤202、将步骤201得到的不同类别的EUS图像样本组成一个EUS图像训练样本集；
[0012]步骤203、采用EUS自适应遮挡算法对EUS图像训练样本集中的每个EUS图像样本进行处理，获得遮挡图像样本以及对应的遮挡区域，EUS自适应遮挡算法利用EUS的成像特点自适应地遮挡EUS图像层次结构上的部分信息，用于实现自监督学习；
[0013]步骤204、将遮挡图像样本作为输入、对应的遮挡区域作为标签，对采用Context Encoder的模型结构进行训练，从而完成第一阶段的训练，该模型结构包括基于卷积神经网络结构实现的编码器、解码器以及一个判别器，由模型结构补全输入的遮挡图像样本的遮挡区域，输出完整的EUS图像样本；
[0014]步骤205、将训练后的模型结构的编码器的权值赋予关系注意力网络的编码器，该编码器即为特征提取器；
[0015]步骤206、将步骤201获得的EUS图像样本作为输入、对应的类别作为标签，对编码器的权值更新后的关系注意力网络进行训练，从而完成第二阶段的训练；
[0016]步骤3、将实时获得的EUS图像输入训练后的关系注意力网络，由关系注意力网络输出对应的类别标签。
[0017]优选的，所述肿瘤类别包括胃肠道间质瘤、异位胰腺、神经内分泌肿瘤、脂肪瘤以及平滑肌瘤。
[0018]优选的，所述EUS自适应遮挡算法包括以下步骤：
[0019]步骤2031、对EUS图像样本进行直方图均衡化处理，随后进行阈值化操作，使得直方图均衡化后的图像中像素值在[0.7,0.8]之间的所有像素的值为1、像素值在[0.85,0.99]之间的所有像素的值为2、其余像素的像素值都为0，从而得到阈值化图像；
[0020]步骤2032、对阈值化图像进行腐蚀运算，使得阈值化图像中相互靠近的区域的区域轮廓相互联通，而相互之间距离较远的区域的区域轮廓互相分离；
[0021]步骤2033、寻找上一步得到的图像中的闭合曲线，并计算每条闭合曲线所围区域的曲线区域面积，对曲线区域面积进行排序，从中选出曲线区域面积最大的前三条闭合曲线，将其假定为图像层次结构的外轮廓曲线；
[0022]步骤2034、在外轮廓曲线内部采点，将获得的点作为生成掩码的中心坐标点，基于中心坐标点生成掩码，利用掩码对EUS图像样本进行遮挡，从而得到所述遮挡图像样本以及对应的所述遮挡区域。
[0023]优选的，步骤2034中，在所述外轮廓曲线内部采点时，选择所述外轮廓曲线内部的任意一点作为所述中心坐标点。
[0024]优选的，步骤2034中，所述掩码为正方形掩码。
[0025]与现有技术相比，本专利技术能够有效提升基于EUS的粘膜下肿瘤的识别准确率，并有效减少了EUS识别过程中对目标级数据标签的依赖，能够有效对EUS图像中的粘膜下肿瘤区域进行识别。
附图说明
[0026]图1为本专利技术提出的一种适用于EUS下粘膜下肿瘤的细粒度分类方法整体框架图；
[0027]图2为本专利技术提出的一种适用于EUS下粘膜下肿瘤的细粒度分类的自监督预训练示意图；
[0028]图3为本专利技术提出的一种适用于EUS下粘膜下肿瘤的细粒度分类的多尺度关系注意力网络示意图；
[0029]图4为本专利技术提出的一种适用于EUS下粘膜下肿瘤的细粒度分类的关系注意力机制示意图。
具体实施方式
[0030]下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于EUS的粘膜下肿瘤细粒度分类方法，其特征在于，包括以下步骤：步骤1、建立多尺度的关系注意力网络，该关系注意力网络包括基于卷积神经网络结构实现的编码器以及关系注意力模块，由编码器提取输入的EUS图像多个尺度特征，由关系注意力模块获得特征的注意力图，并将注意力图与编码器提取的特征进行逐元素相乘，以增强空间域中的感兴趣区域，抑制无关区域，基于感兴趣区域输出类别标签，类别为预先定义的不同肿瘤类别；步骤2、分两阶段对模型进行训练，采用基于图像修复的自监督学习预训练方法来训练肿瘤分类的特征提取器，并在下游加入多尺度特征关系注意力网络进一步训练模型直至收敛，具体包括以下步骤：步骤201、获得不同类别的EUS图像样本；步骤202、将步骤201得到的不同类别的EUS图像样本组成一个EUS图像训练样本集；步骤203、采用EUS自适应遮挡算法对EUS图像训练样本集中的每个EUS图像样本进行处理，获得遮挡图像样本以及对应的遮挡区域，EUS自适应遮挡算法利用EUS的成像特点自适应地遮挡EUS图像层次结构上的部分信息，用于实现自监督学习；步骤204、将遮挡图像样本作为输入、对应的遮挡区域作为标签，对采用Context Encoder的模型结构进行训练，从而完成第一阶段的训练，该模型结构包括基于卷积神经网络结构实现的编码器、解码器以及一个判别器，由模型结构补全输入的遮挡图像样本的遮挡区域，输出完整的EUS图像样本；步骤205、将训练后的模型结构的编码器的权值赋予关系注意力网络的编码器，该编码器即为特征提取器；步骤206、将步骤201获得的EUS图像样本作为输入、对应的类别作为标签，对编码器的权值更新后的关系注意力网络进行训练，从而完成...

【专利技术属性】
技术研发人员：郑杭彬，鲍劲松，刘天元，汪俊亮，
申请(专利权)人：东华大学，
类型：发明
国别省市：