一种基于形变Transformer的肠化生严重程度分级系统技术方案

本发明专利技术提出了一种基于形变Transformer的肠化生严重程度分级系统，通过将内窥镜图像进行划分得到多个特征单元，根据特征单元的相似度得到匹配的特征单元组，将特征单元组进行权重计算后进行融合，实现了Transformer中采样区域的形变，克服了Transformer固定区域采样的不足，提高了特征提取能力，提高肠化生严重程度分级准确率。程度分级准确率。程度分级准确率。

【技术实现步骤摘要】
一种基于形变Transformer的肠化生严重程度分级系统


[0001]本专利技术属于医学图像处理
，尤其涉及一种基于形变Transformer的肠化生严重程度分级系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]根据世界卫生组织(World Health Organization,WHO)的全球统计，胃癌在癌症相关死亡率中排名第四。肠化生(Intestinal Metaplasia,IM)是一种常见的胃癌癌前状态，其发生表明该患者发生癌症的风险明显高于普通人群。同时，一些研究表明，IM的严重程度可能是决定这种风险大小的关键因素，严重程度越高的患者对应的胃癌风险越高。
[0004]在临床实践中，可操作的与胃癌风险联系的肠化生评估(Operative Link on Gastric Intestinal Metaplasia Assessment,OLGIM)和胃镜下胃肠化生分级(Endoscopic Grading of Gastric Intestinal Metaplasia,EGGIM)被广泛认为可以评估IM的严重程度和预测癌症的风险。其中，OLGIM基于病理诊断可以准确地识别IM严重程度和预测胃癌风险，同时其有效性被不同的研究广泛验证，被视为IM严重程度识别与胃癌风险预测的金标准。然而，收集患者胃部活检进行评估的方法既费时又费力，并且在取活检的过程中可能对患者造成伤害。近年来，EGGIM作为一种可靠的IM严重程度分级和癌症风险评估方法得到了广泛应用。利用图像增强内窥镜(Image
‑
enhanced Endoscopy,IEE)观察胃部多个区域的IM严重程度，EGGIM可以实现接近于OLGIM的胃癌风险预测准确性。EGGIM去除了活检的需要，从而允许内窥镜医师实时的诊断评估，并且最大限度地减少了对患者的伤害。
[0005]基于EGGIM的IM严重程度评估在很大程度上依赖于内镜医生的专业知识和熟练程度。然而，组织训练有素的内镜医生快速进行大规模IM严重程度筛查是一项艰巨的任务，同时人类主导的诊断可能受到多种主观因素的影响，如诊断经验和眼睛疲劳，导致不同内镜医生的诊断意见不一致。利用计算机辅助诊断(Computer
‑
aided Diagnosis,CAD)系统协助内镜医生评估IM的严重程度有助于减少这些因素的影响并减轻内镜医生负担。据专利技术人所知，目前还没有用于对IM严重程度进行分类的CAD系统。
[0006]近些年来，基于深度学习的方法已被广泛应用于医学图像分析之中，并取得了良好效果。其中，基于卷积神经网络(Convolutional Neural Networks,CNN)的方法以及基于Transformer的方法都受到固定采样区域的限制，会同时提取病变区域与非病变区域的特征，导致无法获得具有显著性的特征，从而影响模型最终的病变识别效果。
[0007]尽管基于深度学习的方法在医学图像分析领域已取得了不错的成果，但当前尚未见到在内镜下辅助医生检测肠化生严重程度并对胃癌风险进行预测的方案。
[0008]现有技术中存在以下技术问题：目前，基于Transformer的模型具有建立自注意力机制并发展形成图像长距离依赖的能力，提高了图像处理、视频处理和声音识别任务效率，但基于Transformer的深度学习模型识别准确率相对较低，主要原因为：受限于自身固定矩
形采样区域的约束，难以获取完整的病变区域语义信息，进而无法获取显著的特征与准确的分类结果。

技术实现思路

[0009]为克服上述现有技术的不足，本专利技术提供了一种基于形变Transformer的肠化生严重程度分级系统，通过融合模块将划分后的内窥镜图像对应的特征单元根据相似度进行加权融合，实现Transformer中采样区域的形变，克服了Transformer固定区域采样的不足，提高了特征提取能力，提高肠化生严重程度分级准确率。
[0010]为实现上述目的，本专利技术的第一个方面提供一种基于形变Transformer的肠化生严重程度分级系统，包括：
[0011]预处理模块，用于获取内窥镜图像并进行预处理；
[0012]分级模块：用于将预处理后的内窥镜图像输入至预设的分级网络模型进行识别分级；其中，所述预设的分级网络模型为基于Transformer结构的学习模型，且所述分级网络模型包括输入层、多头自注意力模块、匹配模块、融合模块、特征提取模块以及输出层；
[0013]所述输入层用于将预处理后的内窥镜图像划分为多个特征单元；
[0014]所述多头自注意力模块用于学习并生成各个特征单元之间的相互关系，并对Token特征进行更新；
[0015]所述多头自注意力模块用于学习并生成各个特征单元之间的相互关系，并对特征单元特征进行更新；
[0016]所述匹配模块用于计算各个特征单元之间的相似度，得到匹配的特征单元组；
[0017]所述融合模块用于计算匹配的特征单元组中各个特征单元的权重并进行加权融合使采样区域发生形变，得到融合特征；
[0018]所述特征提取模块用于对所述融合特征进行特征提取获取深层次语义特征；
[0019]所述输出层用于根据所述深层次语义特征输出肠化生严重程度分级结果。
[0020]以上一个或多个技术方案存在以下有益效果：
[0021]在本专利技术中，通过将内窥镜图像进行划分得到多个特征单元，根据特征单元的相似度得到匹配的特征单元组，将特征单元组进行权重计算后进行融合，实现了Transformer中采样区域的形变，克服了Transformer固定区域采样的不足，提高了特征提取能力，提高肠化生严重程度分级准确率。在临床应用中，减轻了医生在内窥镜下识别肠化生病变严重程度的负担。
[0022]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0023]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0024]图1为本专利技术实施例一中分级网络模型的网络结构图。
具体实施方式
[0025]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0026]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。
[0027]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0028]实施例一
[0029]如图1所示，本实施例公开了一种基于形变Transformer的肠化生严重程度分级系统，包括：
[0030]预处理模块，用于获取内窥镜图像并进行预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于形变Transformer的肠化生严重程度分级系统，其特征在于，包括：预处理模块，用于获取内窥镜图像并进行预处理；分级模块：用于将预处理后的内窥镜图像输入至预设的分级网络模型进行识别分级；其中，所述预设的分级网络模型为基于Transformer结构的学习模型，且所述分级网络模型包括输入层、多头自注意力模块、匹配模块、融合模块、特征提取模块以及输出层；所述输入层用于将预处理后的内窥镜图像划分为多个特征单元；所述多头自注意力模块用于学习并生成各个特征单元之间的相互关系，并对特征单元特征进行更新；所述匹配模块用于计算各个特征单元之间的相似度，得到匹配的特征单元组；所述融合模块用于计算匹配的特征单元组中各个特征单元的权重并进行加权融合使采样区域发生形变，得到融合特征；所述特征提取模块用于对所述融合特征进行特征提取获取深层次语义特征；所述输出层用于根据所述深层次语义特征输出肠化生严重程度分级结果。2.如权利要求1所述的一种基于形变Transformer的肠化生严重程度分级系统，其特征在于，所述分级模块中，所述输入层用于将预处理后的内窥镜图像划分为多个特征单元，具体为：将预处理后的内窥镜图像划分为多个矩形图像块；多个矩形图像块分别经过线性映射，得到对应的初始特征单元；分别为每个初始特征单元添加编码信息，得到对应的特征单元。3.如权利要求1所述的一种基于形变Transformer的肠化生严重程度分级系统，其特征在于，所述多头自注意力模块用于学习并生成各个特征单元之间的相互关系，并对特征单元特征进行更新，具体为：使用线性映射的方式对每个特征单元生成多组向量，并利用点乘方式获取各组向量之间的相互关系；计算多组向量相互关系之间的权重，并按权重进行拼接计算，对特征单元特征进行更新。4.如权利要求3所述的一种基于形变Transformer的肠化生严重程度分级系统，其特征在于，所述分级模块中，匹配模块用于计算各个特征单元之间的相似度，得到匹配的特征单元组，具体为：计算Class_Token与特征单元的余弦相似度，根据所计算的余弦相似度将特征单元分为前景组和背景组；将前...

【专利技术属性】
技术研发人员：郑向伟，李政，马铭骏，李真，李延青，张明哲，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：