一种基于多尺度正交Transformer的医学图像分割方法技术

本发明专利技术公开了一种基于多尺度正交Transformer医学分割方法。包括包括：1)对输入医学图像使用数据增强得到增强图像视图；2)将增强图像视图经过Rsetnet50网络进行特征提取得到特征图作为多尺度Transformer结构的输入；3)将输入特征图划分为不同大小的patch作为取样多样性的保证，并进行embedding操作、位置向量的嵌入等编码操作；4)将每一个尺度对应的patch经过Transformer结构编码器；5)将Transformer结构编码器的输出作为解码器结构的输入，并进行解码操作；6)编码器输出进行上采样得到attention map；7)将每种尺度得到的attention map计算正交loss；8)将每一种尺度的attention map按照通道方向叠加得到特征图并进行通道还原；9)经过softmax得到预测的分割结果。本发明专利技术能够通过输入的医学图像得到需要分割的特定医学图像器官，更好的辅助医生进行医学诊断工作。行医学诊断工作。行医学诊断工作。

【技术实现步骤摘要】
一种基于多尺度正交Transformer的医学图像分割方法


[0001]本专利技术涉及医学图像分割，具体是一种基于Transformer结构的医学图像分割方法。

技术介绍

[0002]图像分割作为计算机视觉领域一个经典的研究方向，并在很多领域都有着非常广泛的应用，并且涉及到不同种类的图像。图像分割是理解图像的重要组成部分，也是图像处理当中最困难的问题之一。图像分割指的是根据灰度、彩色、空间纹理等图像特征，将图像划分为若干个互不相交的区域，使得这些特征在同一区域内表现出相似性或一致性，而在不同区域间表现出明显的不同。从20世纪70年代起，分割就引起了广大科研人员的注意，改进的算法一轮一轮的迭代。虽然到目前为止并不存在一个完美的通用分割模型/方法，但是对于图像分割的一般性规律则基本上已经达成的共识，并孕育出了相当多优秀的成果与算法。
[0003]医学图像分割主要是以各种细胞、组织与器官的图像作为处理的对象。医学图像自动分割可以帮助医生快速的定位进行诊断的病变部位或者器官，提高了医生的工作效率。随着深度学习在医学图像分割领域的深远影响，许多的优秀的医学图像分割模型展现出了优秀的分割效果，虽然医学图像的数据集的处理，列如验证集标签的标注等需要具有专业医学知识的医生来进行标注，医学图像数据集的人力、时间成本和对数据集精准性的要求都比普通的数据集高很多，但是通过医学图像数据集训练后的分割模型在一些方面表现出了远超于医生的优秀水平。所以基于深度学习的医学图像分割无论是在提升医生工作效率上还是辅助医生得到更准确的病理信息上都有着重大的意义。
[0004]目前存在以下问题：
[0005]1.传统的卷积神经网络由于卷积滤波器的局限性，即在提取目标的特征信息时需要通过卷积一层一层进行特征提取，而由于每一层的感受野都十分受限，对于全局特征的充分提取比较不足，极难获得精确的全局上下文信息。
[0006]2.由于Transformer本身结构只能输入固定大小尺寸patch的特性，同一种patch大小学习到的特征信息十分有限，不同尺度的patch输入会学习到不同的特征信息；由于多尺度结构可能会学习到重复的特征信息，使得模型很多情况下学习到的信息是完全重叠的，会浪费硬件资源。

技术实现思路

[0007]根据目前存在的多种问题，本专利技术提出了基于多路Transformer的医学图像模型，由于Transformer本身结构只能输入固定大小尺寸patch的特性，本专利技术引入了多路多尺度的并行Transformer结构，不同尺度的patch输入会学习到不同的特征信息；由于多路多尺度结构可能会学习到重复的特征信息，故引入了正交化处理，以保证每一路Transformer学习到的特征信息的差异性。鉴于此，本专利技术采用的具体技术方案如下：
[0008]1)对输入医学图像使用数据增强得到增强图像视图；
[0009]2)将增强图像视图经过Rsetnet50网络进行特征提取得到特征图作为多尺度Transformer结构的输入；
[0010]3)根据步骤2)所提取到的特征图将输入特征图划分为不同大小的patch作为取样多样性的保证；
[0011]4)根据步骤3)所得到的不同尺度的patch进行embedding操作、位置向量的嵌入等编码操作；
[0012]5)根据步骤4)所得到的特征信息进入Transformer解码器进行解码操作；
[0013]6)将步骤5)的编码器输出进行上采样得到attention map；
[0014]7)将步骤6)获得的每种尺度的attention map计算正交loss；
[0015]8)将步骤6)获得的每一种尺度的attention map按照通道方向叠加得到特征图并进行通道还原；
[0016]9)将步骤8)得到的通道还原后的特征图经过softmax得到预测的分割结果；
[0017]10)循环步骤1)到步骤9)训练分割模型；
[0018]综上所述，本专利技术的优点及有益效果如下：
[0019]1.本专利技术的医学图像分割方法在对于医学图像分割任务执行上，对于目标整体物体、边缘上分割有比较好的效果。
[0020]2.本专利技术所提出的多路Transformer结构相较于单路Transformer而言，多分支网络通过构建不同分支用以确保获取特征的多样性，实现不同分支构建不同功能，从而获取不同类型的映射结果。最终分割的整体的语义结果非常完整且与label比较接近。
[0021]3.在本专利技术中，使用了多种不同尺寸的patch作为不同分支的区分依据，但由于结构的相似性，这些分支的结果在很大程度上仍然具有相似性，获取到的高维特征依然存在较多的重复采样结果。为了获取具有差异性的中间层，我们对于多种不同分支的末端输出进行正交化处理，通过正交化处理能够保证每一路学习到的信息存在差异性，获得了更好的分割效果
附图说明
[0022]图1为本专利技术中总体模型框架图；
[0023]图2为本专利技术中正交辅助loss图；
具体实施方式
[0024]下面将结合本专利技术实施事例中的附图，对本专利技术实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本专利技术的一部分实施例。
[0025]本专利技术通过向分割模型中输入医学图像，最终输出预测的分割图片，医学图像经过一定轮次学习达到最好的训练效果。
[0026]下面结合图1对本专利技术的技术方案进行详细描述：
[0027]步骤一：对图像x使用数据增强得到图像视图x
l
。
[0028]步骤二：将增强图像视图x
l
经过Rsetnet50网络进行特征提取得到特征图x
q
作为多尺度Transformer结构的输入。
[0029]步骤三：将所提取到的特征图x
q
图划分为不同大小的patch作为取样多样性的保证。
[0030]步骤四：所得到的不同尺度的patch进行embedding操作、位置向量的嵌入等编码操作：
[0031]解码器详细计算过程如下：
[0032]1)将特征向量打平并进行位置编码
[0033][0034]其中E
pos
为位置编码信息，记录了每一个transformer输入对于原始图像的位置。
[0035]2)计算Q、K、V，其都源于输入特征本身，是根据输入特征产生的向量
[0036][0037]3)通过上述求出的Q、K、V计算Attention值：
[0038][0039]其中A是通过Q,K,V所得到的Attention值。
[0040]4)计算多头注意力机制：
[0041][0042]为多头注意力机制，将不同权重所对应的Attention值拼接起来经过一个全连接操作得到
[0043][0044]5)多头注意力机制构建残差连接，然后使用Layer Normalization进行归一化...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度正交Transformer医学分割方法，包括以下步骤：1)对输入医学图像使用数据增强得到增强图像视图；2)将增强图像视图经过Rsetnet50网络进行特征提取得到特征图作为多尺度Transformer结构的输入；3)根据步骤2)所提取到的特征图将输入特征图划分为不同大小的patch作为取样多样性的保证；4)根据步骤3)所得到的不同尺度的patch进行embedding操作、位置向量的嵌入等编码操作；5)根据步骤4)所得到的特征信息进入Transformer解码器进行解码操作；6)将步骤5)的编码器输出进行上采样得到attention map；7)将步骤6)获得的每种尺度的attention map计算正交loss；8)将步骤6)获得的每一种尺度的attention map按照通道方向叠加得到特征图并进行通道还原；9)将步骤8)得到的通道还原后的特征图经过softmax得到预测的分割结果；10)循环步骤1)到步骤9)训练分割模型。2.根据权利要求1所述的一种基于多尺度正交Transformer医学分割方法，其特征在于：步骤2)采用的是ResNet50提取医学图像的视觉特征。3.根据权利要求1所述的一种基于多尺度正交Transformer医学分割方法，其特征在于：步骤3)是通过在整个模型中加入多种尺度不同的Transformer模块保证每一种尺度获得不同的特征信息。4.根据权利要求1所述的一种...

【专利技术属性】
技术研发人员：曾宪华，周无逸，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：