基于双自注意力和深度学习的胸椎图像分割方法及装置制造方法及图纸

本发明专利技术提供了一种基于双自注意力和深度学习的胸椎图像分割方法及装置，方法包括：获取待处理的医学图像数据集，医学图像数据集中的每张医学图像均包括有胸椎图像区域；将待处理的医学图像数据集输入至深度学习网络模型中，基于深度学习网络模型编码层中的多个双自注意力模块，对不同尺寸的编码图像分别进行双自注意力机制特征提取，得到多张不同尺寸的编码特征图像；基于深度学习网络模型解码层中的多个双自注意力模块，对特征拼接融合图像进行双自注意力机制特征提取，输出得到胸椎图像分割结果。上述方法得到的特征拼接融合图像则可以保留医学图像数据集中的较多特征信息，输出得到的胸椎图像分割结果也更加准确，提高了胸椎图像的分割精度。椎图像的分割精度。椎图像的分割精度。

【技术实现步骤摘要】
基于双自注意力和深度学习的胸椎图像分割方法及装置


[0001]本专利技术涉及医疗领域，尤其涉及一种基于双自注意力和深度学习的胸椎图像分割方法及装置。

技术介绍

[0002]随着技术的不断发展，人工智能技术越来越多的应用到医疗领域中。以胸椎为例，人工智能技术的引入，为医生节省了很多时间，提高了手术效率。但是，由于胸椎病变的多样性，很容易导致胸椎分割的准确性不高，尤其是在分割细节特征，分割偏差较大，造成了不好的体验。
[0003]因此，如何解决上述问题，是需要考虑的。

技术实现思路

[0004]本专利技术提供一种基于双自注意力和深度学习的胸椎图像分割方法及装置，用以解决上述问题。
[0005]本专利技术的第一方面，提供一种基于双自注意力和深度学习的胸椎图像分割方法，包括：
[0006]获取待处理的医学图像数据集，所述医学图像数据集中的每张医学图像均包括有胸椎图像区域；
[0007]将所述待处理的医学图像数据集输入至深度学习网络模型中，基于所述深度学习网络模型编码层中的多个双自注意力模块，对不同尺寸的编码图像分别进行双自注意力机制特征提取，得到多张不同尺寸的编码特征图像；
[0008]基于所述深度学习网络模型解码层中的多个双自注意力模块，对特征拼接融合图像进行双自注意力机制特征提取，输出得到胸椎图像分割结果；
[0009]其中，所述特征拼接融合图像基于编码特征图像及与其对应的解码特征图像拼接操作得到。
[0010]可选地，所述深度学习网络模型包括四层网络结构，第一层网络结构为输入所述待处理的医学图像数据集的网络层，第一层网络结构至第四层网络结构的编码特征图像的尺寸依次减小；
[0011]所述第一层网络结构至所述第四层网络结构均设置有双自注意力模块；
[0012]在所述编码层中和所述解码层中，第四层网络结构中的双自注意力模块用于对第三层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第四编码特征图像，所述第四特征编码图像经过卷积操作后，得到第四解码特征图像；
[0013]第三层网络结构中的双自注意力模块用于对第二层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第三编码特征图像，以及对所述第三编码特征图像和所述第四编码特征图像经过上采样得到的解码图像进行拼接操作，得到第三解码特征图像；
[0014]第二层网络结构中的双自注意力模块用于对第一层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第二编码特征图像，以及对所述第二编码特征图像和所述第三编码特征图像经过上采样得到的解码图像进行拼接操作，得到第二解码特征图像；
[0015]第一层网络结构中的双自注意力模块用于对所述待处理的医学图像数据集中的医学编码图像进行双自注意力机制特征提取，得到第一编码特征图像，以及对所述第一编码特征图像和所述第二编码特征图像经过上采样得到的解码图像进行拼接操作，得到胸椎图像分割结果。
[0016]可选地，所述双自注意力模块包括：
[0017]第一分支结构和第二分支结构，所述第一分支结构用于对输入的图像进行宽度自注意力特征提取操作、相加add操作、归一化Norm操作以及FFN操作，得到第一特征图；所述第二分支机构用于对输入的图像进行高度自注意力特征提取操作、相加操作、归一化Norm操作以及FFN操作，得到第二特征图；
[0018]将所述第一特征图和所述第二特征图进行拼接Concat操作及Norm操作，得到第三特征图，所述第三特征图经过Norm操作以及FFN操作后所得的第四特征图与所述第三特征图进行add操作，输出得到第五特征图。
[0019]可选地，第一分支结构包括：宽度自注意力WSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元，所述WSA单元用于进行宽度自注意力特征提取操作，所述相加add单元用于进行add操作，所述归一化Norm单元用于进行归一化Norm操作，所述前馈神经网络FFN单元用于进行FFN操作；所述WSA单元通过add单元与所述Norm单元及所述FFN单元连接；
[0020]所述第二分支结构包括：高度自注意力HSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元；所述HSA单元通过add单元与所述Norm单元及所述FFN单元连接。
[0021]可选地，所述第一特征图基于如下方式计算得到：
[0022]MLP1(W
block
)＝MLP(LN(W
block
))+MLP(W
block
)；
[0023]所述第二特征图基于如下方式计算得到：
[0024]MLP2(H
block
)＝MLP(LN(H
block
))+MLP(H
block
)；
[0025]所述第三特征图基于如下方式计算得到：
[0026]MLP3(WH
block
)＝MLP(LH(WH
block
))；WH
block
基于如下方式计算得到：WH
block
＝Concat(MLP1(W
block
),MLP2(H
block
))
[0027]其中，W
block
为宽度自注意力特征图，H
block
为高度自注意力特征图，WH
block
为宽度自注意力与高度自注意特征融合后的特征图，MLP1(W
block
)为第一特征图，MLP2(H
block
)为第二特征图，MLP3(WH
block
)为第三特征图。
[0028]可选地，所述WSA单元在对输入的图像进行宽度自注意力特征提取操作之后，还用于：
[0029]对进行宽度自注意力特征提取操作得到的第一图像进行归一化操作和激活操作，得到第二图像；
[0030]将所述输入的图像与所述第二图像进行相加操作，得到第三图像；
[0031]对所述第三图像进行Query操作、Key操作、Value操作、Softmax操作以及点乘操
作，得到第一输出图像。
[0032]可选地，所述HSA单元在对输入的图像进行高度自注意力特征提取操作之后，还用于：
[0033]对进行高度自注意力特征提取操作得到的第四图像进行归一化和激活操作，得到第五图像；
[0034]将所述输入的图像与所述第五图像进行相加操作，得到第六图像；
[0035]对所述第六图像进行Query操作、Key操作、Value操作、Softmax操作以及点乘操作，得到第二输出图像。
[0036]本专利技术的第二方面，提供一种基于双自注意力和深度学习的胸椎图像分割装置，包括：
[0037]获取模块，用于获取待处理的医学图像数据集，所述医学图像数据集中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双自注意力和深度学习的胸椎图像分割方法，其特征在于，包括：获取待处理的医学图像数据集，所述医学图像数据集中的每张医学图像均包括有胸椎图像区域；将所述待处理的医学图像数据集输入至深度学习网络模型中，基于所述深度学习网络模型编码层中的多个双自注意力模块，对不同尺寸的编码图像分别进行双自注意力机制特征提取，得到多张不同尺寸的编码特征图像；基于所述深度学习网络模型解码层中的多个双自注意力模块，对特征拼接融合图像进行双自注意力机制特征提取，输出得到胸椎图像分割结果；其中，所述特征拼接融合图像基于编码特征图像及与其对应的解码特征图像拼接操作得到。2.根据权利要求1所述的基于双自注意力和深度学习的胸椎图像分割方法，其特征在于，所述深度学习网络模型包括四层网络结构，第一层网络结构为输入所述待处理的医学图像数据集的网络层，第一层网络结构至第四层网络结构的编码特征图像的尺寸依次减小；所述第一层网络结构至所述第四层网络结构均设置有双自注意力模块；在所述编码层中和所述解码层中，第四层网络结构中的双自注意力模块用于对第三层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第四编码特征图像，所述第四特征编码图像经过卷积操作后，得到第四解码特征图像；第三层网络结构中的双自注意力模块用于对第二层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第三编码特征图像，以及对所述第三编码特征图像和所述第四编码特征图像经过上采样得到的解码图像进行拼接操作，得到第三解码特征图像；第二层网络结构中的双自注意力模块用于对第一层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第二编码特征图像，以及对所述第二编码特征图像和所述第三编码特征图像经过上采样得到的解码图像进行拼接操作，得到第二解码特征图像；第一层网络结构中的双自注意力模块用于对所述待处理的医学图像数据集中的医学编码图像进行双自注意力机制特征提取，得到第一编码特征图像，以及对所述第一编码特征图像和所述第二编码特征图像经过上采样得到的解码图像进行拼接操作，得到胸椎图像分割结果。3.根据权利要求1所述的基于双自注意力和深度学习的胸椎图像分割方法，其特征在于，所述双自注意力模块包括：第一分支结构和第二分支结构，所述第一分支结构用于对输入的图像进行宽度自注意力特征提取操作、相加add操作、归一化Norm操作以及FFN操作，得到第一特征图；所述第二分支机构用于对输入的图像进行高度自注意力特征提取操作、相加操作、归一化Norm操作以及FFN操作，得到第二特征图；将所述第一特征图和所述第二特征图进行拼接Concat操作及Norm操作，得到第三特征图，所述第三特征图经过Norm操作以及FFN操作后所得的第四特征图与所述第三特征图进行add操作，输出得到第五特征图。
4.根据权利要求3所述的基于双自注意力和深度学习的胸椎图像分割方法，其特征在于，第一分支结构包括：宽度自注意力WSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元，所述WSA单元用于进行宽度自注意力特征提取操作，所述相加add单元用于进行add操作，所述归一化Norm单元用于进行归一化Norm操作，所述前馈神经网络FFN单元用于进行FFN操作；所述WSA单元通过add单元与所述Norm单元及所述FFN单元连接；所述第二分支结构包括：高度自注意力HSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元；所述HSA单元通过add单元与所述Norm单元及所述FFN单元连接。5.根据权利要求3所述的基于双自注意力和深度学习的胸椎...

【专利技术属性】
技术研发人员：张逸凌，刘星宇，
申请(专利权)人：张逸凌，
类型：发明
国别省市：