基于Transformer上下文信息融合的医学图像分割方法及相关设备技术

本申请提供一种基于Transformer上下文信息融合的医学图像分割方法及相关设备，Transformer包括多个编码层和对称的解码层；该方法包括：通过多个编码层对各组医学图像构成收缩路径，在编码层预设多水平分支局部上下文提取模型，通过空间分离和空洞卷积以及残差连接得到局部上下文关系；通过多个解码层构成扩张路径，在解码层预设多尺度上下文信息融合模块，利用自注意力计算和交叉注意力计算，分别得到当前尺度和多尺度的医学图像的全局上下文关系，结合两者信息作提取与融合，得到多尺度上下文关系；基于上述两种上下文关系对医学图像进行分割，得到分割结果。通过多尺度上下文关系和局部上下文关系，能够有效进行医学图像分割，从而有效识别医学图像中的解剖结构。构。构。

【技术实现步骤摘要】
基于Transformer上下文信息融合的医学图像分割方法及相关设备


[0001]本申请涉及计算机视觉
，尤其涉及一种基于Transformer上下文信息融合的医学图像分割方法及相关设备。

技术介绍

[0002]随着人工智能与计算机视觉技术的快速发展，图像分割算法日趋成熟，且在医学知识与医疗器械的发展下，越来越多的医疗成像方式成为了诊疗的辅助工具，医疗影像的尺寸和数量急剧增加，传统的手动分割和人工标注方式逐渐难以满足日益增长的需求。
[0003]在此背景下，适用于医疗图像的分割方法应运而生，相关技术中对高性能的基于神经网络的分割方法展开了研究，一部分研究提出了Transformer结构在图像领域的弥补了CNN在长距离依赖方面的不足，然而实验结果证明，仅使用Transformer不足以提取图像中细粒度的局部上下文信息。针对此问题，另一部分研究提出了一些将卷积神经网络与Transformer融合的方法，但仍存在卷积层和Transformer上下文信息融合不够灵活的问题、全连接层中特征的连续性与传递性被破坏、不能很好地利用多尺度上下文信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer上下文信息融合的医学图像分割方法，其特征在于，所述Transformer包括多个编码层和对称的解码层；所述方法，包括：获取医学图像，并对所述医学图像的像素进行分组；通过所述多个编码层对各组所述医学图像进行收缩路径下采样，得到不同尺度的医学图像，通过空间分离、空洞卷积以及残差连接对所述不同尺度的医学图像进行局部感受野内像素与周边像素关系提取，得到局部上下文关系；确定最小尺度医学图像，通过每个所述解码层对所述最小尺度医学图像进行扩张路径上采样，并将当前所述解码层与对称的编码层进行拼接，得到拼接结果；对所述拼接结果进行自注意力计算，得到当前尺度下的医学图像的全局上下文关系；将每个所述编码层与每个所述解码层进行拼接，利用交叉注意力计算，将所述不同尺度的医学图像和所述当前尺度下的医学图像的全局图像的全局图像进行融合，得到当前尺度医学图像与不同尺度医学图像的全局上下文关系；拼接所述当前尺度下的医学图像的全局上下文关系和所述多尺度医学图像的全局上下文关系，得到多尺度上下文关系；基于所述多尺度上下文关系和所述局部上下文关系，对所述医学图像进行分割，得到分割结果。2.根据权利要求1所述的方法，其特征在于，所述每个编码层均预设多水平分支局部上下文提取模型作为所述编码层中的前馈神经网络作特征提取；所述多水平分支局部上下文提取模型包括，主分支、第一分支、第二分支、第三分支和第四分支；通过空间分离、空洞卷积以及残差连接对所述不同尺度的医学图像进行局部感受野内像素与周边像素关系提取，得到局部上下文关系，包括：使用1
×
1卷积对输入所述主分支的医学图像的通道数进行压缩，得到第一特征图，将所述第一特征图分别输入所述第一分支、所述第二分支和所述第三分支和所述第四分支；使用空间分离卷积对输入所述第一分支的第一特征图进行垂直和水平边界信息提取，得到第二特征图；对所述第一分支、所述第二分支和所述第三分支和所述第四分支进行拼接，以使所述第一分支、所述第二分支和所述第三分支和所述第四分支依次进行串联；利用不同扩张率的3
×
3卷积核的空洞卷积，分别对所述第二分支、第三分支和第四分支进行特征提取，分别得到第三特征图、第四特征图和第五特征图；其中从第二分支到第四分支的扩张率依次增大；合并所述第二特征图、所述第三特征图、所述第四特征图和第五特征图，得到融合后的局部信息，再与输入所述主分支的医学图像进行残差计算，得到所述局部上下文关系。3.根据权利要求1所述的方法，其特征在于，所述编码层包括第一层Transformer块、第二层Transformer块、第三层Transformer块和第四层Transformer块；所述第一层Transformer块、第二层Transformer块、第三层Transformer块和第四层Transformer块依次串联，且从所述第一层Transformer块至第四层Transformer块的收缩路径下采样分辨率依次减小。
4.根据权利要求3所述的方法，其特征在于，所述不同尺度医学图像包括第一尺度医学图像，第二尺度医学图像，第三尺度医学图像和最小尺度医学图像；所述对医学图像的像素进行分组，包括：通过二维卷积核划分所述医学图像的像素为7
×
7的二维分组，并通过重叠分组建立不同分组之间的关系，将分组结果输入所述第一层Transformer块；通过二维卷积核划分所述第一层Transformer块输出的所述第一尺度医学图像的像素为3
×
3的二维分组，且通过重叠分组来引入不同分组之间的关系，将分组结果输入所述第二层Transformer块；通过二维卷积核划分所述第二层Transformer块输出的所述第二尺度医学图像的像素为3
×
3的二维分组，且通过重叠分组来引入不同分组之间的关系，将分组结果输入所述第三层Transformer块；通过二维卷积核划分所述第三层Transformer块输出的所述第三尺度医学图像的像素为3
×
3的二维分组，且通过重叠分组来引入不同分组之间的关系，将分组结果输入所述第四层Transformer块。5.根据权利要求3所述的方法，其特征在于，所述解码层包括第一层Decoder块、第二层Decoder块、第三层Decoder块和第四层Decoder块；所述第四层Decoder块、第三层Decoder块、第二层Decoder块和第一层Decoder块依次串联，且从所述第四层Decoder块至第一层Decoder块的扩张路径上采样分辨率依次增大；所述拼接结果包括：第一拼接结果、第二拼接结果和第三拼接结果；所述确定最小尺度医学图像，通过每个所述解码层对所述最小尺度医学图像进行扩张路径上采样，并将当前所述解码层与对称的编码层进行拼接，得到拼接结果；并对所述全局图像进行自注意力计算，得到当前尺度下的医学图像的全局上下文关系，包括：在所述第四层Decoder块中对所述第四层Transformer块输出的最小尺度医学图像并进行自注意力计算，获取所述最小尺度医学图像的全局上下文关系；在所述第三层Decoder块中对所述第四层Decoder块输出的所述第三尺度医学图像与所述第三层Transformer块输出的第三尺度医学图像进行拼接得到第三拼接结果，并对所述第三拼接结果进行自注意力计算，获取所述第三尺度医学图像的全局上下文关系；在所述第二层Decoder块中对所述第三层Decoder块输出的所述第二尺度医学图像与所述第二层Transformer块输出的...

【专利技术属性】
技术研发人员：黄小红，谭石，付颖，叶依桐，李丹丹，袁学光，邓智方，
申请(专利权)人：北京大学第三医院，
类型：发明
国别省市：