基于CNN和Transformer的图像分割方法技术

本发明专利技术公开了一种基于CNN和Transformer的图像分割方法。本发明专利技术把图像传递给CNN模块，通过逐层的卷积和池化提取出图像的局部低级特征；把相同的图像传递给Transformer模块，其将图像分割为合适的块并进行特征提取，提取并保存图像的全局信息和远程依赖关系；把并行执行的两个模块的提取结果重新排列；把CNN模块每一层的中间结果传递给上采样层，并把最后一层的结果额外通过一个Transformer层来进一步强化全局特征；最后把融合后的数据和CNN模块传递过来的数据统一交给上采样模块，通过使用全局和局部的特征来恢复图像分辨率。本发明专利技术提高了图像语义分割的准确率。高了图像语义分割的准确率。高了图像语义分割的准确率。

【技术实现步骤摘要】
基于CNN和Transformer的图像分割方法


[0001]本专利技术属于图像的语义分割领域，涉及一种结合卷积神经网络(Convolutional Neural Networks，CNN)和Transformer的并行医学图像分割方法。

技术介绍

[0002]医学图像分割是发展医疗保健系统的必要前提，尤其是疾病诊断和治疗计划，诊断疾病需要专业人员对图像中的肿瘤和器官等进行分割，而人工的图像分割要耗费大量的人力资源，因此利用人工智能技术对医学图像进行分割已经成为降低医学图像分析成本的重要方法。但是由于医疗图像的复杂性，对器官纷繁交错的图像做到精确的分割是非常困难的。因此，在医疗领域迫切需要一种自动化高精度的图像分割技术。
[0003]在过去的十年里，出现了各种利用人工智能来帮助相关人员对医学图像进行分割的技术，如基于全卷积神经网络的UNet架构、DeepLab架构、对比学习等；还有受到自然语言处理领域的启发而产生的Vi s ion Transformer、SwinUNet、TransUNet等。其中UNet架构因其良好的性能及精确度成为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于CNN和Transformer的图像分割方法；其特征在于：具体包括以下步骤：步骤1：对图像进行全局语义特征提取；将图像输入到Transformer编码部分，首先经过补丁分割层，然后经过四个下采样层，下采样层中会先经过补丁融合，然后再输入SwinTransformerBlock中提取全局语义特征；步骤2：通过CNN模块提取图像局部细节特征；步骤2
‑
1：卷积与下采样，整个CNN阶段共进行四次下采样，最终图像格式为步骤3：特征重构与合并；在CNN模块与Transformer模块均提取完特征后，由于两者对特征标记数据的组织规格不同，需要对卷积网络的特征数据进行重构，然后把重构后的数据与后者的输出在维度通道进行合并；将合并后的特征数据通过一个Transformer块，然后再次对输出结果重构，使其符合上采样要求的数据格式；步骤4：对特征信息解码并得到分割结果；步骤4
‑
1：解码器将合并重构后的数据输入到上采样层，逐步恢复特征图像的分辨率，上采样之后通过跳跃连接与CNN中保留的不同层级的特征图像合并，然后对合并后的图像进行卷积，连续经过三次上采样和三次跳跃连接，图像的规格恢复到最后通过一个4倍上采样的补丁拓展层将图像恢复到H
×
W
×
C；步骤4
‑
2：分割预测，将上采样之后的特征标记传递到线性映射层，输出最终的像素级分割预测结果。2.根据权利要求1所述的基于CNN和Transformer的图像分割方法；其特征在于：所述的经过补丁分割层，具体为：通过补丁分割模块将输入的RGB图像分割成不重叠的补丁，每个补丁被视为一个“标记”，其特征被设置为原始像素RGB值的串联。3.根据权利要求1所述的基于CNN和Transformer的图像分割方法；其特征在于：经过四个下采样层，具体为：其中第一个下采样层中，补丁合并层被替换为线性嵌入层，补丁被重构为维数为的结构；补丁合并层或线性嵌入层之后经过SwinTransformerBlock提取特征。4.根据权利要求3所述的基于CNN和Transformer的图像分割方法；其特征在于：所述的补丁合并层用于减少标记的数量并强化全局特征，补丁的H和W变为原来的而特征维数变为原来的2倍；补丁合并层将合并后的补丁传递给SwinTransformerBlock进行特征提取。5.根据权利要求3所述的基于CNN和Transformer的图像分割方法；其特征在于：SwinTransformerBlock的构建方法是将原始Transformer中的标准多头自注意模块替换为基...

【专利技术属性】
技术研发人员：王兴起，王海林，魏丹，方景龙，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：