基于上下文融合机制的CBCT颌骨区域分割方法及系统技术方案

本发明专利技术公开了基于上下文融合机制的CBCT颌骨区域分割方法及系统，涉及于计算机视觉技术领域，设计了一种新的神经网络结构CA

【技术实现步骤摘要】
基于上下文融合机制的CBCT颌骨区域分割方法及系统


[0001]本专利技术涉及于计算机视觉
，具体涉及基于上下文融合机制的CBCT颌骨区域分割方法及系统。

技术介绍

[0002]CBCT（锥形束 CT）采用低能锥束状射线，通过围绕患者被拍摄部位旋转成像，在口腔领域的应用中具有扫描速度快、轴向和矢状面空间分辨率高、定位准确、辐射量低、 范围可选、旋转角度任意、且应用成本相对较低的优点，近年来逐步受到口腔临床医生的重视并大规模应用于口腔临床和科研。但人工处理医学图像是一个极其繁琐的工作过程， 且常常由于处理图像者主观判断标准的不同，经人工分割医学图像实验在临床研究上的可重复性较低。
[0003]为了扩大 CBCT 在对颌骨区域的应用，将人工智能与 CBCT 结合起来，通过机器学习和图像识别技术，训练计算机自动选择出合适的片层，分割特定的颌骨区域并获取相应的数据，进而在此基础上实现颌骨区域的多元化拓展，如三维可视化，骨密度测定等等。其中，现有的用于 CBCT 牙齿图像图像分割方法主要有以下几种：阈值分割是最常用的一种分割方法，需要图像分割部分与其他部分有较大的阈值差别，而CBCT图像灰度差异不明显，并且不同目标灰度值有重叠，尤其是牙槽骨部分， 与牙齿的灰度值十分接近且有的区域上位置也接近，所以常常导致无效分割。
[0004]边缘分割适用于低噪声干扰，区域之间的性质差别很大的图像；但现各大医院采用的 CBCT 图像分辨率不高，并且噪点较多，所以分割效果不佳。
[0005]区域分割的前提是需得到具有区域结构的分割图，但CBCT图中各个牙齿形态各异，并且相同的牙齿在不同的平面上有不同的形态特点，所以此类分割容易造成图像的过度分割。
[0006]聚类分析的图像分割，其对初始参数极为敏感，时常需要人工干预参数的初始化以接近全局最优解，提高分割速度，而怎样确定聚类的有效性准则、在聚类中心的位置和特性事先不清楚时如何设置初始值这样的问题难以解决。
[0007]医学图像分割网络主要有 UNet、ResUnet、FPN、AttUNet 和UNet+CBAM等。但它们都是基于传统的卷积神经网络结构提出的，尽管个别网络引入了注意力机制，或者加入了更为强大的backbone，但是仍摆脱不了卷积神经网络结构带来的缺点：第一是卷积神经网络所具有的locality特性，这就导致卷积神经网络只会注意到图像局部的区域而忽略图像中相隔较远的区域，第二是训练样本不足，医学图像往往数量较少，而卷积神经网络的预训练效果往往不如从头训练，而在样本少的情况下，从头训练也不是一个好的办法；第三是计算复杂度，在相同计算成本下，CNN结构的神经网络在分割效果上往往不及 Transformer 的神经网络结构。

技术实现思路

[0008]本专利技术所要解决的技术问题是：传统的卷积神经网络结构进行医学图像分割过程，只会注意到图像局部的区域而忽略图像中相隔较远的区域，影响颌骨区域分割的质量，且需要大量训练样本，计算复杂度也高；本专利技术目的在于提供基于上下文融合机制的CBCT颌骨区域分割方法及系统，设计一种新的神经网络结构CA
‑
Swin
‑
Unet，基于现有的 Swin
‑
Unet 的编码器部分和解码器部分进行改进，通过在解码器中添加上下文注意力模块TBCAM使得解码器在解析深层语义时能考虑上下文语义，提高CBCT图像分割的质量。
[0009]本专利技术通过下述技术方案实现：本方案提供基于上下文融合机制的CBCT颌骨区域分割方法，包括：步骤一，获取颌骨原始CBCT图像；步骤二，对颌骨原始CBCT图像进行预处理；步骤三，将预处理后的图像输入已训练好的神经网络结构中进行分割得到颌骨区域分割图像；所述神经网络结构为CA
‑
Swin
‑
Unet，包括编码器和解码器；所述解码器中添加上下文注意力模块TBCAM，用于在多个尺度捕获上下文信息以实现上下文语义信息融合。
[0010]本方案工作原理：统的卷积神经网络结构进行医学图像分割过程，只会注意到图像局部的区域而忽略图像中相隔较远的区域，影响颌骨区域分割的质量，且需要大量训练样本，计算复杂度也高；针对现有神经网络分割模型的不足，本专利技术目提供基于上下文融合机制的CBCT颌骨区域分割方法及系统，设计一种新的神经网络结构CA
‑
Swin
‑
Unet，基于现有的 Swin
‑
Unet 的编码器部分和解码器部分进行改进，通过在解码器中添加上下文注意力模块TBCAM使得解码器在解析浅层语义时能考虑上下文语义，提高CBCT图像分割的质量；CA
‑
Swin
‑
Unet基于 transformer 结构的网络，通用建模能力更强，有效的获取目标分割区域的特征；二是训练计算成本，CA
‑
Swin
‑
Unet结构的网络有很多预训练模型，根据这些预训练模型进行调整即可得到一个不错的效果，因此对于医学图像这样的小样本数据训练比较友好，不会过于依赖大量训练样本；对于医学图像这种边缘敏感的图像的分割质量比较高，特别是对于颌骨来说，分割时考虑上下文语义，对于图像全局的把握更能有效分割。
[0011]上下文注意力模块TBCAM是基于传统的CBAM模块改进而来，目的是为了在多个尺度捕获上下文信息，从而实现上下文语义信息的融合。
[0012]进一步优化方案为，所述上下文注意力模块TBCAM先将解码器不同层之间的特征图concat拼接后加入卷积实现特征融合，然后将特征融合后的数据输入卷积注意力模块CBAM中提取特征掩码，以筛选融合后的上下文特征。
[0013]进一步优化方案为，所述上下文注意力模块TBCAM的计算表达式为：TBCAM(S
l
) = patch_expand(CBAM(concat(S
l
−1, patch_merge (S
l
)))
⊙ꢀ
S
l
)；式中，S
l
表示解码器中第 l 层 Transformer block 输出的特征图， patch_expand (*)表示一个上采样操作，通过减少通道数提高图像分辨率， patch_merge (*)表示一个下采样操作，通过提高通道数减小图像分辨率，作用都是使得l层和l
‑
1层的 Transformer block输出的特征图分辨率一致，从而可以直接 concat拼接(在通道维度上拼接)， CBAM(*) 表示卷积注意力模块用于得到融合了上下层语义的特征图的注意力权重
图，
⊙
表示点乘。最后与 S
l 点乘就可以得到融合了上下文语义的特征图。
[0014]本专利技术中的神经网络结构为CA
‑
Swin
‑
Unet结构网络，其结构包括编码器和解码器，以及两者之间的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于上下文融合机制的CBCT颌骨区域分割方法，其特征在于，包括：步骤一，获取颌骨原始CBCT图像；步骤二，对颌骨原始CBCT图像进行预处理；步骤三，将预处理后的图像输入已训练好的神经网络结构中进行分割得到颌骨区域分割图像；所述神经网络结构为CA
‑
Swin
‑
Unet，包括编码器和解码器；所述解码器中添加上下文注意力模块TBCAM，用于在多个尺度捕获上下文信息以实现上下文语义信息融合。2.根据权利要求1所述的基于上下文融合机制的CBCT颌骨区域分割方法，其特征在于，所述上下文注意力模块TBCAM先将解码器不同层之间的特征图concat拼接后加入卷积实现特征融合，然后将特征融合后的数据输入卷积注意力模块CBAM中提取特征掩码，以筛选融合后的上下文特征。3.根据权利要求2所述的基于上下文融合机制的CBCT颌骨区域分割方法，其特征在于，所述上下文注意力模块TBCAM的计算表达式为：TBCAM(S
l
) = patch_expand(CBAM(concat(S
l
−1， patch_merge (S
l
)))
⊙
S
l
)；式中，S
l
表示解码器中第l层Transformer block输出的特征图，patch_expand (*)表示一个上采样操作，通过减少通道数提高图像分辨率，patch_merge(*)表示一个下采样操作，通过提高通道数减小图像分辨率；CBAM(*) 表示卷积注意力模块用于获取融合上下层语义后特征图的注意力权重图，
⊙
表示点乘。4.根据权利要求3所述的基于上下文融合机制的CBCT颌骨区域分割方法，其特征在于，所述编码器包括2n个Swin Transformer模块，在每两个Swin Transformer模块之间通过 Patch Merge方法来实现层级结构；n为除零以外的自然数；编码器与解码器中间的跳层结构通过concat拼接融合编码阶段和解码阶段的特征图，实现浅层特征和深层特征的融合；所述解码器与编码器对称，解码器包括2n个Swin Trans...

【专利技术属性】
技术研发人员：马英梓，何弦，黄泽宇，黄心悦，翁恩怀，王雅璇，王世忠，任嘉琪，蒋宇寰，黄欣怡，李兆平，唐于婷，袁学东，龙虎，
申请(专利权)人：四川大学，
类型：发明
国别省市：