【技术实现步骤摘要】
本专利技术涉及图像处理领域，具体涉及一种基于频率感知和特征交互的超声图像分割系统及方法。
技术介绍
1、医学超声成像因其非侵入性、无辐射和实时性等特点成为临床环境中重要的技术，可以帮助医生准确评估疾病特征以及体内病变区域的大小和分布。此外，它在指导治疗决策和监测干预措施的有效性方面发挥着至关重要的作用。在目前的临床实践中，超声图像的审查在很大程度上依赖于放射科医生的知识和经验。然而，这一人工过程非常耗时，而且容易出错。为了提高疾病筛查和诊断效率，减少放射科医生的工作量，降低误诊率，迫切需要对超声图像中的病变或器官进行自动分割。然而，这项任务带来了重大挑战。首先，不同病例超声图像中病变或器官的大小、形状和纹理模式差异很大。其次，超声图像表现出固有的挑战，如低对比度、高散斑噪声、伪影、模糊边界等，这些困难进一步复杂化了分割过程，使得超声图像的自动分割成为一项具有挑战性的任务。
2、虽然基于卷积神经网络(cnn)和transformer的方法在该领域已经取得一定的结果，例如：chen等提出了一种混合自适应注意模块来代替传统的卷积运算，从而引导网络在通道和空间维度上自适应地选择更鲁棒的表示，以应对更复杂的超声图像分割(g.chen,l.li,y.dai,j.zhang and m.h.yap,"aau-net:an adaptive attention u-net forbreast lesions segmentation in ultrasound images,"in ieee transactions onmedic
技术实现思路
1、本专利技术的目的在于提供一种多尺度频率感知自注意力模块，提升模型对不同频率分量的感知能力，增强边缘等关键细节特征。同时，可以有效地捕获自注意力层内的多尺度特征，对局部和全局特征进行建模，充分利用cnn和transformer的优势。
2、实现本专利技术目的的技术方案为：
3、一种基于频率感知和特征交互的超声图像分割系统，包括编码器网络和解码器网络，所述编码器网络包括四个阶段，第一阶段包含conv stem层和频率感知transformer块，后面三个阶段均由patch embedding层和频率感知transformer块组成，四个阶段以分辨率递减的顺序系统地生成金字塔特征图；所述解码器网络将金字塔特征图分为语义和边界两个分支，通过选择性特征交互模块，逐步促进两个分支之间从低分辨率到高分辨率的特征交互，同时，采用多尺度边界监督机制指导与监督不同尺度特征，获得语义分割的预测图。
4、进一步地，频率感知transformer块包括两层归一化组件、一个多尺度频率感知自注意力模块和一个前馈网络。
5、进一步地，所述多尺度频率感知自注意力模块包括频率感知网络、两个深度卷积层、线性变换层和多头自注意力模块。
6、进一步地，所述频率感知网络对于输入的特征x，利用2维傅里叶变换得到频率域特征将可学习的参数u作为权重自适应的分配给每个频率分量得到将加权的频率域特征通过傅里叶逆变换转化为空间域特征其中为傅里叶变换函数，为傅里叶逆变换函数。
7、进一步地，所述深度卷积层用以给特征进行降维，两个深度卷积采用不同卷积核和步长，得到多尺度特征。
8、进一步地，所述线性变换层将输入特征x或频率感知特征变换成查询、键与值三个向量；所述多头自注意力模块进行多头自注意力的计算，其输出为：其中q、k、v为三个矩阵分别表示查询向量、键值向量与值向量，d表示每个注意力头的维度，softmax表示归一化指数函数。最后，将不同尺度的自注意力attn1和attn2进行级联。
9、进一步地，所述选择性特征交互模块包括融合模块、空间选择模块和残差增强模块，所述融合模块将输入的语义分支特征fs和边界分支特征fb连接起来并通过卷积增强，所述空间选择模块利用空间选择机制从融合模块输出特征中生成两个注意力图分别作用于语义和边界分支，所述残差增强模块基于残差增强策略融合空间选择模块输出的语义和边界特征。
10、进一步地，所述空间选择模块的输出为：其中，为融合模块的输出，表示空间选择操作。
11、进一步地，所述残差增强模块的输出为：
12、
13、
14、一种基于频率感知和特征交互的超声图像分割方法，包括步骤：
15、通过编码器网络的四个阶段，获取金字塔特征；所述四个阶段，其中第一阶段包含conv stem层和频率感知transformer块，后面三个阶段则均由patch embedding和频率感知transformer块组成，四个阶段以分辨率递减的顺序系统地生成金字塔特征图；
16、通过解码器网络将金字塔特征图分为语义和边界两个分支，通过选择性特征交互模块，逐步促进两个分支之间从低分辨率到高分辨率的特征交互，同时，采用多尺度边界监督机制指导与监督不同尺度特征，获得语义分割的预测图。
17、本专利技术与现有技术相比，其显著效果为：(1)本专利技术提出了一种新的频率感知transformer模型，该模型将频域中的空间特征信息、多尺度特征和特征的远程依赖关系相结合，这些组件共同助力于增强模型的特征表示能力；(2)本专利技术提出的多尺度频率感知自注意力模块，在频域中有效地学习图像内空间位置之间的相互作用；(3)本专利技术提出了一种协同交互解码器网络，采用多尺度监督机制和选择性特征交互模块，实现语义和边界的特征交互和相互增强。
本文档来自技高网...【技术保护点】
1.一种基于频率感知和特征交互的超声图像分割系统，其特征在于，包括编码器网络和解码器网络，所述编码器网络包括四个阶段，第一阶段包含Conv Stem层和频率感知Transformer块，后面三个阶段均由Patch Embedding层和频率感知Transformer块组成，四个阶段以分辨率递减的顺序系统地生成金字塔特征图；所述解码器网络将金字塔特征图分为语义和边界两个分支，通过选择性特征交互模块，逐步促进两个分支之间从低分辨率到高分辨率的特征交互，同时，采用多尺度边界监督机制指导与监督不同尺度特征，获得语义分割的预测图。
2.根据权利要求1所述的一种基于频率感知和特征交互的超声图像分割系统，其特征在于，所述频率感知Transformer块包括两层归一化组件、一个多尺度频率感知自注意力模块和一个前馈网络。
3.根据权利要求2所述的一种基于频率感知和特征交互的超声图像分割系统，其特征在于，所述多尺度频率感知自注意力模块包括频率感知网络、两个深度卷积层、线性变换层和多头自注意力模块。
4.根据权利要求3所述的一种基于频率感知和特征交互的超声图像分割系
5.根据权利要求3所述的一种基于频率感知和特征交互的超声图像分割系统，其特征在于，所述深度卷积层用以给特征进行降维，两个深度卷积采用不同卷积核和步长，得到多尺度特征。
6.根据权利要求3所述的一种基于频率感知和特征交互的超声图像分割系统，其特征在于，所述线性变换层将输入特征X或频率感知特征变换成查询、键与值三个向量；所述多头自注意力模块进行多头自注意力的计算，其输出为：其中Q、K、V为三个矩阵分别表示查询向量、键值向量与值向量，d表示每个注意力头的维度，Softmax表示归一化指数函数。
7.根据权利要求1所述的一种基于频率感知和特征交互的超声图像分割系统，其特征在于，所述选择性特征交互模块包括融合模块、空间选择模块和残差增强模块，所述融合模块将输入的语义分支特征Fs和边界分支特征Fb连接起来并通过卷积增强，所述空间选择模块利用空间选择机制从融合模块输出特征中生成两个注意力图分别作用于语义和边界分支，所述残差增强模块基于残差增强策略融合空间选择模块输出的语义和边界特征。
8.根据权利要求7所述的一种基于频率感知和特征交互的超声图像分割系统，其特征在于，所述空间选择模块的输出为：其中，为融合模块的输出，表示空间选择操作。
9.根据权利要求8所述的一种基于频率感知和特征交互的超声图像分割系统，其特征在于，所述残差增强模块的输出为：
10.一种基于权利要求1～9任一所述频率感知和特征交互的超声图像分割系统的方法，其特征在于，包括步骤：
...【技术特征摘要】
1.一种基于频率感知和特征交互的超声图像分割系统，其特征在于，包括编码器网络和解码器网络，所述编码器网络包括四个阶段，第一阶段包含conv stem层和频率感知transformer块，后面三个阶段均由patch embedding层和频率感知transformer块组成，四个阶段以分辨率递减的顺序系统地生成金字塔特征图；所述解码器网络将金字塔特征图分为语义和边界两个分支，通过选择性特征交互模块，逐步促进两个分支之间从低分辨率到高分辨率的特征交互，同时，采用多尺度边界监督机制指导与监督不同尺度特征，获得语义分割的预测图。
2.根据权利要求1所述的一种基于频率感知和特征交互的超声图像分割系统，其特征在于，所述频率感知transformer块包括两层归一化组件、一个多尺度频率感知自注意力模块和一个前馈网络。
3.根据权利要求2所述的一种基于频率感知和特征交互的超声图像分割系统，其特征在于，所述多尺度频率感知自注意力模块包括频率感知网络、两个深度卷积层、线性变换层和多头自注意力模块。
4.根据权利要求3所述的一种基于频率感知和特征交互的超声图像分割系统，其特征在于，所述频率感知网络对于输入的特征x，利用2维傅里叶变换得到频率域特征将可学习的参数u作为权重自适应的分配给每个频率分量得到将加权的频率域特征通过傅里叶逆变换转化为空间域特征其中为傅里叶变换函数，为傅里叶逆变换函数。
5.根据权利要求3所述的一种基于频率...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。