多维结构注意力模型及基于该模型的网络结构设计方法技术

本发明专利技术公开了一种多维结构注意力模型及基于该模型的移动网络结构设计方法，借鉴了Vim结构并采用“1+3”架构将多维信息嵌入通道注意力中，称为“多维融合的类VIM结构注意力机制结构”。与传统的通过二维全局池化将特征张量简化为单一特征向量的通道注意力不同，本注意力机制将输入分为两个主要分支。左分支保留原始信息以用于后续特征筛选，右分支则将通道注意力分为三个一维特征编码过程，这些过程分别在一个通道方向和两个空间方向上聚合特征。这种方法同时捕捉远程依赖性和保留精确的位置信息。然后，将所得特征图与左分支结合生成具有方向感知、位置敏感和通道感知的注意力图。

【技术实现步骤摘要】

本专利技术属于计算机图像处理、注意力机制领域，具体涉及一种多维结构注意力模型及基于该模型的移动网络结构设计方法。

技术介绍

1、注意力机制是深度学习中的关键技术，使模型在进行预测时能够专注于输入数据的特定部分。通过有选择地强调输入中最相关的部分，这些机制显著提高了模型在广泛任务中的性能，包括自然语言处理(nlp)和计算机视觉(cv)。它们允许模型根据输入的重要性动态地调整自己的注意力，从而减少低相关性信息的影响。因此，注意力机制在计算机视觉研究领域引起了极大的兴趣。传统的通道注意力方法通常涉及聚合空间信息的策略，然后相应地重新加权通道。本设计借鉴了mamba的思想，并结合了mambaout的成果，将多维注意力重新定义为“1+3”分支模块，设计了一个新的注意力模块。

2、近年来，注意力机制在深度学习中取得了重大进展，特别是在nlp领域，成为技术进步不可或缺的工具。各种注意力机制被提出并应用于不同任务，表现出卓越的性能和通用性。soft attention通过计算上下文向量作为加权和，关注序列的关键部分，使模型能够为输入的不同部分分配不同的权重。h本文档来自技高网...

【技术保护点】

1.一种多维结构注意力模型，其特征在于：包括特征数据处理模块、“1+3”结构的双分支模块；其中，特征数据处理模块将输入的特征数据进行归一化处理；“1+3”结构的双分支模块包括由Sigmoid激活层构成的第一分支，以及由通道维度、宽度维度和高度维度特征提取模块组成的第二分支；归一化处理后的特征数据分别输入至第一分支和第二分支，经过第一分支处理后的数据，分别与经过第二分支三部分处理后的数据进行相乘操作，相乘后的结果再进行相加操作获取张量数据作为输出。

2.根据权利要求1所述的多维结构注意力模型，其特征在于：特征数据处理模块的具体实现过程如下：

3.根据权利要求2所述的...

【技术特征摘要】

1.一种多维结构注意力模型，其特征在于：包括特征数据处理模块、“1+3”结构的双分支模块；其中，特征数据处理模块将输入的特征数据进行归一化处理；“1+3”结构的双分支模块包括由sigmoid激活层构成的第一分支，以及由通道维度、宽度维度和高度维度特征提取模块组成的第二分支；归一化处理后的特征数据分别输入至第一分支和第二分支，经过第一分支处理后的数据，分别与经过第二分支三部分处理后的数据进行相乘操作，相乘后的结果再进行相加操作获取张量数据作为输出。

2.根据权利要求1所述的多维结构注意力模型，其特征在于：特征数据处理模块的具体实现过程如下：

3.根据权利要求2所述的多维结构注意力模型，其特征在于：所述χ(c×h×w)通过第一分支，输入一层sigmoid激活层得到χl。

4.根据权利要求3所述的多维结构注意力模型，其特征在于：所述第二分...

【专利技术属性】
技术研发人员：周日贵，石佳良，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：