【技术实现步骤摘要】
本专利技术涉及计算机，具体地涉及基于统一局部-长程上下文注意力机制的卷积神经网络。
技术介绍
1、卷积神经网络是计算机领域中一种重要的神经网络。目前，注意力机制在计算机领域中发挥了重要作用，它允许模型自适应地关注重要信息忽略不重要信息，增强了对鉴别性信息的感知能力。自注意力作为一种特殊的注意力机制，它利用成对像素之间的依赖关系来捕获上下文并调整像素的权重。由于自注意力机制在捕获上下文方面出色的表现。现有的方法主要从两方面来探索其在计算机领域的适应性。一方面，通过建模全局上下文学习特征图的整体信息。尽管全局注意力可以捕获全局感受野下密集的长程上下文，但是它的计算复杂度与像素数目成二次方关系。于是，另一种方法在网格内计算自注意力来捕获稀疏长程上下文。由于网格内的像素分散在整个特征图上，所以网格注意力的感受野是全局的，降低了建模全局上下文的计算量。另一方面，通过建模局部上下文学习特征图中的细节信息，使用窗口注意力来建立像素间的短程连接。但是，为了捕获长程上下文，它们需要使用例如移位窗口划分等复杂的操作来实现跨窗口通信。还可通过引入类似于普通卷...
【技术保护点】
1.基于统一局部-长程上下文注意力机制的卷积神经网络，其特征在于，所述卷积神经网络以ResNet-50作为骨干网络，将ResNet-50网络res_conv4_2之前的残差块作为整个网络上特征提取的骨干部分，在res_conv4_2后将网络划分成三个分支：全局特征模块分支、分支一、分支二；
2.根据权利要求1所述的基于统一局部-长程上下文注意力机制的卷积神经网络，其特征在于，所述窗口注意力捕获空间局部上下文的具体过程为：
3.根据权利要求2所述的基于统一局部-长程上下文注意力机制的卷积神经网络，其特征在于，所述网格注意力捕获空间长程上下文的具体
【技术特征摘要】
1.基于统一局部-长程上下文注意力机制的卷积神经网络，其特征在于，所述卷积神经网络以resnet-50作为骨干网络，将resnet-50网络res_conv4_2之前的残差块作为整个网络上特征提取的骨干部分，在res_conv4_2后将网络划分成三个分支：全局特征模块分支、分支一、分支二；
2.根据权利要求1所述的基于统一局部-长程上下文注意力机制的卷积神经网络，其特征在于，所述窗口注意力捕获空间局部上下文的具体过程为：
3.根据权利要求2所述的基于统一局部-长程上下文注意力机制的卷积神经网络，其特征在于，所述网格注意力捕获空间长程上下文的具体过程为：
4.根据权利要求3所述的基于统一局部-长程上下文注意力机制的卷积神经网络，其特征在于，所述分支一中，融合空间局部上下文和长程上下文的具体过程为：
5.根据权利要求4所述的基于统一局部-长程上下文注意力机制的卷积神经网络，其特征在于，使用所述空...
【专利技术属性】
技术研发人员：周晓颖，王成，庞希愚，栗世涛，田佳琛，马腾达，司炜，刘彤欣，
申请(专利权)人：山东交通学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。