【技术实现步骤摘要】
本专利技术属于人工智能神经网络，尤其涉及一种用于机器学习的注意力机制的网络架构设计方法及设备。
技术介绍
1、近年来，作为深度学习的代表算法之一，卷积神经网络(convolutional neuralnetworks cnn)在各类机器视觉任务上都取得了最优的性能表现。2012年，在imagenet图像识别大赛中，geoffrey hinton团队所提出的alexnet引入了全新的深层网络表示方法，首次把图像识别错误率从25％以上降低到了15％。该网络一举颠覆了图像识别领域，cnn自此分界线后，开始蓬勃发展。2015年何凯明等人提出的残差神经网络resnet，成功解决了深度神经网络的梯度退化问题，使得神经网络随着卷积层数的增加而性能不衰退。而且基于残差网络可以成功将机器的错误率降低到3.57％，这也首次超越了人类的5％，残差学习模块至此成为卷积神经网络架构的一个基础性组件。
2、计算机视觉(computer vision，cv)是一门研究使机器如何“看”的学科，即用计算机实现人的视觉功能：对客观世界的三维场景的感知、识别和理...
【技术保护点】
1.一种用于机器学习的注意力机制的网络架构设计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的用于机器学习的注意力机制的网络架构设计方法，其特征在于，步骤一中多分支映射可以是但不限于：复用和分割；多分支映射的数目以及卷积核大小不固定，根据实际需求灵活调整。
3.如权利要求1所述的用于机器学习的注意力机制的网络架构设计方法，其特征在于，步骤二中不同分支进行仿射变换操作中的卷积核大小和分组数都不同。
4.如权利要求1或3任一项所述的用于机器学习的注意力机制的网络架构设计方法，其特征在于，为了避免多分支不同卷积核并行处理输入特征张...
【技术特征摘要】
1.一种用于机器学习的注意力机制的网络架构设计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的用于机器学习的注意力机制的网络架构设计方法，其特征在于，步骤一中多分支映射可以是但不限于：复用和分割；多分支映射的数目以及卷积核大小不固定，根据实际需求灵活调整。
3.如权利要求1所述的用于机器学习的注意力机制的网络架构设计方法，其特征在于，步骤二中不同分支进行仿射变换操作中的卷积核大小和分组数都不同。
4.如权利要求1或3任一项所述的用于机器学习的注意力机制的网络架构设计方法，其特征在于，为了避免多分支不同卷积核并行处理输入特征张量所带来的计算量增加，多分支仿射变换操作中的卷积核大小和分组数通过固定数学表达式进行关联。
5.如权利要求1所述的用于机器学习的注意力机制的网络架构设计方法，其特征在于，步骤四中用于对多尺度特征张量提取注意力权重的注意力模组可以是但不限于：压缩激发模组se，eca，fca。
6.如权利要求1所述的用于机器学习的注意力机制的网络架构设计方法，其特征在于，步骤四提取注意力权重z具体包括：将经mbc模组预处理得到的多尺度特征张量f∈rh...
【专利技术属性】
技术研发人员：祖克珂，张虎，王溢，贺禹涵，张林超，
申请(专利权)人：电子科技大学长三角研究院衢州，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。